Da li postoji mogućnost da se da direktiva pogotku da uspori malo?
Dešavalo mi se par puta da se baš zažvaće i to u sred prime-timea kad nismo baš pri višku resursa...
edit: Videh da neki spideri podržavaju komandu
Crawl-delay u robots.txt
Da li je pogodak među njima?
__________________
Kotler je bio u pravu. Ko radi srcem nema konkurenciju.
Poslednja izmena od pcigre : 30. 11. 2007. u 01:42.
Razlog: dopis
|