crawl delay bi morao da radi na Slurp-u (a takodje ga postuje MSN i jos par botova). Medjutim mislim da se on odnosi na jednog bota, verovatno svaki bot za sebe i postuje tih 10 sekundi, ali posto Yahoo iz nekog razloga pusti brdo njih istovremeno onda naprave haos...
meni su bas danas jedan meta-search sajt doveli na nivo puzanja, server load se popeo na 4.
Ja sam to resio tako sto Slurp-botovima (na osnovu user-agenta) posaljem 503 Service Unavailable, i Retry-after: 7200 (posle 2 sata). Pa ih onda opet malo pustim, i tako. valjda ce da izindexiraju sta ima, a opet da sajt ipak radi i za ljude. Mada posto Yahoo nosi manje od 10% poseta, i to nekvalitetnih (Latino Amerika uglavnom) mogu slobodno i da ga batalim skroz..
__________________
Leadership is the art of getting people to want to do what you know must be done.
|