Yahoo Slurp - manijak

[oliver]

Vec mjesecima mi Yahoo-ov crawler non-stop "visi" na sajtu, a posebno na forumu - ne pamtim kada sam vidio manje od 15-tak crawlera... Probao sam sa:

User-agent: Slurp
Crawl-delay: 10

...ali nije bilo vajde iako je crawl-delay specifican parametar koji uzima u obzir samo yahoo-ov crawler (Yahoo help).

Pazite samo ovo:

Najviše korisnika istovremeno bilo je 169, 08.11.2006. u 22:09 sati.

Za sajt koji u prosjeku DNEVNO ima 200-njak unikatnih posjeta, cifra od 169 korisnika u jednom trenutku je ravna naucnoj fantastici

S obzirom da sa yahoo pretrazivaca dobijam mizernu cifru posjeta, ne vidim razlog zasto ne bih totalno zabranio indeksiranje za /forum, ali opet... Je l' ima ikoji "normalan" nacin da mu kazem da dolazi svakih X dana? Meta tag i revisit-after nemaju smisla, takodje.

[ivanhoe]

crawl delay bi morao da radi na Slurp-u (a takodje ga postuje MSN i jos par botova). Medjutim mislim da se on odnosi na jednog bota, verovatno svaki bot za sebe i postuje tih 10 sekundi, ali posto Yahoo iz nekog razloga pusti brdo njih istovremeno onda naprave haos...

meni su bas danas jedan meta-search sajt doveli na nivo puzanja, server load se popeo na 4.

Ja sam to resio tako sto Slurp-botovima (na osnovu user-agenta) posaljem 503 Service Unavailable, i Retry-after: 7200 (posle 2 sata). Pa ih onda opet malo pustim, i tako. valjda ce da izindexiraju sta ima, a opet da sajt ipak radi i za ljude. Mada posto Yahoo nosi manje od 10% poseta, i to nekvalitetnih (Latino Amerika uglavnom) mogu slobodno i da ga batalim skroz..

[Peca]

sa kojih IP adresa dolaze?

[oliver]

@ ivanhoe: ma, ja imam manje od 2% posjeta sa Y! search-a... konkretno: od jula prosle godine do danas okruglo 1,6%

@ Peca: ne znam tacno, a mrzi me da biscem po logovima, od juce je disallow: /forum/ pa uzivam(o) sto, kakve veze ima? mislis da su bili fake crawleri? bogami, otkako sam im rekao da ne dolaze nikako, stvarno su o'ladili

[ivanhoe]

kod mene u logu stizu sa 74.6.130.xxx (ima jedno 16-17 IP-jeva u opsegu izmedju .190-.220)

[oliver]

Nasumicno sam odabrah access log za mali test - vremenski raspon od 15 minuta (4:32AM-4:47AM), 13. januar ove godine, umalo srcka da me strefi. Evo unikatnih IP adresa sa user-agentom Yahoo! Slurp:

74.6.74.175
74.6.71.179
74.6.70.249
72.30.252.87
74.6.73.83
74.6.69.11
74.6.71.122
74.6.73.43
74.6.70.178
72.30.226.213
74.6.73.252
74.6.69.138
74.6.70.215
74.6.69.113
74.6.69.109
74.6.70.171
74.6.70.244
74.6.69.15
74.6.74.181
74.6.73.50
72.30.177.178
74.6.70.7
74.6.74.178
74.6.73.173

...24 komada!

Da se ja pitam, ovdje bi puklo Disallow: / ko dvaput dva

[Peca]

Originalno napisao oliver

@ Peca: ne znam tacno, a mrzi me da biscem po logovima, od juce je disallow: /forum/ pa uzivam(o) sto, kakve veze ima? mislis da su bili fake crawleri? bogami, otkako sam im rekao da ne dolaze nikako, stvarno su o'ladili

ne, pitam iz drugog razloga...
na svom serveru imam mod_evasive, koji takve divlje botove oladi odmah sa Forbidden, pa sam hteo da vidim da nisam oladio tako i Yahoo botove
za divno cudo - nemam na listi problematicnih nista sa tog IP opsega...