Vec mjesecima mi Yahoo-ov crawler non-stop "visi" na sajtu, a posebno na forumu - ne pamtim kada sam vidio manje od 15-tak crawlera... Probao sam sa:
Kôd:
User-agent: Slurp
Crawl-delay: 10
...ali nije bilo vajde iako je crawl-delay specifican parametar koji uzima u obzir samo yahoo-ov crawler (
Yahoo help).
Pazite samo ovo:
Citat:
|
Najviše korisnika istovremeno bilo je 169, 08.11.2006. u 22:09 sati.
|
Za sajt koji u prosjeku DNEVNO ima 200-njak unikatnih posjeta, cifra od 169 korisnika u jednom trenutku je ravna naucnoj fantastici
S obzirom da sa yahoo pretrazivaca dobijam mizernu cifru posjeta, ne vidim razlog zasto ne bih totalno zabranio indeksiranje za /forum, ali opet... Je l' ima ikoji "normalan" nacin da mu kazem da dolazi svakih X dana? Meta tag i revisit-after
nemaju smisla, takodje.