Potrebno mi je da se otarasim svih nepotrebnih crawlera imaju'i u vidu spam crawlere ali i manje spam crawlere od kojih jednostavno nemam nikakve koristi (zna;i maltene sve osim google, yahoo i msn).
Moze mali hint gde bi mogao da nadjel liste i kako da to najefikasnije uradim?
Preko .httaccessa? Preko konfigurisanja Apachea? robots.txt? Mada sumnjam da ga zlonamerni nesto gledaju
