[ivanhoe]

preko htaccessa mozes da ih blokiras samo preko user-agenta, ili IP-ja, a i jedno i druge ce vecina spajdera sa lakocom da lazira...
za crawlere ti je najbolja odbrana neki od apache modula koji limitira protok i/ili brzinu kojom se generisu zahtevi, jer je osnovna osobina svih spajdera da su mnogo brzi i generisu vise protoka od zivih usera... cak ni tu nemas neku odbranu jer pametan programer moze lako da zezne te module (znam pouzdano posto se bavim spajderisanjem vec godinama i jos nikad nisam dobio sajt koji nisam uspeo da ispajderisem, znaci svaka zastita moze da se zaobidje), ali ces ipak zaustaviti vecinu genericki pisanih crawlera..

sto se spambotova tice tu ti je taktika klasicna, captcha i javascript za forme...
spam referer botove ubijas uz pomoc mod_rewrite tako sto napravis listu (u htaccessu, ili jos bolje direktno u httpd.conf jer ce velika lista da uspori apache ako je u htaccessu) zabranjenih referera... zabranis sve sto ima porn, viagra i sl, klasicna poison words lista, kao za spam filtre za mail