sve zavisi od kog spajdera se branis... univerzalni spajderi su glupi i njih je lako zeznuti, samo izbegavaj uobicajene patterne (email harvesteri su primer tipskog spajdera, i kao sto znas lako ih je zeznuti)...
ali custom spajderi su druga prica, a posto sam ih napravio jako puno, mogu da ti odmah kazem da ako se neko namerio da ti pokupi sajt vrlo male su sanse da se odbranis... mi smo skidali razne sajtove i sa gotcha slikama (napravi se OCR) i sa javascriptom (sednes pa provalis sta se desaca u kodu i onda umesto htmla parsiras js) i sve zivo...sa logovanjem ili bez, sa pamcenjem IP-ja, ma sve moze da se provali...
Mozes da se branis sa nekoliko stvari...prvo da zabranis pristup sa free proxija i da pratis IP-jeve, dalje mozes da probas da pratis vreme izmedju zahteva i prosecan broj zahteva, posto roboti surfuju mnogo brze od ljudi. Najbolje sto mozes da uradis je da vrsis male suptilne randomizacije elemenata na strani, jer roboti uglavnom koriste regexpe da bi pokupili bitne podatke. Ti regexpi se oslanjaju na uocljive elemente strane, tipa ako skidam tabelu sa podacima, razlikovacu je od ostaih tabela na strani sto je to npr. drugi <table tag iza nekog naslova... Ako mi ubacis random table s vremena na vreme zeznuo si me, i dobijam pogresne podatke. Ili nesto skroz jednostavno da ponekad pises id="pera", a ponekad id='pera', ili zamenis redosled kolona u tabeli i sl. Glavna fora je da je autoru spajdera jako tesko da takav bug provali, jer su razlike male i tsko primetne i izgubice puno vremena oko toga...a naravno tvoj ideja je upravo da ga smoris toliko da odustane...