Blokiranje crawlera

pcigre · 29. 11. 2007.

Potrebno mi je da se otarasim svih nepotrebnih crawlera imaju'i u vidu spam crawlere ali i manje spam crawlere od kojih jednostavno nemam nikakve koristi (zna;i maltene sve osim google, yahoo i msn).

Moze mali hint gde bi mogao da nadjel liste i kako da to najefikasnije uradim?

Preko .httaccessa? Preko konfigurisanja Apachea? robots.txt? Mada sumnjam da ga zlonamerni nesto gledaju

ivanhoe · 30. 11. 2007.

preko htaccessa mozes da ih blokiras samo preko user-agenta, ili IP-ja, a i jedno i druge ce vecina spajdera sa lakocom da lazira...
za crawlere ti je najbolja odbrana neki od apache modula koji limitira protok i/ili brzinu kojom se generisu zahtevi, jer je osnovna osobina svih spajdera da su mnogo brzi i generisu vise protoka od zivih usera... cak ni tu nemas neku odbranu jer pametan programer moze lako da zezne te module (znam pouzdano posto se bavim spajderisanjem vec godinama i jos nikad nisam dobio sajt koji nisam uspeo da ispajderisem, znaci svaka zastita moze da se zaobidje), ali ces ipak zaustaviti vecinu genericki pisanih crawlera..

sto se spambotova tice tu ti je taktika klasicna, captcha i javascript za forme...
spam referer botove ubijas uz pomoc mod_rewrite tako sto napravis listu (u htaccessu, ili jos bolje direktno u httpd.conf jer ce velika lista da uspori apache ako je u htaccessu) zabranjenih referera... zabranis sve sto ima porn, viagra i sl, klasicna poison words lista, kao za spam filtre za mail

pcigre · 30. 11. 2007.

Cilj mi je i ove manje zlonamerne da malo blokiram. Vidim najvlja mi se masa nekih njam-njam crawlera koji ničemu ne služe, a čujem da ima i nekih generičkih, test i sličnih...

Znam da ih ne mogu skroz oterati i da onaj ko hoće može da odradi ali želim da generalno smanjim broj nepotrebno otvorenih strana.

Citat:

neki od apache modula koji limitira protok i/ili brzinu kojom se generisu zahtevi

Može neki link ili ključne reči?

Citat:

sto se spambotova tice tu ti je taktika klasicna, captcha i javascript za forme...

Generalno sa JS se botovi uopšte ne snalaze? (ok znam da je glupo pitanje, ali noob sam).

Citat:

zabranis sve sto ima porn, viagra i sl, klasicna poison words lista, kao za spam filtre za mail

Probaću da nađem/napravim.

ivanhoe · 30. 11. 2007.

1) sto se modula tice ja znam za mod_bandwidth, ali ima ih jos...kljucne reci su nesto tipa: "apache module bandwidth limit" ili "apache module requests limit" i sl..
za bw_limit ima uputstvo ovde http://maxmk.wordpress.com/category/...pache_modules/
i ovde http://www.cohprog.com/v3/bandwidth/doc-en.html

2) Botovi se ne snalaze sa javascriptom, ali je problem sto to vazi i za "dobre" spajdere, pa su ti opcije limitirane..

3) Trazi na googlu "stop referral spam". Jedna lista je ovde: http://www.invision-graphics.com/ref...spam_list.html

29. 11. 2007.	#1
pcigre Miloš Vučić Grand Master Datum učlanjenja: 11.08.2006 Lokacija: Niš, Serbia Poruke: 786 Hvala: 106 33 "Hvala" u 20 poruka	Blokiranje crawlera Potrebno mi je da se otarasim svih nepotrebnih crawlera imaju'i u vidu spam crawlere ali i manje spam crawlere od kojih jednostavno nemam nikakve koristi (zna;i maltene sve osim google, yahoo i msn). Moze mali hint gde bi mogao da nadjel liste i kako da to najefikasnije uradim? Preko .httaccessa? Preko konfigurisanja Apachea? robots.txt? Mada sumnjam da ga zlonamerni nesto gledaju __________________ Kotler je bio u pravu. Ko radi srcem nema konkurenciju.

30. 11. 2007.	#2
ivanhoe Ivan Dilber Sir Write-a-Lot Datum učlanjenja: 18.10.2005 Lokacija: Bgd Poruke: 5.320 Hvala: 104 2.344 "Hvala" u 583 poruka	preko htaccessa mozes da ih blokiras samo preko user-agenta, ili IP-ja, a i jedno i druge ce vecina spajdera sa lakocom da lazira... za crawlere ti je najbolja odbrana neki od apache modula koji limitira protok i/ili brzinu kojom se generisu zahtevi, jer je osnovna osobina svih spajdera da su mnogo brzi i generisu vise protoka od zivih usera... cak ni tu nemas neku odbranu jer pametan programer moze lako da zezne te module (znam pouzdano posto se bavim spajderisanjem vec godinama i jos nikad nisam dobio sajt koji nisam uspeo da ispajderisem, znaci svaka zastita moze da se zaobidje), ali ces ipak zaustaviti vecinu genericki pisanih crawlera.. sto se spambotova tice tu ti je taktika klasicna, captcha i javascript za forme... spam referer botove ubijas uz pomoc mod_rewrite tako sto napravis listu (u htaccessu, ili jos bolje direktno u httpd.conf jer ce velika lista da uspori apache ako je u htaccessu) zabranjenih referera... zabranis sve sto ima porn, viagra i sl, klasicna poison words lista, kao za spam filtre za mail __________________ Leadership is the art of getting people to want to do what you know must be done. Poslednja izmena od ivanhoe : 30. 11. 2007. u 03:49.

30. 11. 2007.	#4
ivanhoe Ivan Dilber Sir Write-a-Lot Datum učlanjenja: 18.10.2005 Lokacija: Bgd Poruke: 5.320 Hvala: 104 2.344 "Hvala" u 583 poruka	1) sto se modula tice ja znam za mod_bandwidth, ali ima ih jos...kljucne reci su nesto tipa: "apache module bandwidth limit" ili "apache module requests limit" i sl.. za bw_limit ima uputstvo ovde http://maxmk.wordpress.com/category/...pache_modules/ i ovde http://www.cohprog.com/v3/bandwidth/doc-en.html 2) Botovi se ne snalaze sa javascriptom, ali je problem sto to vazi i za "dobre" spajdere, pa su ti opcije limitirane.. 3) Trazi na googlu "stop referral spam". Jedna lista je ovde: http://www.invision-graphics.com/ref...spam_list.html __________________ Leadership is the art of getting people to want to do what you know must be done. Poslednja izmena od ivanhoe : 30. 11. 2007. u 12:41.

Slične teme
Tema	Početna poruka teme	Forum	Odgovori	Poslednja poruka
Aplikacija za blokiranje comp-a	Dzordz	Opušteno	13	05. 03. 2010. 16:51
Blokiranje višestrukog glasanja putem IP adrese	istok	PHP	19	24. 08. 2009. 15:21
Blokiranje pristupa senegalcima i ostalim spamerima	bluesman	Regular expression i htaccess	6	01. 10. 2007. 14:01
Blokiranje reklama na sajtovima	Ilija Studen	Marketing i SEO	49	31. 12. 2005. 19:36