Search Engine Attack

Pedja · 31. 05. 2006.

Ovih dana sam primetio da mi forum trosi protok ko lud. Pogledam u log i vidim ono cega sam se i plasio. Opet search engine botovi prave dar mar. U poslednjih 7 dna sajt je pod konstantnim napadom Google-a i nekog sogou spider bota. Urnisase me.

Forum mi je pod konstantim opterecenjem, protok vec 7 dana ne spada ispod 100kbps, a u cestim pikovima ide i preko 200 kbps. Opterecenej je konstano 24h dnevno.

Odavno sam podesio robots.txt da smanjim indeksiranje od strane pretrazivaca i to je do pre neki dan koliko-toliko radilo, ali ovo sada je neverovatno.

Prakticno mi ostaje jedina opcija da zabranim pristup sajtu sa IP-ova sa kojih dolaze bot-ovi.

Imate li vi ovakvih problema?

MorenoArdohain · 01. 06. 2006.

Mislim da si spomenuo taj problem vise puta ovde, ali ja licno nijednom nisam imao slican slucaj.

Inace, jesi siguran da su SE botovi u pitanju, po IP adresama?
Ako jesi, mozda ne bi skodilo da postujes link do foruma, pa da vidimo sta je to tako problematicno za njih, mozda su upali u neki loop, a ne bi skodilo ni da iz loga izvadis URLove koje su oni fetchovali i koliko puta

nixa · 01. 06. 2006.

Pedja da li si siguran da problem nije do tebe ... mozda u kodu pravis neki beskonacni loop gde se zabuni robot ?

MorenoArdohain · 01. 06. 2006.

Pedja, ako je u pitanju forum.u...e.net, vidim da je na URL-ove nalepljen SID, mozda to prouzrokuje problem?

Pedja · 01. 06. 2006.

Jeste, forum.uzice.net. Ma forumi su uvek puni ciklicnih linkova. SE botovi moraju da znaju da se snadju sa tim kao i sa SID-om.

Jedan od botova je Google (mada mislim da se on ponasa koliko-toliko pristojno, pravi mi samo nesto preko 1 giga mesecno. Pre sedam dana se pojavio neki sogou spider, koliko sam iskopao to je spider nekog kineskog provajdera. Ne postuje robots.txt ni za ic, a protok prvi samo tako, za sedam dana skoro 4 giga...

Gogole-u ne mogu da stavim ban, ali ovog sam blokirao samo tako. Videcu kakvi ce rezultati biti u toku dana.

MorenoArdohain · 01. 06. 2006.

Ipak ti savetujem da uklonis SID iz linkova

Pedja · 01. 06. 2006.

Sad proverih, ko zna kad sam ja uradio patch koji regulise SID za Google i inktomi. Uglavnom to je uradjeno davno.

bojan_bozovic · 14. 06. 2006.

Takodje nemam. Pazi, mod_rewrite moze da napravi problem, a to zato sto nemas ? i & u URL pa robot misli da imas staticki sajt i ne pravi pauzu izmedju hitova. Tako moze bazu da ti obori.

Pedja · 15. 06. 2006.

Ne koristim mod_rewrite na forumu.

oliver · 14. 07. 2006.

nadjoh nesto zanimljivo u log-u:

pogodak.co.yu spider: 56 visits, 21852 hits od 1. jula do danas, i sazvakao nesto preko 650MB protoka. cak je zeznuo i googlebot-a (3x manje hit-ova, skoro 10x manje protoka, 1,5x vise posjeta).

"pa sta raaaaaaadis..."

31. 05. 2006.	#1
Pedja Predrag Supurović Grand Master Datum učlanjenja: 24.01.2006 Lokacija: Užice Poruke: 770 Hvala: 0 13 "Hvala" u 5 poruka	Search Engine Attack Ovih dana sam primetio da mi forum trosi protok ko lud. Pogledam u log i vidim ono cega sam se i plasio. Opet search engine botovi prave dar mar. U poslednjih 7 dna sajt je pod konstantnim napadom Google-a i nekog sogou spider bota. Urnisase me. Forum mi je pod konstantim opterecenjem, protok vec 7 dana ne spada ispod 100kbps, a u cestim pikovima ide i preko 200 kbps. Opterecenej je konstano 24h dnevno. Odavno sam podesio robots.txt da smanjim indeksiranje od strane pretrazivaca i to je do pre neki dan koliko-toliko radilo, ali ovo sada je neverovatno. Prakticno mi ostaje jedina opcija da zabranim pristup sajtu sa IP-ova sa kojih dolaze bot-ovi. Imate li vi ovakvih problema? __________________ Peđina beležnica (blog) - www.uzice.net - wireless.uzice.net - www.vokabular.org - www.vodic.net - forum.uzice.net

01. 06. 2006.	#2
MorenoArdohain Knowledge base Wrote a book Datum učlanjenja: 16.06.2005 Lokacija: Novi Sad Poruke: 1.003 Hvala: 13 29 "Hvala" u 23 poruka	Mislim da si spomenuo taj problem vise puta ovde, ali ja licno nijednom nisam imao slican slucaj. Inace, jesi siguran da su SE botovi u pitanju, po IP adresama? Ako jesi, mozda ne bi skodilo da postujes link do foruma, pa da vidimo sta je to tako problematicno za njih, mozda su upali u neki loop, a ne bi skodilo ni da iz loga izvadis URLove koje su oni fetchovali i koliko puta __________________ Não quero mais seguir um só caminho

01. 06. 2006.	#3
nixa Nikola Denić Invented the damn thing Datum učlanjenja: 18.05.2005 Lokacija: Beograd Poruke: 2.591 Hvala: 25 109 "Hvala" u 42 poruka	Pedja da li si siguran da problem nije do tebe ... mozda u kodu pravis neki beskonacni loop gde se zabuni robot ? __________________ NIXA \| Haragei \| BLOG Do not ask yourself what the world needs. Ask yourself what makes you come alive, and then go do that. Because what the world needs is people who have come alive

01. 06. 2006.	#4
MorenoArdohain Knowledge base Wrote a book Datum učlanjenja: 16.06.2005 Lokacija: Novi Sad Poruke: 1.003 Hvala: 13 29 "Hvala" u 23 poruka	Pedja, ako je u pitanju forum.u...e.net, vidim da je na URL-ove nalepljen SID, mozda to prouzrokuje problem? __________________ Não quero mais seguir um só caminho

01. 06. 2006.	#5
Pedja Predrag Supurović Grand Master Datum učlanjenja: 24.01.2006 Lokacija: Užice Poruke: 770 Hvala: 0 13 "Hvala" u 5 poruka	Jeste, forum.uzice.net. Ma forumi su uvek puni ciklicnih linkova. SE botovi moraju da znaju da se snadju sa tim kao i sa SID-om. Jedan od botova je Google (mada mislim da se on ponasa koliko-toliko pristojno, pravi mi samo nesto preko 1 giga mesecno. Pre sedam dana se pojavio neki sogou spider, koliko sam iskopao to je spider nekog kineskog provajdera. Ne postuje robots.txt ni za ic, a protok prvi samo tako, za sedam dana skoro 4 giga... Gogole-u ne mogu da stavim ban, ali ovog sam blokirao samo tako. Videcu kakvi ce rezultati biti u toku dana. __________________ Peđina beležnica (blog) - www.uzice.net - wireless.uzice.net - www.vokabular.org - www.vodic.net - forum.uzice.net

14. 06. 2006.	#8
bojan_bozovic expert Master Datum učlanjenja: 20.12.2005 Poruke: 729 Hvala: 0 0 "Hvala" u 0 poruka	Takodje nemam. Pazi, mod_rewrite moze da napravi problem, a to zato sto nemas ? i & u URL pa robot misli da imas staticki sajt i ne pravi pauzu izmedju hitova. Tako moze bazu da ti obori.

15. 06. 2006.	#9
Pedja Predrag Supurović Grand Master Datum učlanjenja: 24.01.2006 Lokacija: Užice Poruke: 770 Hvala: 0 13 "Hvala" u 5 poruka	Ne koristim mod_rewrite na forumu. __________________ Peđina beležnica (blog) - www.uzice.net - wireless.uzice.net - www.vokabular.org - www.vodic.net - forum.uzice.net

14. 07. 2006.	#10
oliver SelfBanned Expert Datum učlanjenja: 16.06.2005 Poruke: 582 Hvala: 0 0 "Hvala" u 0 poruka	nadjoh nesto zanimljivo u log-u: pogodak.co.yu spider: 56 visits, 21852 hits od 1. jula do danas, i sazvakao nesto preko 650MB protoka. cak je zeznuo i googlebot-a (3x manje hit-ova, skoro 10x manje protoka, 1,5x vise posjeta). "pa sta raaaaaaadis..." __________________

Alati teme
Pogledajte verziju za štampanje Pošaljite email-om ovu stranu
Način prikaza
Linearni prikaz Prebacite u hibridni prikaz Prebacite u prikaz po temama

Slične teme
Tema	Početna poruka teme	Forum	Odgovori	Poslednja poruka
Google Custom Search Engine	Goran Aničić	Marketing i SEO	10	27. 10. 2007. 15:14
Google Search Engine Ranking Factors	Eniac	Marketing i SEO	0	11. 04. 2007. 21:33
majestic12 - distributed search engine	Pedja	Marketing i SEO	5	11. 10. 2006. 12:28
Search Engine API?	MorenoArdohain	Web aplikacije, web servisi i software	7	19. 01. 2006. 20:50
Jupitermedia prodaje ClickZ, Search Engine Watch...	Dejan Bizinger	e-Business	3	03. 08. 2005. 00:30