Search Engine Attack

Pedja · 01. 06. 2006.

Jeste, forum.uzice.net. Ma forumi su uvek puni ciklicnih linkova. SE botovi moraju da znaju da se snadju sa tim kao i sa SID-om.

Jedan od botova je Google (mada mislim da se on ponasa koliko-toliko pristojno, pravi mi samo nesto preko 1 giga mesecno. Pre sedam dana se pojavio neki sogou spider, koliko sam iskopao to je spider nekog kineskog provajdera. Ne postuje robots.txt ni za ic, a protok prvi samo tako, za sedam dana skoro 4 giga...

Gogole-u ne mogu da stavim ban, ali ovog sam blokirao samo tako. Videcu kakvi ce rezultati biti u toku dana.

MorenoArdohain · 01. 06. 2006.

Ipak ti savetujem da uklonis SID iz linkova

Pedja · 01. 06. 2006.

Sad proverih, ko zna kad sam ja uradio patch koji regulise SID za Google i inktomi. Uglavnom to je uradjeno davno.

bojan_bozovic · 14. 06. 2006.

Takodje nemam. Pazi, mod_rewrite moze da napravi problem, a to zato sto nemas ? i & u URL pa robot misli da imas staticki sajt i ne pravi pauzu izmedju hitova. Tako moze bazu da ti obori.

Pedja · 15. 06. 2006.

Ne koristim mod_rewrite na forumu.

oliver · 14. 07. 2006.

nadjoh nesto zanimljivo u log-u:

pogodak.co.yu spider: 56 visits, 21852 hits od 1. jula do danas, i sazvakao nesto preko 650MB protoka. cak je zeznuo i googlebot-a (3x manje hit-ova, skoro 10x manje protoka, 1,5x vise posjeta).

"pa sta raaaaaaadis..."

Pedja · 16. 07. 2006.

Pogodak je po tome poznat, toiko da uopste nije cesto videti ga banovanog

pcigre · 16. 08. 2006.

Pogodak ume da bude veoma navalentan. Kada nam je prvi put indexirao sajt pravio je prilicno opterecenje na serveru.

Ovih dana google aktivno indexira sajt, 24h dnevno, ali ocigledno razumnom brzinom tako da ne pravi problem.

dee · 10. 10. 2006.

za deveti mjesec:

google -> 430Mb
pogodak -> 6.99Gb

?!

01. 06. 2006.	#1
Pedja Predrag Supurović Grand Master Datum učlanjenja: 24.01.2006 Lokacija: Užice Poruke: 791 Hvala: 3 200 "Hvala" u 12 poruka	Jeste, forum.uzice.net. Ma forumi su uvek puni ciklicnih linkova. SE botovi moraju da znaju da se snadju sa tim kao i sa SID-om. Jedan od botova je Google (mada mislim da se on ponasa koliko-toliko pristojno, pravi mi samo nesto preko 1 giga mesecno. Pre sedam dana se pojavio neki sogou spider, koliko sam iskopao to je spider nekog kineskog provajdera. Ne postuje robots.txt ni za ic, a protok prvi samo tako, za sedam dana skoro 4 giga... Gogole-u ne mogu da stavim ban, ali ovog sam blokirao samo tako. Videcu kakvi ce rezultati biti u toku dana. __________________ Peđina beležnica (blog) - www.uzice.net - wireless.uzice.net - www.vokabular.org - www.vodic.net - forum.uzice.net

01. 06. 2006.	#2
MorenoArdohain Knowledge base Wrote a book Datum učlanjenja: 16.06.2005 Lokacija: Novi Sad Poruke: 1.437 Hvala: 37 131 "Hvala" u 82 poruka	Ipak ti savetujem da uklonis SID iz linkova __________________ Não quero mais seguir um só caminho

01. 06. 2006.	#3
Pedja Predrag Supurović Grand Master Datum učlanjenja: 24.01.2006 Lokacija: Užice Poruke: 791 Hvala: 3 200 "Hvala" u 12 poruka	Sad proverih, ko zna kad sam ja uradio patch koji regulise SID za Google i inktomi. Uglavnom to je uradjeno davno. __________________ Peđina beležnica (blog) - www.uzice.net - wireless.uzice.net - www.vokabular.org - www.vodic.net - forum.uzice.net

15. 06. 2006.	#5
Pedja Predrag Supurović Grand Master Datum učlanjenja: 24.01.2006 Lokacija: Užice Poruke: 791 Hvala: 3 200 "Hvala" u 12 poruka	Ne koristim mod_rewrite na forumu. __________________ Peđina beležnica (blog) - www.uzice.net - wireless.uzice.net - www.vokabular.org - www.vodic.net - forum.uzice.net

14. 07. 2006.	#6
oliver expert Expert Datum učlanjenja: 16.06.2005 Lokacija: Novi Sad Poruke: 580 Hvala: 1 0 "Hvala" u 0 poruka	nadjoh nesto zanimljivo u log-u: pogodak.co.yu spider: 56 visits, 21852 hits od 1. jula do danas, i sazvakao nesto preko 650MB protoka. cak je zeznuo i googlebot-a (3x manje hit-ova, skoro 10x manje protoka, 1,5x vise posjeta). "pa sta raaaaaaadis..." __________________

14. 06. 2006.	#4
bojan_bozovic expert Master Datum učlanjenja: 20.12.2005 Poruke: 730 Hvala: 0 0 "Hvala" u 0 poruka	Takodje nemam. Pazi, mod_rewrite moze da napravi problem, a to zato sto nemas ? i & u URL pa robot misli da imas staticki sajt i ne pravi pauzu izmedju hitova. Tako moze bazu da ti obori.

16. 07. 2006.	#7
Pedja Predrag Supurović Grand Master Datum učlanjenja: 24.01.2006 Lokacija: Užice Poruke: 791 Hvala: 3 200 "Hvala" u 12 poruka	Pogodak je po tome poznat, toiko da uopste nije cesto videti ga banovanog __________________ Peđina beležnica (blog) - www.uzice.net - wireless.uzice.net - www.vokabular.org - www.vodic.net - forum.uzice.net

16. 08. 2006.	#8
pcigre Miloš Vučić Grand Master Datum učlanjenja: 11.08.2006 Lokacija: Niš, Serbia Poruke: 786 Hvala: 106 33 "Hvala" u 20 poruka	Pogodak ume da bude veoma navalentan. Kada nam je prvi put indexirao sajt pravio je prilicno opterecenje na serveru. Ovih dana google aktivno indexira sajt, 24h dnevno, ali ocigledno razumnom brzinom tako da ne pravi problem. __________________ Kotler je bio u pravu. Ko radi srcem nema konkurenciju.

10. 10. 2006.	#9
dee Domagoj Horvat Expert Datum učlanjenja: 24.07.2006 Lokacija: Zagreb Poruke: 502 Hvala: 22 10 "Hvala" u 8 poruka	za deveti mjesec: google -> 430Mb pogodak -> 6.99Gb ?! __________________ postoje ludosti bez kojih je nemoguce ljudsko dostojanstvo

Slične teme
Tema	Početna poruka teme	Forum	Odgovori	Poslednja poruka
Bing.com - Search Engine	SSpin	Web aplikacije, web servisi i software	45	09. 06. 2009. 15:29
Google Custom Search Engine	Goran Aničić	Marketing i SEO	10	27. 10. 2007. 14:14
majestic12 - distributed search engine	Pedja	Marketing i SEO	5	11. 10. 2006. 11:28
Search Engine API?	MorenoArdohain	Web aplikacije, web servisi i software	7	19. 01. 2006. 19:50