31. 05. 2006. | #1 |
Predrag Supurović
Grand Master
Datum učlanjenja: 24.01.2006
Lokacija: Užice
Poruke: 791
Hvala: 3
200 "Hvala" u 12 poruka
|
Search Engine Attack
Ovih dana sam primetio da mi forum trosi protok ko lud. Pogledam u log i vidim ono cega sam se i plasio. Opet search engine botovi prave dar mar. U poslednjih 7 dna sajt je pod konstantnim napadom Google-a i nekog sogou spider bota. Urnisase me.
Forum mi je pod konstantim opterecenjem, protok vec 7 dana ne spada ispod 100kbps, a u cestim pikovima ide i preko 200 kbps. Opterecenej je konstano 24h dnevno. Odavno sam podesio robots.txt da smanjim indeksiranje od strane pretrazivaca i to je do pre neki dan koliko-toliko radilo, ali ovo sada je neverovatno. Prakticno mi ostaje jedina opcija da zabranim pristup sajtu sa IP-ova sa kojih dolaze bot-ovi. Imate li vi ovakvih problema?
__________________
Peđina beležnica (blog) - www.uzice.net - wireless.uzice.net - www.vokabular.org - www.vodic.net - forum.uzice.net |
01. 06. 2006. | #2 |
Knowledge base
Wrote a book
Datum učlanjenja: 16.06.2005
Lokacija: Novi Sad
Poruke: 1.437
Hvala: 37
131 "Hvala" u 82 poruka
|
Mislim da si spomenuo taj problem vise puta ovde, ali ja licno nijednom nisam imao slican slucaj.
Inace, jesi siguran da su SE botovi u pitanju, po IP adresama? Ako jesi, mozda ne bi skodilo da postujes link do foruma, pa da vidimo sta je to tako problematicno za njih, mozda su upali u neki loop, a ne bi skodilo ni da iz loga izvadis URLove koje su oni fetchovali i koliko puta
__________________
Năo quero mais seguir um só caminho |
01. 06. 2006. | #3 |
Nikola Denić
Sir Write-a-Lot
|
Pedja da li si siguran da problem nije do tebe ... mozda u kodu pravis neki beskonacni loop gde se zabuni robot ?
__________________
Do not ask yourself what the world needs. Ask yourself what makes you come alive, and then go do that. Because what the world needs is people who have come alive |
01. 06. 2006. | #4 |
Knowledge base
Wrote a book
Datum učlanjenja: 16.06.2005
Lokacija: Novi Sad
Poruke: 1.437
Hvala: 37
131 "Hvala" u 82 poruka
|
Pedja, ako je u pitanju forum.u...e.net, vidim da je na URL-ove nalepljen SID, mozda to prouzrokuje problem?
__________________
Năo quero mais seguir um só caminho |
01. 06. 2006. | #5 |
Predrag Supurović
Grand Master
Datum učlanjenja: 24.01.2006
Lokacija: Užice
Poruke: 791
Hvala: 3
200 "Hvala" u 12 poruka
|
Jeste, forum.uzice.net. Ma forumi su uvek puni ciklicnih linkova. SE botovi moraju da znaju da se snadju sa tim kao i sa SID-om.
Jedan od botova je Google (mada mislim da se on ponasa koliko-toliko pristojno, pravi mi samo nesto preko 1 giga mesecno. Pre sedam dana se pojavio neki sogou spider, koliko sam iskopao to je spider nekog kineskog provajdera. Ne postuje robots.txt ni za ic, a protok prvi samo tako, za sedam dana skoro 4 giga... Gogole-u ne mogu da stavim ban, ali ovog sam blokirao samo tako. Videcu kakvi ce rezultati biti u toku dana.
__________________
Peđina beležnica (blog) - www.uzice.net - wireless.uzice.net - www.vokabular.org - www.vodic.net - forum.uzice.net |
01. 06. 2006. | #6 |
Knowledge base
Wrote a book
Datum učlanjenja: 16.06.2005
Lokacija: Novi Sad
Poruke: 1.437
Hvala: 37
131 "Hvala" u 82 poruka
|
Ipak ti savetujem da uklonis SID iz linkova
__________________
Năo quero mais seguir um só caminho |
01. 06. 2006. | #7 |
Predrag Supurović
Grand Master
Datum učlanjenja: 24.01.2006
Lokacija: Užice
Poruke: 791
Hvala: 3
200 "Hvala" u 12 poruka
|
Sad proverih, ko zna kad sam ja uradio patch koji regulise SID za Google i inktomi. Uglavnom to je uradjeno davno.
__________________
Peđina beležnica (blog) - www.uzice.net - wireless.uzice.net - www.vokabular.org - www.vodic.net - forum.uzice.net |
14. 06. 2006. | #8 |
expert
Master
Datum učlanjenja: 20.12.2005
Poruke: 730
Hvala: 0
0 "Hvala" u 0 poruka
|
Takodje nemam. Pazi, mod_rewrite moze da napravi problem, a to zato sto nemas ? i & u URL pa robot misli da imas staticki sajt i ne pravi pauzu izmedju hitova. Tako moze bazu da ti obori.
|
15. 06. 2006. | #9 |
Predrag Supurović
Grand Master
Datum učlanjenja: 24.01.2006
Lokacija: Užice
Poruke: 791
Hvala: 3
200 "Hvala" u 12 poruka
|
Ne koristim mod_rewrite na forumu.
__________________
Peđina beležnica (blog) - www.uzice.net - wireless.uzice.net - www.vokabular.org - www.vodic.net - forum.uzice.net |
14. 07. 2006. | #10 |
expert
Expert
|
nadjoh nesto zanimljivo u log-u:
pogodak.co.yu spider: 56 visits, 21852 hits od 1. jula do danas, i sazvakao nesto preko 650MB protoka. cak je zeznuo i googlebot-a (3x manje hit-ova, skoro 10x manje protoka, 1,5x vise posjeta). "pa sta raaaaaaadis..."
__________________
|
|
|
Slične teme | ||||
Tema | Početna poruka teme | Forum | Odgovori | Poslednja poruka |
Bing.com - Search Engine | SSpin | Web aplikacije, web servisi i software | 45 | 09. 06. 2009. 16:29 |
Google Custom Search Engine | Goran Aničić | Marketing i SEO | 10 | 27. 10. 2007. 15:14 |
majestic12 - distributed search engine | Pedja | Marketing i SEO | 5 | 11. 10. 2006. 12:28 |
Search Engine API? | MorenoArdohain | Web aplikacije, web servisi i software | 7 | 19. 01. 2006. 20:50 |