DevProTalk

DevProTalk (http://www.devprotalk.com/index.php)
-   Web Hosting, web serveri i operativni sistemi (http://www.devprotalk.com/forumdisplay.php?f=11)
-   -   Pobješnjeli "Google" bot (http://www.devprotalk.com/showthread.php?t=4759)

chegevara 19. 02. 2008. 17:59
Pobješnjeli "Google" bot
 
Ovo je nešto što mi se prvi put dešava, pa čisto da podijelim sa vama i zamolim za savjet. Danas otprilike od 12.00h pa sve do 16.30h moj sajt je kljucao neki čudni bot. Predstavljen kao Googlebot compatible, i evo šta sam izvukao iz loga:

Hostname: roohit07.he.net (66.220.18.42)
UserAgent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Znači broj zahtjeva je OGROMAN, bot se naoštrio kao da je upravo odgledao Matrix 1 i 2. U to 4 sata nakucao je log od 15MB i prosto me čudi kako je sve to server na kome sam hostovan izdržao (DreamHost). Zabranio sam pristup ovoj IP adresi preko htaccessa i sad je situacija pod kontrolom, ali me strah da se opet ne desi nešto slično. Sumnjam da bi moja trošna srčka to izdržala :1016:

Jel' imao neko slično iskustvo, eventualno neki savjet?
Možda je ovo u biti dobronamjeran bot koji je čitajući moj tekst totalno odlijepio i ostao u mrtvoj petlji, ali paranoik u dubini duše ne dozvoljava mi da to mirno gledam.


Ako nekoga zanima, evo i jedan djelić loga:

Kôd:
Hostname: roohit07.he.net

    * UserAgent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

    * SPIDER: Google
    * OS: N/A N/A
    * BROWSER: N/A


    * 16:30:00 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:00 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:00 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:00 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:00 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:00 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:01 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:01 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:01 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:02 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:02 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:02 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:02 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:02 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:03 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:07 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:08 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:08 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:08 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:08 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:08 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:08 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:08 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:08 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:08 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:12 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:12 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:12 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:13 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:13 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:13 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:13 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:13 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:13 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:13 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:14 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:14 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:15 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:15 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:15 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:15 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:15 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:15 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:15 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:15 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:16 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:17 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:17 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:17 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    ...
    ...
    i sve to u 15MB.

mangia 19. 02. 2008. 19:06
da nemas tu link na istu tu stranicu koja ga uvali u mrtvu petlju? Glupo jeste ali barem diskutujemo...

I jedna kritika za nepaljenje Gtalk-a :)

chegevara 19. 02. 2008. 19:54
Gtalk je upaljen stalno, čak i kad se spava. Vjerovatno ti je promakla moja email selidba prije pola godine.
Uglavnom ja tebe vidim :D

Off Topic:
Samo za mangiu, ostalima sumnjam da je zanimljivo. :)


E sad što se tiče stranice, u pitanju je obični blog unos, ničim poseban, tj. isti kao i svi ostali. Jedina razlika je što sam njega ostavio kao link na DPT temi gdje smo se hvalili sa brojem posjeta. :) Vjerujem da je to koincidencija, tj. možda i nije, možda me ovaj bugoviti bot pronašao preko foruma, pa se zaglupio količinom teksta i totalno odlijepio. Do sad nije bilo frke, osim što sam primjetio da je load na mašini malo veći nego obično, ali ne primjećujem ništa čudno kod mene. Čak sam pisao i ovima iz podrške, nahvalio se da sam fin momak, da želim mir u svjetu i da nemam pojma šta se dešava, al' eto prijavljujem problem kao svaki savjesni korisnik.

Posjetio sam i stranicu he {dot} net, u pitanju je Hjuriken Elektrik, Internet Backbone and Colocation Provider.

Inače i ja sve više mislim da je u pitanju neki bug, tj nenamjerna mrtva petlja.

ivanhoe 19. 02. 2008. 20:20
ovo 99% nema veze sa googlom, nije njihov UA, a sta je taj hjuriken ne znam... mozda je bot, u skladu sa nazivom firme, uraganski :)

chegevara 19. 02. 2008. 23:16
Nisam ni sumnjao da je gugl, po IP-u sam to odmah vidio. Bonusa sto se Guglica odma prepozna po hostu: crawl-*.googlebot.com


Upravo mi se pojavio dnevni izvjestaj u panelu. Skraceno, blagi horor!

Dnevni broj mysql konekcija mog bloga se krece od 800 do 1200, a broj querija je od 10-25k. Uglavnom kad to prevedem u cifre na kraju mjeseca, moj sajt potrosi oko 1.200MCn. E ovaj bot je napravio 62100 mysql konekcija i dnevnu "potrošnju" od 2.307MCn za samo 4 sata igranja.

Pravi hjuriken :)


Jel ima neki modul sa kojim mogu spriječiti ovakve stvari. Nešto tipa ako određeni IP u xx minuta napravi preko yy zahtjeva suspenduj ga zz minuta. Vidio sam da negdje pominju Bad Behavior 2 ali nema iskustva (a zakleo bi se da sam negdje pročitao da nije samo za spam).

Peca 19. 02. 2008. 23:33
http://www.zdziarski.com/projects/mod_evasive/


Vreme je GMT +2. Trenutno vreme je 00:59.

Powered by vBulletin® Verzija 3.6.8
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
Copyright © DevProTalk. All Rights Reserved.

Mišljenja, saveti, izjave, ponude ili druge informacije ili sadržaji nastali na Sajtu su vlasništvo onoga ko ih je kreirao, a ne DevProTalk.com, tako da ne morate da se oslanjate na njih.
Autori poruka su jedini odgovorni za ovakve sadržaje. DevProTalk.com ne garantuje tačnost, kompletnost ili upotrebnu vrednost informacija, stavova, saveta ili datih izjava. Ne postoje uslovi pod kojima bi mi bili odgovorni za štetu ili gubitak koji je posledica bilo čijeg oslanjanja na nepouzdane informacije, ili bilo kakve informacije nastale kroz komunikaciju između registrovanih članova.
Web sajt može sadržavati linkove na druge web sajtove na Internetu ili neke druge sadržaje. Ne kontrolišemo niti podržavamo te druge web sajtove, niti smo pregledali bilo kakve sadržaje na takvim sajtovima. Mi nećemo biti odgovorni za legalnost, tačnost ili prikladnost bilo kog sadržaja, oglasa, proizvoda, usluga ili informacije lociranim na ili distribuiranih kroz druge web sajtove, niti za bilo kakvu štetu nastalu kao posledica takvih informacija. DevProTalk.com drži i čuva druga prava vlasništva na web sajtu. Web sajt sadrže materijale zaštićene copyright-om, zaštitne znakove i druge informacije o pravu vlasništva ili softver. Članovi mogu poslatu informacije zaštićene pravima vlasništva njihovih nosilaca i ona ostaju zaštićena bez obzira da li su oni koji prenose te informacije to naveli ili ne. Osim informacija koje su u javnom vlasništvu ili za koje dobijete dozvolu, nemate pravo da kopirate, modifikujete ili na bilo koji način menjate, objavljujete, prenosite, distribuirate, izvršavate, prikazujete ili prodajte bilo koju informaciju zaštićenu pravima vlasništva. Slanjem informacija ili sadržaja na bilo koji deo DevProTalk.com, Vi automatski dozvoljavate i predstavljate garanciju da imate pravo da dozvolite DevProTalk.com ili članovima DevProTalk.com bespovratnu, kontinualnu, neograničenu, globalnu dozvolu da koriste, kopiraju, izvršavaju, prikazuju i distribuiraju takve informacije i sadržaje i da iz takvih sadžaja koriste bilo koji deo u bilo koje svrhe, kao i pravo i dozvolu da koriste gore navedene sadržaje. Svi zaštitni znakovi (trademarks), logotipi, oznake usluga, firme ili imena proizvoda koji se pominju na ovom web sajtu su vlasništvo kojim raspolažu njihovi vlasnici.