Pobješnjeli "Google" bot

[chegevara]

Ovo je nešto što mi se prvi put dešava, pa čisto da podijelim sa vama i zamolim za savjet. Danas otprilike od 12.00h pa sve do 16.30h moj sajt je kljucao neki čudni bot. Predstavljen kao Googlebot compatible, i evo šta sam izvukao iz loga:

Hostname: roohit07.he.net (66.220.18.42)
UserAgent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Znači broj zahtjeva je OGROMAN, bot se naoštrio kao da je upravo odgledao Matrix 1 i 2. U to 4 sata nakucao je log od 15MB i prosto me čudi kako je sve to server na kome sam hostovan izdržao (DreamHost). Zabranio sam pristup ovoj IP adresi preko htaccessa i sad je situacija pod kontrolom, ali me strah da se opet ne desi nešto slično. Sumnjam da bi moja trošna srčka to izdržala

Jel' imao neko slično iskustvo, eventualno neki savjet?
Možda je ovo u biti dobronamjeran bot koji je čitajući moj tekst totalno odlijepio i ostao u mrtvoj petlji, ali paranoik u dubini duše ne dozvoljava mi da to mirno gledam.


Ako nekoga zanima, evo i jedan djelić loga:

Hostname: roohit07.he.net

    * UserAgent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

    * SPIDER: Google
    * OS: N/A N/A
    * BROWSER: N/A


    * 16:30:00 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:00 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:00 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:00 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:00 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:00 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:01 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:01 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:01 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:02 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:02 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:02 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:02 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:02 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:03 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:07 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:08 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:08 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:08 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:08 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:08 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:08 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:08 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:08 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:08 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:12 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:12 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:12 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:13 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:13 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:13 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:13 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:13 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:13 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:13 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:14 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:14 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:15 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:15 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:15 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:15 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:15 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:15 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:15 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:15 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:16 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:17 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:17 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    * 16:30:17 ->/2008/01/30/svjetlopisi-srecan-vam-drugi-rodendan/
    ...
    ...
    i sve to u 15MB.