Pogledajte određenu poruku
Staro 29. 05. 2008.   #4
dinke
Super Moderator
Invented the damn thing
 
Avatar dinke
 
Datum učlanjenja: 06.06.2005
Poruke: 2.371
Hvala: 370
701 "Hvala" u 194 poruka
dinke je pravi dragi kamendinke je pravi dragi kamendinke je pravi dragi kamendinke je pravi dragi kamendinke je pravi dragi kamendinke je pravi dragi kamendinke je pravi dragi kamen
Default

/me covek sa iskustvom spiderovanja google-a

Sa jednim IP-em mozes malo da se igras i to je to. Posle minut/dva ide ban koji je obicno vremenski (tipa 15-tak minuta dobijas 403), a posle nekoliko uzastoponih sledi trajan ban. Veci broj IP-a pomaze ali ne cini cuda, posto teze da blokiraju ceo IP pool. Zavisi i sta spiderujes, nije isto ako spiderujes adwords ili search.

Sve u svemu moze spidering po mogustvu sa veceg broja servera uz veci opseg ip adresa (po mogustvu da ne budu iz iste klase pa cak ni isp-ova). I naravno na multithreading zaboravi, to svejedno mora ici sporo da se google ne bi uznemirio.

Za vise informacija PP
__________________
Caught in a Web|Blogodak
With great power comes great responsibility!
dinke je offline   Odgovorite uz citat