spajderovanje googla

ivanhoe · 29. 05. 2008.

Jel ima neko ovde iskustva oko slanja automatizovanih upita na google?

Google naravno ovo ne voli, i blokira relativno brzo, ali da li postoje neki work-arounds, da li se isplati uzimati dodatne IP-je ili blokiraju ceo range i tako to, svako vase iskustvo bi mi pomoglo...

moze i na PM, ako necete javno.. a ja cu da cutim kao zaliven

bluesman · 29. 05. 2008.

Kavi upiti i koliko često? Možda da koristiš dinketovu curl klasu i namestiš user_agent pa onda izgleda kao da neko iz browsera pretražuje? Ali opet, ako je nešto tipa... svakih par sekundi... ne znam.

robi-bobi · 29. 05. 2008.

ne znam za sta ti treba
al ima google neki search api, mozes njega da probas

dinke · 29. 05. 2008.

/me covek sa iskustvom spiderovanja google-a

Sa jednim IP-em mozes malo da se igras i to je to. Posle minut/dva ide ban koji je obicno vremenski (tipa 15-tak minuta dobijas 403), a posle nekoliko uzastoponih sledi trajan ban. Veci broj IP-a pomaze ali ne cini cuda, posto teze da blokiraju ceo IP pool. Zavisi i sta spiderujes, nije isto ako spiderujes adwords ili search.

Sve u svemu moze spidering po mogustvu sa veceg broja servera uz veci opseg ip adresa (po mogustvu da ne budu iz iste klase pa cak ni isp-ova). I naravno na multithreading zaboravi, to svejedno mora ici sporo da se google ne bi uznemirio.

Za vise informacija PP

ivanhoe · 29. 05. 2008.

hvala na info-u, treba mi obican search, prva strana rezaultata.. nema veze sa SEO majke mi

imam ja vec svoj spajder pisan u perlu, user agent, IP binding, proxiji i sve to, ali bojim se da necu zeznuti google sa tim, imam komplex od njih... a i treba da napravim ~35M requesta znaci trebalo bi mi jako puno API keyeva

kodi · 30. 05. 2008.

sve zavisi koliko ti je hitno da to odradis, i jel mora sve odjednom (losija varijanta)

imas i jedan PP

29. 05. 2008.	#1
ivanhoe Ivan Dilber Sir Write-a-Lot Datum učlanjenja: 18.10.2005 Lokacija: Bgd Poruke: 5.320 Hvala: 104 2.344 "Hvala" u 583 poruka	spajderovanje googla Jel ima neko ovde iskustva oko slanja automatizovanih upita na google? Google naravno ovo ne voli, i blokira relativno brzo, ali da li postoje neki work-arounds, da li se isplati uzimati dodatne IP-je ili blokiraju ceo range i tako to, svako vase iskustvo bi mi pomoglo... moze i na PM, ako necete javno.. a ja cu da cutim kao zaliven __________________ Leadership is the art of getting people to want to do what you know must be done.

29. 05. 2008.	#2
bluesman Goran Pilipović Sir Write-a-Lot Datum učlanjenja: 18.05.2005 Lokacija: Beograd Poruke: 5.450 Hvala: 288 1.247 "Hvala" u 446 poruka	Kavi upiti i koliko često? Možda da koristiš dinketovu curl klasu i namestiš user_agent pa onda izgleda kao da neko iz browsera pretražuje? Ali opet, ako je nešto tipa... svakih par sekundi... ne znam. __________________ Goran Pilipović a.k.a. Ugly Fingers Bradley f.k.a. bluesman I don't always know what I'm talking about but I know I'm right!

29. 05. 2008.	#4
dinke Super Moderator Invented the damn thing Datum učlanjenja: 06.06.2005 Poruke: 2.371 Hvala: 370 701 "Hvala" u 194 poruka	/me covek sa iskustvom spiderovanja google-a Sa jednim IP-em mozes malo da se igras i to je to. Posle minut/dva ide ban koji je obicno vremenski (tipa 15-tak minuta dobijas 403), a posle nekoliko uzastoponih sledi trajan ban. Veci broj IP-a pomaze ali ne cini cuda, posto teze da blokiraju ceo IP pool. Zavisi i sta spiderujes, nije isto ako spiderujes adwords ili search. Sve u svemu moze spidering po mogustvu sa veceg broja servera uz veci opseg ip adresa (po mogustvu da ne budu iz iste klase pa cak ni isp-ova). I naravno na multithreading zaboravi, to svejedno mora ici sporo da se google ne bi uznemirio. Za vise informacija PP __________________ Caught in a Web\|Blogodak With great power comes great responsibility!

29. 05. 2008.	#5
ivanhoe Ivan Dilber Sir Write-a-Lot Datum učlanjenja: 18.10.2005 Lokacija: Bgd Poruke: 5.320 Hvala: 104 2.344 "Hvala" u 583 poruka	hvala na info-u, treba mi obican search, prva strana rezaultata.. nema veze sa SEO majke mi imam ja vec svoj spajder pisan u perlu, user agent, IP binding, proxiji i sve to, ali bojim se da necu zeznuti google sa tim, imam komplex od njih... a i treba da napravim ~35M requesta znaci trebalo bi mi jako puno API keyeva __________________ Leadership is the art of getting people to want to do what you know must be done. Poslednja izmena od ivanhoe : 29. 05. 2008. u 23:10.

30. 05. 2008.	#6
kodi 133t Master Datum učlanjenja: 07.01.2006 Lokacija: Beograd Poruke: 714 Hvala: 16 37 "Hvala" u 28 poruka	sve zavisi koliko ti je hitno da to odradis, i jel mora sve odjednom (losija varijanta) imas i jedan PP __________________

29. 05. 2008.	#3
robi-bobi expert Grand Master Datum učlanjenja: 05.10.2005 Lokacija: Sofia, Bulgaria Poruke: 805 Hvala: 222 958 "Hvala" u 68 poruka	ne znam za sta ti treba al ima google neki search api, mozes njega da probas

Slične teme
Tema	Početna poruka teme	Forum	Odgovori	Poslednja poruka
sinhronizacija Task liste izmeju googla i nokia telefona	ivanhoe	Web aplikacije, web servisi i software	4	08. 10. 2009. 20:07
Nova vrsta oglasavanja preko Googla	Srpko	Marketing i SEO	0	11. 02. 2006. 10:34