29. 05. 2008. | #1 |
Ivan Dilber
Sir Write-a-Lot
|
spajderovanje googla
Jel ima neko ovde iskustva oko slanja automatizovanih upita na google?
Google naravno ovo ne voli, i blokira relativno brzo, ali da li postoje neki work-arounds, da li se isplati uzimati dodatne IP-je ili blokiraju ceo range i tako to, svako vase iskustvo bi mi pomoglo... moze i na PM, ako necete javno.. a ja cu da cutim kao zaliven
__________________
Leadership is the art of getting people to want to do what you know must be done. |
29. 05. 2008. | #2 |
Goran Pilipović
Sir Write-a-Lot
|
Kavi upiti i koliko često? Možda da koristiš dinketovu curl klasu i namestiš user_agent pa onda izgleda kao da neko iz browsera pretražuje? Ali opet, ako je nešto tipa... svakih par sekundi... ne znam.
__________________
Goran Pilipović a.k.a. Ugly Fingers Bradley f.k.a. bluesman I don't always know what I'm talking about but I know I'm right! |
29. 05. 2008. | #3 |
expert
Grand Master
|
ne znam za sta ti treba
al ima google neki search api, mozes njega da probas |
29. 05. 2008. | #4 |
Super Moderator
Invented the damn thing
Datum učlanjenja: 06.06.2005
Poruke: 2.371
Hvala: 370
701 "Hvala" u 194 poruka
|
/me covek sa iskustvom spiderovanja google-a
Sa jednim IP-em mozes malo da se igras i to je to. Posle minut/dva ide ban koji je obicno vremenski (tipa 15-tak minuta dobijas 403), a posle nekoliko uzastoponih sledi trajan ban. Veci broj IP-a pomaze ali ne cini cuda, posto teze da blokiraju ceo IP pool. Zavisi i sta spiderujes, nije isto ako spiderujes adwords ili search. Sve u svemu moze spidering po mogustvu sa veceg broja servera uz veci opseg ip adresa (po mogustvu da ne budu iz iste klase pa cak ni isp-ova). I naravno na multithreading zaboravi, to svejedno mora ici sporo da se google ne bi uznemirio. Za vise informacija PP |
29. 05. 2008. | #5 |
Ivan Dilber
Sir Write-a-Lot
|
hvala na info-u, treba mi obican search, prva strana rezaultata.. nema veze sa SEO majke mi
imam ja vec svoj spajder pisan u perlu, user agent, IP binding, proxiji i sve to, ali bojim se da necu zeznuti google sa tim, imam komplex od njih... a i treba da napravim ~35M requesta znaci trebalo bi mi jako puno API keyeva
__________________
Leadership is the art of getting people to want to do what you know must be done. Poslednja izmena od ivanhoe : 29. 05. 2008. u 23:10. |
30. 05. 2008. | #6 |
133t
Master
|
sve zavisi koliko ti je hitno da to odradis, i jel mora sve odjednom (losija varijanta)
imas i jedan PP |
|
|
Slične teme | ||||
Tema | Početna poruka teme | Forum | Odgovori | Poslednja poruka |
sinhronizacija Task liste izmeju googla i nokia telefona | ivanhoe | Web aplikacije, web servisi i software | 4 | 08. 10. 2009. 20:07 |
Nova vrsta oglasavanja preko Googla | Srpko | Marketing i SEO | 0 | 11. 02. 2006. 10:34 |