DevProTalk

DevProTalk (http://www.devprotalk.com/index.php)
-   PHP (http://www.devprotalk.com/forumdisplay.php?f=9)
-   -   spajderovanje googla (http://www.devprotalk.com/showthread.php?t=5477)

ivanhoe 29. 05. 2008. 21:28

spajderovanje googla
 
Jel ima neko ovde iskustva oko slanja automatizovanih upita na google?

Google naravno ovo ne voli, i blokira relativno brzo, ali da li postoje neki work-arounds, da li se isplati uzimati dodatne IP-je ili blokiraju ceo range i tako to, svako vase iskustvo bi mi pomoglo...

moze i na PM, ako necete javno.. a ja cu da cutim kao zaliven :1094:

bluesman 29. 05. 2008. 22:03

Kavi upiti i koliko često? Možda da koristiš dinketovu curl klasu i namestiš user_agent pa onda izgleda kao da neko iz browsera pretražuje? Ali opet, ako je nešto tipa... svakih par sekundi... ne znam.

robi-bobi 29. 05. 2008. 22:55

ne znam za sta ti treba
al ima google neki search api, mozes njega da probas

dinke 29. 05. 2008. 23:02

/me covek sa iskustvom spiderovanja google-a ;)

Sa jednim IP-em mozes malo da se igras i to je to. Posle minut/dva ide ban koji je obicno vremenski (tipa 15-tak minuta dobijas 403), a posle nekoliko uzastoponih sledi trajan ban. Veci broj IP-a pomaze ali ne cini cuda, posto teze da blokiraju ceo IP pool. Zavisi i sta spiderujes, nije isto ako spiderujes adwords ili search.

Sve u svemu moze spidering po mogustvu sa veceg broja servera uz veci opseg ip adresa (po mogustvu da ne budu iz iste klase pa cak ni isp-ova). I naravno na multithreading zaboravi, to svejedno mora ici sporo da se google ne bi uznemirio.

Za vise informacija PP :)

ivanhoe 29. 05. 2008. 23:07

hvala na info-u, treba mi obican search, prva strana rezaultata.. nema veze sa SEO majke mi :D

imam ja vec svoj spajder pisan u perlu, user agent, IP binding, proxiji i sve to, ali bojim se da necu zeznuti google sa tim, imam komplex od njih... a i treba da napravim ~35M requesta znaci trebalo bi mi jako puno API keyeva ;)

kodi 30. 05. 2008. 21:23

sve zavisi koliko ti je hitno da to odradis, i jel mora sve odjednom (losija varijanta)


imas i jedan PP


Vreme je GMT +2. Trenutno vreme je 15:09.

Powered by vBulletin® Verzija 3.6.8
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
Copyright © DevProTalk. All Rights Reserved.

Mišljenja, saveti, izjave, ponude ili druge informacije ili sadržaji nastali na Sajtu su vlasništvo onoga ko ih je kreirao, a ne DevProTalk.com, tako da ne morate da se oslanjate na njih.
Autori poruka su jedini odgovorni za ovakve sadržaje. DevProTalk.com ne garantuje tačnost, kompletnost ili upotrebnu vrednost informacija, stavova, saveta ili datih izjava. Ne postoje uslovi pod kojima bi mi bili odgovorni za štetu ili gubitak koji je posledica bilo čijeg oslanjanja na nepouzdane informacije, ili bilo kakve informacije nastale kroz komunikaciju između registrovanih članova.
Web sajt može sadržavati linkove na druge web sajtove na Internetu ili neke druge sadržaje. Ne kontrolišemo niti podržavamo te druge web sajtove, niti smo pregledali bilo kakve sadržaje na takvim sajtovima. Mi nećemo biti odgovorni za legalnost, tačnost ili prikladnost bilo kog sadržaja, oglasa, proizvoda, usluga ili informacije lociranim na ili distribuiranih kroz druge web sajtove, niti za bilo kakvu štetu nastalu kao posledica takvih informacija. DevProTalk.com drži i čuva druga prava vlasništva na web sajtu. Web sajt sadrže materijale zaštićene copyright-om, zaštitne znakove i druge informacije o pravu vlasništva ili softver. Članovi mogu poslatu informacije zaštićene pravima vlasništva njihovih nosilaca i ona ostaju zaštićena bez obzira da li su oni koji prenose te informacije to naveli ili ne. Osim informacija koje su u javnom vlasništvu ili za koje dobijete dozvolu, nemate pravo da kopirate, modifikujete ili na bilo koji način menjate, objavljujete, prenosite, distribuirate, izvršavate, prikazujete ili prodajte bilo koju informaciju zaštićenu pravima vlasništva. Slanjem informacija ili sadržaja na bilo koji deo DevProTalk.com, Vi automatski dozvoljavate i predstavljate garanciju da imate pravo da dozvolite DevProTalk.com ili članovima DevProTalk.com bespovratnu, kontinualnu, neograničenu, globalnu dozvolu da koriste, kopiraju, izvršavaju, prikazuju i distribuiraju takve informacije i sadržaje i da iz takvih sadžaja koriste bilo koji deo u bilo koje svrhe, kao i pravo i dozvolu da koriste gore navedene sadržaje. Svi zaštitni znakovi (trademarks), logotipi, oznake usluga, firme ili imena proizvoda koji se pominju na ovom web sajtu su vlasništvo kojim raspolažu njihovi vlasnici.