Did You Mean API

[ivanhoe]

Po nekom mom iskustvu sa spajderovanjem Google ce da te ustreli posle otprilike 400-500 upita na sa istog IP-ja, tokom perioda od nekoliko sati. Medjutim imaju foru koja provaljuje sistematicne pretrage, tipa kad menjas samo jednu rec ili tako nesto, tako da te ponekad bannuju i brze, a ponekad mozes i vise da izguras...

[dinke]

Hint1: Mozes gadjati vise google servera, npr za google PR u klasi koju ja furam imam nesto poput ovoga:

PHP kôd:

$google_domains = array(
        "toolbarqueries.google.com",
        "www.google.com",
        "toolbarqueries.google.com.tr",
        "www.google.com.tr",
        "toolbarqueries.google.de",
        "www.google.de",
        "64.233.187.99",
        "72.14.207.99"); 


Hint2: Koristi moju curl klasu

http://www.dinke.net/blog/2006/08/31/curl-http-client/

PHP kôd:

$curl = new Curl_HTTP_Client();
//set useragent
$curl->set_user_agent("Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.1) Gecko/20100101 Firefox/4.0.1");

$html = $curl->fetch_url("http://www.google.com/m?q=".str_replace(" ", "+", $query), null, 10); 


[webarto]

http://didyoumean.info/

Puca na specifične TLD, samim time vraća relevantnije sugestije.

http://didyoumean.info/api?q=helo%20helloo%20olla (.COM)

http://didyoumean.info/api?tld=rs&q=hlijeb (RS)
http://didyoumean.info/api?tld=ba&q=hlijeb (BA)

[webarto]

U ovakvim slučajevima soundex i levenshtein manje-više beskorisni