fetch podataka sa drugih sajtova

[AdriaMart]

Hvala druze, dugujem pivo !

[svlada]

Ako koristiš python probaj http://scrapy.org/ isto tako postoji i Mech za python http://wwwsearch.sourceforge.net/mechanize/

Isto tako ako koristiš javu baci pogled ovde http://htmlunit.sourceforge.net/gettingStarted.html

[AdriaMart]

Uradio sam sve i poprilicno je dobro medjutim primetio sam da neki sajtovi kao sto je npr. kupime.com imaju i vise od 10 aktivnih ponuda. www.kupime.com/aktivne-ponude/ E sad zelim da pratim sve linkove(sve ponude) sa adrese www.kupime.com/aktivne-ponude/ ne samo glavnu stranu pa me interesuje da li je moguce to izvesti. tj. nesto kao indeksiranje... da se najpre preuzmu linkovi sa navedene URL adrese pa da se zatim svaka strana posebno obradi... HELP!

[mileusna]

^ Pa sve si sam lepo objasnio šta treba.

[AdriaMart]

Znam ja sta treba al ne bas i sintaksu za pisanje ... potrazicu na netu sigurno ima nesto o tome.

[Br@nkoR]

Npr. na brzinu preuzimenje linkova:

$dom = new DOMDocument();
@$dom->loadHTMLFile('http://www.kupime.com/aktivne-ponude/');
$xpath = new DOMXPath($dom);
$entries = $xpath->query("//ul[@id='list_offers']//table//a/@href");
foreach($entries as $e) {
  echo 'http://www.kupime.com' . $e->textContent . '<br />';
}

Preuzimanje određenog sadržaja sa neke od stranica:

$dom = new DOMDocument();
@$dom->loadHTMLFile('http://www.kupime.com/ponuda/4299-din-umesto-10000-din-za-brazilsko-fenirane-kose-u-salonu-beauty-studio-hot/366');
$xpath = new DOMXPath($dom);
echo $xpath->query("//h1[@id='offer_title']")->item(0)->textContent;
echo '<hr />';
echo $xpath->query("//div[@id='description']")->item(0)->textContent;
echo '<hr />';
echo $xpath->query("//div[@id='img_border']/img/@src")->item(0)->textContent;

Zgodan alat za ovako nešto:
https://addons.mozilla.org/en-us/fir...ddon/firepath/

Pozdrav.

[AdriaMart]

Ok, super. Da li bi moglo da se nekom petljom foreach ili sl. za loadhtmlfile tj. da kada se linkovi preuzmu da se automatski obradjuju strane jedna po jedna. Da li da se napise if petljom. Neznam bas xml dom sintaksu pa me zanima kako da dodam promenjlive za ove vrednosti ''description'' ''img'' i ostale... moze li ovako
$data["slika"] => $xpath->query("//div[@id='description']")->item(0)->textContent;
kako bi zatim $data vrednost unela u mysql bazu... Hvala svima na pomoci.

Takodje sta da postavim kako bi resio problem sa slovim sa kvacicama... npr. evo sta izadje: "promeniće Vaš look i spasiti Vas dugotrajnih feniranja. Kažu da žene uvek hoće ono što nemaju"

[Br@nkoR]

npr.

PHP kôd:

$dom = new DOMDocument();
@$dom->loadHTMLFile('http://www.kupime.com/aktivne-ponude/');
$xpath = new DOMXPath($dom);
$entries = $xpath->query("//ul[@id='list_offers']//table//a/@href");
$output = array();
foreach($entries as $e) {  
  $dom2 = new DOMDocument();
  @$dom2->loadHTMLFile('http://www.kupime.com' . $e->textContent);
  $xpath2 = new DOMXPath($dom2);
  $data = array();
  $data['naslov'] = trim($xpath2->query("//h1[@id='offer_title']")->item(0)->textContent);
  $data['opis'] = trim($xpath2->query("//div[@id='description']")->item(0)->textContent);
  $data['slika'] = trim($xpath2->query("//div[@id='img_border']/img/@src")->item(0)->textContent);
  $output[] = $data;
}

echo '<pre>' . print_r($output, true) . '</pre>'; 


E sada da li je pametno ovako raditi jer se vrši dovlaćenje 10 stranica, nisam siguran, odgovoriće neko sa većim iskustvom. Mada pošto si napisao da upisuješ u bazu, verovatno ne vršiš prečesto "dovlačenje" sadržaja.

A za problem sa enkodingom proveri da li je enkoding php stranice uft8.

[AdriaMart]

Svaka cast... extra. Probao sam na razne nacine da izvucen lng= , i lang= , iz coda ali bez uspeha... da li je to uopste moguce s obzirom da su lng i lang koordinate u javascript-u na strani.

Sto se tice dovlacenja nije problem jer dovlacenje vrsim preko cron-a na nekoliko sati i upisujem u bazu.

Pozdrav!

[Br@nkoR]

PHP kôd:

$dom = new DOMDocument();
@$dom->loadHTMLFile('http://www.kupime.com/ponuda/4299-din-umesto-10000-din-za-brazilsko-fenirane-kose-u-salonu-beauty-studio-hot/366');
$xpath = new DOMXPath($dom);

$location = $xpath->query("//div[@id='location']//script")->item(1)->textContent;
preg_match('/var\s+lat\s+=\s+(\d{2}\.\d{6});/', $location, $lat);
preg_match('/var\s+lang\s+=\s+(\d{2}\.\d{6});/', $location, $lang);

echo $lat[1];
echo '<br />';
echo $lang[1]; 


Pa ti ukombinuj u skriptu.