fetch podataka sa drugih sajtova

[Br@nkoR]

A kako izvlačiš podatke sa drugih sajtova, pošto si napisao da za ostale sajtove radi?
Da ti nisu blokirali pristup sajtu ukoliko neovlašćeno koristiš sadržaj sajta.
Vraća li šta:

PHP kôd:

$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, 'http://www.grupovina.rs');
curl_setopt($ch, CURLOPT_RETURNTRANSFER, false);
curl_setopt($ch, CURLOPT_HEADER, true);
$data = curl_exec($ch);
curl_close($ch);
echo $data; 


Edit: Ukloni znakove @ iz koda koji sam prethodno bio postavio, kako bi se prikazale greške, jer sam ja u brzini bio zaboravio da uklonim.

[AdriaMart]

Sa drugih sajtova izvlacim podatke na isti nacin - potpuno isti!
Ne verujem da su me blokirali jer sam juce prvi put pokrenuo fajl i nije radio (cak ni pokazivao greske ni prvi put)
Izmenio sam kod (bez@) tj. samo $dom i pise:

Warning: DOMDocument::loadHTMLFile() [domdocument.loadhtmlfile]: Document is empty in http://www.grupovina.rs/beograd/, line: 1 in /home/pluspon/public_html/grupovina1.php on line 14

Puno ti hvala na izdvojenom vremenu ali bice sajt bez ponuda grupovine!

[Br@nkoR]

Nema na čemu

$dom->loadHTMLFile() vrati prazan fajl, kao što i piše.
Pokušaj i ovaj kod, postavi ovde šta vrati:

PHP kôd:

$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, 'http://grupovina.rs/beograd/');
curl_setopt($ch, CURLOPT_RETURNTRANSFER, false);
curl_setopt($ch, CURLOPT_HEADER, true);
curl_setopt($ch, CURLOPT_NOBODY, true);
$data = curl_exec($ch);
curl_close($ch);
var_dump($data); 


[AdriaMart]

kod:

HTTP/1.1 200 OK Date: Sat, 01 Oct 2011 13:10:40 GMT Server: Apache/2.2.9 (Fedora) X-Powered-By: PHP/5.2.6 Set-Cookie: PHPSESSID=jtlkcmv8fc6npnp0osn45eb6c2; path=/ Expires: Thu, 19 Nov 1981 08:52:00 GMT Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0 Pragma: no-cache Set-Cookie: wordpress_test_cookie=WP+Cookie+check; path=/ X-Pingback: http://grupovina.rs/xmlrpc.php Set-Cookie: wpgr_splash_screen_visible=1; expires=Sun, 02-Oct-2011 01:10:41 GMT; path=/ Set-Cookie: wpgr_splash_screen_visible=1; expires=Sun, 02-Oct-2011 01:10:41 GMT; path=/ Vary: Accept-Encoding Connection: close Content-Type: text/html; charset=UTF-8 Set-Cookie: SERVERID=; Expires=Thu, 01-Jan-1970 00:00:01 GMT; path=/ bool(true)


a klikom na http://grupovina.rs/xmlrpc.php dobijem obavestnje:
XML-RPC server accepts POST requests only.

[Br@nkoR]

Izbaci red curl_setopt($ch, CURLOPT_NOBODY, true); pa vidi da li uz ovo gore vrati i neki sadržaj.

[AdriaMart]

Vrati skoro ceo sajt, pogledaj http://pluspon.com/grupovina1.php

[Br@nkoR]

Probaj prvo da u kod za izvlačenje sadžaja koristiš link:
http://grupovina.rs/beograd/
Dakle bez www, red:

PHP kôd:

@$dom->loadHTMLFile('http://www.grupovina.rs/beograd/'); 


zameni sa

PHP kôd:

@$dom->loadHTMLFile('http://grupovina.rs/beograd/'); 


Ovaj put stavi znak @ kako bi se blokirale greške ukoliko postoje u html kodu ili umesto ovoga znaka na početak fajla stavi libxml_use_internal_errors(true);

Ili pokušaj da iskoristiš onu curl funkciju koju već imaš i zameni red:

PHP kôd:

@$dom->loadHTMLFile('http://www.grupovina.rs/beograd/'); 


sa:

PHP kôd:

@$dom->loadHTML(curl('http://grupovina.rs/beograd/')); 


I red:

PHP kôd:

@$dom2->loadHTMLFile($e->textContent); 


zameni sa:

PHP kôd:

@$dom2->loadHTML(curl($e->textContent)); 


U curl fukciju dodaj i red:

PHP kôd:

curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true); 


Mada ukoliko ovo dodaš, trebalo bi da radi i sa www u linku.

[Br@nkoR]

Pošto sam vršio neke izmene u prethodnoj poruci.
Probaj ovo:

PHP kôd:

error_reporting(E_ALL ^ E_NOTICE);
ini_set('display_errors', 1);  

libxml_use_internal_errors(true);
$dom = new DOMDocument();
$dom->loadHTMLFile('http://grupovina.rs/beograd/');
$xpath = new DOMXPath($dom);
$entries = $xpath->query("//div[@class='deal-medallion-heading']/h1/a/@href"); 
$output = array(); 

foreach($entries as $e) { 
  $dom2 = new DOMDocument(); 
  $dom2->loadHTMLFile($e->textContent);
  $xpath2 = new DOMXPath($dom2); 
  $data = array(); 
  $data['link']= trim($e->textContent);
  $data['naslov'] = trim($xpath2->query("//div[@class='deal-medallion-heading']/h1/a")->item(0)->textContent); 
  $data['naslov'] .= '. ' . trim($xpath2->query("//span[@class='deal-medallion-deal-title']/a")->item(0)->textContent); 
  $data['slika'] = trim($xpath2->query("//div[@id='slider']/ul/li/img/@src")->item(0)->textContent);
  $data['lat'] = trim($xpath2->query("//input[@id='latitude']/@value")->item(0)->textContent); 
  $data['lng'] = trim($xpath2->query("//input[@id='longitude']/@value")->item(0)->textContent);
  $output[] = $data; 
}
echo '<pre>' . print_r($output, true) . '</pre>'; 


Ili:

PHP kôd:

error_reporting(E_ALL ^ E_NOTICE);
ini_set('display_errors', 1);  

function curl($url){
  $ch = curl_init();
  curl_setopt($ch, CURLOPT_URL, $url);
  curl_setopt($ch, CURLOPT_ENCODING, "gzip");
  curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
  curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
  $data = curl_exec($ch);
  curl_close($ch);
  return $data;
}

libxml_use_internal_errors(true);
$dom = new DOMDocument();
$dom->loadHTML(curl('http://grupovina.rs/beograd/'));
$xpath = new DOMXPath($dom);
$entries = $xpath->query("//div[@class='deal-medallion-heading']/h1/a/@href"); 
$output = array(); 

foreach($entries as $e) { 
  $dom2 = new DOMDocument(); 
  $dom2->loadHTML(curl($e->textContent)); 
  $xpath2 = new DOMXPath($dom2); 
  $data = array(); 
  $data['link']= trim($e->textContent);
  $data['naslov'] = trim($xpath2->query("//div[@class='deal-medallion-heading']/h1/a")->item(0)->textContent); 
  $data['naslov'] .= '. ' . trim($xpath2->query("//span[@class='deal-medallion-deal-title']/a")->item(0)->textContent); 
  $data['slika'] = trim($xpath2->query("//div[@id='slider']/ul/li/img/@src")->item(0)->textContent);
  $data['lat'] = trim($xpath2->query("//input[@id='latitude']/@value")->item(0)->textContent); 
  $data['lng'] = trim($xpath2->query("//input[@id='longitude']/@value")->item(0)->textContent);
  $output[] = $data; 
}
echo '<pre>' . print_r($output, true) . '</pre>'; 


[AdriaMart]

TO JE TO, znaci problem je bio cURL ili ???

[Br@nkoR]

Da li oba primera rade?

Nisam baš vešt u objašnjavanju.
$dom->loadHTMLFile() iz nekog razloga (verzija, modul, podešavanja... nisam siguran) nije pratio redirekciju, dakle ne izvrši se

Location: http://grupovina.rs/beograd/

(ukloni se www) već vrati praznu stranicu, a cURL ima veće mogućnosti pa postoji i ova opcija da prati redirekciju/lokaciju (CURLOPT_FOLLOWLOCATION).