DevProTalk - fetch podataka sa drugih sajtova

DevProTalk (http://www.devprotalk.com/index.php)

- (X)HTML, JavaScript, DHTML, XML, CSS (http://www.devprotalk.com/forumdisplay.php?f=8)

- - fetch podataka sa drugih sajtova (http://www.devprotalk.com/showthread.php?t=10060)

A kako izvlačiš podatke sa drugih sajtova, pošto si napisao da za ostale sajtove radi?
Da ti nisu blokirali pristup sajtu ukoliko neovlašćeno koristiš sadržaj sajta.
Vraća li šta:

PHP kôd:


		
			
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, 'http://www.grupovina.rs');
curl_setopt($ch, CURLOPT_RETURNTRANSFER, false);
curl_setopt($ch, CURLOPT_HEADER, true);
$data = curl_exec($ch);
curl_close($ch);
echo $data;

Edit: Ukloni znakove @ iz koda koji sam prethodno bio postavio, kako bi se prikazale greške, jer sam ja u brzini bio zaboravio da uklonim.

Sa drugih sajtova izvlacim podatke na isti nacin - potpuno isti!
Ne verujem da su me blokirali jer sam juce prvi put pokrenuo fajl i nije radio (cak ni pokazivao greske ni prvi put)
Izmenio sam kod (bez@) tj. samo $dom i pise:

Warning: DOMDocument::loadHTMLFile() [domdocument.loadhtmlfile]: Document is empty in http://www.grupovina.rs/beograd/, line: 1 in /home/pluspon/public_html/grupovina1.php on line 14

Puno ti hvala na izdvojenom vremenu ali bice sajt bez ponuda grupovine!

Nema na čemu :)

$dom->loadHTMLFile() vrati prazan fajl, kao što i piše.
Pokušaj i ovaj kod, postavi ovde šta vrati:

PHP kôd:


		
			
$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, 'http://grupovina.rs/beograd/');

curl_setopt($ch, CURLOPT_RETURNTRANSFER, false);

curl_setopt($ch, CURLOPT_HEADER, true);

curl_setopt($ch, CURLOPT_NOBODY, true);

$data = curl_exec($ch);

curl_close($ch);

var_dump($data);

kod:

HTTP/1.1 200 OK Date: Sat, 01 Oct 2011 13:10:40 GMT Server: Apache/2.2.9 (Fedora) X-Powered-By: PHP/5.2.6 Set-Cookie: PHPSESSID=jtlkcmv8fc6npnp0osn45eb6c2; path=/ Expires: Thu, 19 Nov 1981 08:52:00 GMT Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0 Pragma: no-cache Set-Cookie: wordpress_test_cookie=WP+Cookie+check; path=/ X-Pingback: http://grupovina.rs/xmlrpc.php Set-Cookie: wpgr_splash_screen_visible=1; expires=Sun, 02-Oct-2011 01:10:41 GMT; path=/ Set-Cookie: wpgr_splash_screen_visible=1; expires=Sun, 02-Oct-2011 01:10:41 GMT; path=/ Vary: Accept-Encoding Connection: close Content-Type: text/html; charset=UTF-8 Set-Cookie: SERVERID=; Expires=Thu, 01-Jan-1970 00:00:01 GMT; path=/ bool(true)

a klikom na http://grupovina.rs/xmlrpc.php dobijem obavestnje:
XML-RPC server accepts POST requests only.

Izbaci red curl_setopt($ch, CURLOPT_NOBODY, true); pa vidi da li uz ovo gore vrati i neki sadržaj.

Vrati skoro ceo sajt, pogledaj http://pluspon.com/grupovina1.php

Probaj prvo da u kod za izvlačenje sadžaja koristiš link:
http://grupovina.rs/beograd/
Dakle bez www, red:

PHP kôd:


		
			
@$dom->loadHTMLFile('http://www.grupovina.rs/beograd/');

zameni sa

PHP kôd:


		
			
@$dom->loadHTMLFile('http://grupovina.rs/beograd/');

Ovaj put stavi znak @ kako bi se blokirale greške ukoliko postoje u html kodu ili umesto ovoga znaka na početak fajla stavi libxml_use_internal_errors(true);

Ili pokušaj da iskoristiš onu curl funkciju koju već imaš i zameni red:

PHP kôd:


		
			
@$dom->loadHTMLFile('http://www.grupovina.rs/beograd/');

sa:

PHP kôd:


		
			
@$dom->loadHTML(curl('http://grupovina.rs/beograd/'));

I red:

PHP kôd:


		
			
@$dom2->loadHTMLFile($e->textContent);

zameni sa:

PHP kôd:


		
			
@$dom2->loadHTML(curl($e->textContent));

U curl fukciju dodaj i red:

PHP kôd:


		
			
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);

Mada ukoliko ovo dodaš, trebalo bi da radi i sa www u linku.

Pošto sam vršio neke izmene u prethodnoj poruci.
Probaj ovo:

PHP kôd:


		
			
error_reporting(E_ALL ^ E_NOTICE);
ini_set('display_errors', 1);  

libxml_use_internal_errors(true);
$dom = new DOMDocument();
$dom->loadHTMLFile('http://grupovina.rs/beograd/');
$xpath = new DOMXPath($dom);
$entries = $xpath->query("//div[@class='deal-medallion-heading']/h1/a/@href"); 
$output = array(); 

foreach($entries as $e) { 
  $dom2 = new DOMDocument(); 
  $dom2->loadHTMLFile($e->textContent);
  $xpath2 = new DOMXPath($dom2); 
  $data = array(); 
  $data['link']= trim($e->textContent);
  $data['naslov'] = trim($xpath2->query("//div[@class='deal-medallion-heading']/h1/a")->item(0)->textContent); 
  $data['naslov'] .= '. ' . trim($xpath2->query("//span[@class='deal-medallion-deal-title']/a")->item(0)->textContent); 
  $data['slika'] = trim($xpath2->query("//div[@id='slider']/ul/li/img/@src")->item(0)->textContent);
  $data['lat'] = trim($xpath2->query("//input[@id='latitude']/@value")->item(0)->textContent); 
  $data['lng'] = trim($xpath2->query("//input[@id='longitude']/@value")->item(0)->textContent);
  $output[] = $data; 
}
echo '<pre>' . print_r($output, true) . '</pre>';

Ili:

PHP kôd:


		
			
error_reporting(E_ALL ^ E_NOTICE);
ini_set('display_errors', 1);  

function curl($url){
  $ch = curl_init();
  curl_setopt($ch, CURLOPT_URL, $url);
  curl_setopt($ch, CURLOPT_ENCODING, "gzip");
  curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
  curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
  $data = curl_exec($ch);
  curl_close($ch);
  return $data;
}

libxml_use_internal_errors(true);
$dom = new DOMDocument();
$dom->loadHTML(curl('http://grupovina.rs/beograd/'));
$xpath = new DOMXPath($dom);
$entries = $xpath->query("//div[@class='deal-medallion-heading']/h1/a/@href"); 
$output = array(); 

foreach($entries as $e) { 
  $dom2 = new DOMDocument(); 
  $dom2->loadHTML(curl($e->textContent)); 
  $xpath2 = new DOMXPath($dom2); 
  $data = array(); 
  $data['link']= trim($e->textContent);
  $data['naslov'] = trim($xpath2->query("//div[@class='deal-medallion-heading']/h1/a")->item(0)->textContent); 
  $data['naslov'] .= '. ' . trim($xpath2->query("//span[@class='deal-medallion-deal-title']/a")->item(0)->textContent); 
  $data['slika'] = trim($xpath2->query("//div[@id='slider']/ul/li/img/@src")->item(0)->textContent);
  $data['lat'] = trim($xpath2->query("//input[@id='latitude']/@value")->item(0)->textContent); 
  $data['lng'] = trim($xpath2->query("//input[@id='longitude']/@value")->item(0)->textContent);
  $output[] = $data; 
}
echo '<pre>' . print_r($output, true) . '</pre>';

TO JE TO, znaci problem je bio cURL ili ???

Da li oba primera rade?

Nisam baš vešt u objašnjavanju.
$dom->loadHTMLFile() iz nekog razloga (verzija, modul, podešavanja... nisam siguran) nije pratio redirekciju, dakle ne izvrši se

Kôd:

Location: http://grupovina.rs/beograd/

(ukloni se www) već vrati praznu stranicu, a cURL ima veće mogućnosti pa postoji i ova opcija da prati redirekciju/lokaciju (CURLOPT_FOLLOWLOCATION).