ih da kupujem knjigu radi necega sto moze stati na jednu stranicu!
Meni treba samo da neko objasni par mogucih varijanti ovoga:

tj sta se sve moze naci izmedju ovih navodnika i to je to !

http://php.net/manual/en/simplexmlelement.xpath.php
http://www.w3schools.com/xpath/

prostudiracu, hvala !

Nece pa nece :( Da li je neko raspolozen da izparsiramo ovaj link i uz put da diskutujemo:

Ja sam nesto pokusao ovako:

Dobijem nekih rezultata ali nije to to :( Kako ovo malo posloziti, kako uzeti ove slicice, da li bi se nekako moglo uzimati deo po deo i tako da i vrsim stampanje, recimo uzmem trenutnu temperaturu i slicicu pored pa ostampam, pa uzmem ove zajebancije o vetru pa ih ostampam, pa onda uzmem ove dole slicice pa ih stampam itd...

Ja mislim da kod ViaMichelin JS generiše HTML, idi na Disable JS, i otvori Source da vidiš kakva je situacija i gdje se to nalazi, vjerovatno su escapeovani specijalni karakteri.

http://webarto.com/53/viamichelin-php-class

Kako to da ovaj kod na jednom serveru radi kupondo.adriamart.com/grupovina1.php a na drugom pluspon.com/grupovina1.php NE


<?php


function curl($url){
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_ENCODING, "gzip");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
$data = curl_exec($ch);
curl_close($ch);
return $data;
}

$dom = new DOMDocument();
@$dom->loadHTMLFile('http://www.grupovina.rs/beograd/');
$xpath = new DOMXPath($dom);
$entries = $xpath->query("//div[@class='deal-medallion-heading']//h1//a/@href");
$output = array();
foreach($entries as $e) {
$dom2 = new DOMDocument();
@$dom2->loadHTMLFile($e->textContent);
$xpath2 = new DOMXPath($dom2);
$data = array();
$data['link']= ($e->textContent);
$data['naslov'] = trim($xpath2->query("//div[@class='inner-deal-heading']//h2")->item(0)->textContent);
$data['slika'] = trim($xpath2->query("//li/img/@src")->item(0)->textContent);

$location = $xpath2->query("//div[@class='inner-deal-column-block']//script")->item(1)->textContent;
preg_match('/var\s+latitude\s+=\s+(\d+\.\d+)\s*;/', $location, $lat);
preg_match('/var\s+longitude\s+=\s+(\d+\.\d+)\s*;/', $location, $lng);
$data['lat'] = $lat[1];
$data['lng'] = $lng[1];

$image_url = $data['slika'];
$ch = curl_init();
$timeout = 0;
curl_setopt ($ch, CURLOPT_URL, $image_url);
curl_setopt ($ch, CURLOPT_CONNECTTIMEOUT, $timeout);


$image = curl_exec($ch);
curl_close($ch);

$novalat = str_replace ('.','',$data['lat']);

$lele = 'slike/'.$novalat.'.jpg';
$lele = str_replace(' ', '-', $lele);

$i = $i+1;


$f = fopen($dyhgu, 'w');
fwrite($f, $image);
fclose($f);


$naslov = $data['naslov'];
$latitude = $data['lat'];
...... i tako dalje;


$latitude = (float) $latitude;
$longitude = (float) $longitude;



mysql_connect ("localhost", "dddddddddddd", "aaaaaaaa") or die ('Error: '.mysql_error());

mysql_select_db ("ddddddddddd");

$naslov = mysql_real_escape_string($naslov);


$query="INSERT INTO markers (location_ID, name, lat, lng, ITD!... ) VALUES (NULL,'$... ... ... $... ... .. ...')"; mysql_error();

mysql_query($query) or die ('Error updating database');

echo "Baza je updejtovana sa: " .$... ... ... ....." ";



$output[] = $data;
}







?>


Postoje jos nekoliko takvih fajlova koji se neizvrsavaju iako nema greske u kodu, sta bi mogao da bude razlog za to?

Nemaš cURL (možda je upaljen safe_mode) ili neki drugi modul..

da, ali drugi fajlovi koji izvlace ponude sa drugih sajtova rade bez problema jedino ovaj pravi probleme???

Proveri ove XPath izraze za izvlačenje podataka sa pojedinačnih stranica.

nisam sigurna da sam razumeo bas najbolje :( ?

Ovaj deo proveri da li vraća potrebne podatke, jer kada pogledam html kod stranica na sajtu iz koda, ne postoje ovi elementi iz XPath izraza.

Problem je sto na jednom serveru radi: kupondo.adriamart.com/grupovina1.php a na drugom ne ucitava nista :), ali u svakom slucaju HVALA provericu verovatno su menjali stranicu pa zbog toga! Pozdrav!

A da li upiše u bazu prave podatke? Za sliku verovatno upiše ali za ostale ne verujem. Možda su radili izmene na stranici (redizajn).

Edit: uključi prikazivanje greški, ovo što je @webarto napisao.

Upise samo sliku u bazu kao sto si rekao ali potpuno je isti kod i na kupondo.adriamart.com/grupovina1.php i na pluspon.com/grupovina1.php s tim da na serveru gde je pluspon domen niti prikazuje gresku niti tekst, jednostavno prazan ekran ! (pokusaj)


tj. verovatno je u pitanju cURL i safe_mod kao sto je rekao @webarto

tj. verovatno je u pitanju cURL i safe_mod kao sto je rekao @webarto

Koliko vidim ti koristiš cURL samo za preuzimanje slika, da li se one lepo preuzmu (kopiraju u folder slike), pošto sam lepo pretpostavio da preuzme dobru putanju? Ovde je problem kao što sam i na pisao u XPath-u. Dodaj na početak tog fajla kod koji je @webarto napisao, pa vidi da li prikazuje greške. Pogledaj i log fajlove.
Npr. nešto na brzinu nemam sada vremena, umesto koda koji sam gore naveo, probaj da staviš:
A takođe dodaj i za curl:
Ukoliko budeš koristio cURL i za preuzimanje ostalog sadržaja postavi i CURLOPT_FOLLOWLOCATION na true

Nigde greska, nigde ista, prazan dokument a source kod:

<html>
<head>
<title>Untitled Document</title>
<meta content="text/html; charset=utf-8" http-equiv="Content-Type"/>
<style id="firepath-matching-node-style" type="text/css">.firepath-matching-node { outline: 2px dashed #00F;}</style>
</head>
<body/>
</html>

Hvala u svakom slucaju, zaista sam te izmaltretirao za ovo :( !

Vidi da li radi nešto samo:

Array
(
)

je sve sto se prikaze...

:(

vidi: http://pluspon.com/grupovina1.php NERADI


a evo na drugom serveru: http://kupondo.adriamart.com/grupovina1.php RADI extra

100% je u pitanju konfiguracija servera i php, mozda ima neka zastita SSH ili slicno, nisam obratio paznju, mada ostali fajlovi rade (za druge sajtove)

cak i na stackoverflow-u niko nema odgovor :(

A kako izvlačiš podatke sa drugih sajtova, pošto si napisao da za ostale sajtove radi?
Da ti nisu blokirali pristup sajtu ukoliko neovlašćeno koristiš sadržaj sajta.
Vraća li šta:
Edit: Ukloni znakove @ iz koda koji sam prethodno bio postavio, kako bi se prikazale greške, jer sam ja u brzini bio zaboravio da uklonim.

Sa drugih sajtova izvlacim podatke na isti nacin - potpuno isti!
Ne verujem da su me blokirali jer sam juce prvi put pokrenuo fajl i nije radio (cak ni pokazivao greske ni prvi put)
Izmenio sam kod (bez@) tj. samo $dom i pise:

Warning: DOMDocument::loadHTMLFile() [domdocument.loadhtmlfile]: Document is empty in http://www.grupovina.rs/beograd/, line: 1 in /home/pluspon/public_html/grupovina1.php on line 14

Puno ti hvala na izdvojenom vremenu ali bice sajt bez ponuda grupovine!

Nema na čemu :)

$dom->loadHTMLFile() vrati prazan fajl, kao što i piše.
Pokušaj i ovaj kod, postavi ovde šta vrati:

kod:

HTTP/1.1 200 OK Date: Sat, 01 Oct 2011 13:10:40 GMT Server: Apache/2.2.9 (Fedora) X-Powered-By: PHP/5.2.6 Set-Cookie: PHPSESSID=jtlkcmv8fc6npnp0osn45eb6c2; path=/ Expires: Thu, 19 Nov 1981 08:52:00 GMT Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0 Pragma: no-cache Set-Cookie: wordpress_test_cookie=WP+Cookie+check; path=/ X-Pingback: http://grupovina.rs/xmlrpc.php Set-Cookie: wpgr_splash_screen_visible=1; expires=Sun, 02-Oct-2011 01:10:41 GMT; path=/ Set-Cookie: wpgr_splash_screen_visible=1; expires=Sun, 02-Oct-2011 01:10:41 GMT; path=/ Vary: Accept-Encoding Connection: close Content-Type: text/html; charset=UTF-8 Set-Cookie: SERVERID=; Expires=Thu, 01-Jan-1970 00:00:01 GMT; path=/ bool(true)


a klikom na http://grupovina.rs/xmlrpc.php dobijem obavestnje:
XML-RPC server accepts POST requests only.

Izbaci red curl_setopt($ch, CURLOPT_NOBODY, true); pa vidi da li uz ovo gore vrati i neki sadržaj.

Vrati skoro ceo sajt, pogledaj http://pluspon.com/grupovina1.php

Probaj prvo da u kod za izvlačenje sadžaja koristiš link:
http://grupovina.rs/beograd/
Dakle bez www, red:
zameni sa
Ovaj put stavi znak @ kako bi se blokirale greške ukoliko postoje u html kodu ili umesto ovoga znaka na početak fajla stavi libxml_use_internal_errors(true);

Ili pokušaj da iskoristiš onu curl funkciju koju već imaš i zameni red:
sa:
I red:
zameni sa:
U curl fukciju dodaj i red:
Mada ukoliko ovo dodaš, trebalo bi da radi i sa www u linku.

Pošto sam vršio neke izmene u prethodnoj poruci.
Probaj ovo:
Ili:

TO JE TO, znaci problem je bio cURL ili ???

Da li oba primera rade?

Nisam baš vešt u objašnjavanju.
$dom->loadHTMLFile() iz nekog razloga (verzija, modul, podešavanja... nisam siguran) nije pratio redirekciju, dakle ne izvrši se (ukloni se www) već vrati praznu stranicu, a cURL ima veće mogućnosti pa postoji i ova opcija da prati redirekciju/lokaciju (CURLOPT_FOLLOWLOCATION).

Radi drugi primer.

Evo sad sve ok: www.pluspon.com/pon9.html


samo nije mi jasno kako svi sajtovi (agregatori) izvlace kategorije ponuda kada ni na jednom sajtu nije jasno kategorisano sta je sta, evo npr: http://neogen.urbae.com/belgrade/ponude/shopping
Jel se mozda to radi rucno?

Kod:

<iframe width="430" scrolling="no" height="250" frameborder="0" src="http://maps.google.cz/maps/ms?msa=0&hl=cs&brcurrent=5,0,0&ie=UTF8&vpsrc=6&msi d=207589766138527801127.0004aadb2c99231cecabd&ll=4 4.782627,20.48152&spn=0.003808,0.009205&z=16&outpu t=embed" marginwidth="0" marginheight="0"/>


a ja sam napisao:

$string = file_get_contents($e->textContent);

preg_match('#&ll=(.*?)&#is', $string, $matches);
list($lat, $lng) = explode(',', $matches[1]);
$data['lat'] = $lat;
$data['lng'] = $lng;

Medjutim daje rezultat 0 0 ???

Reseno :)

Jos jedan problem :(

komadnom u firepathu(xpath) na sajtu www.superkupon.rs //div[@id='small_map']/div/div/a/@href , dobijem: http://maps.google.com/maps?ll=44.79...z=14&t=m&hl=en


e sad da bih izvukao koordinate koristim:

$string = $xpath2->query("//div[@id='small_map']/div/div/a/@href")->item(0)->textContent;


preg_match('/.*?ll=([\d.,]+)&.*/', $string, $matches);
list($lat, $lng) = explode(',', $matches[1]);
$data['lat'] = $lat;
$data['lng'] = $lng;


ali sta god da pokusam izadje mi da su koordinate 0,0
Vidi li neko gresku?

Ovaj elemenat kome pokušavaš da pristupiš, odnosno preuzmeš podatke, je kreiran/generisan putem JavaScript-a, tako da ne možeš njemu pristupiti preko PHP-a, pogledaj html kod koji ti vrati cURL ili dom->loadHTMLFile (šta več koristiš), pa vidi gde se nalazi Javascript kod koji se koristi da bi se kreirala mapa.

script se nalazi u ''html/head/script[8]'' medjutim tamo nepostoje koordinate da bi se izvukle... Znaci nemogu da se izvuku koordinate sa ovog sajta.

Hmm.. čini mi se da gledaš generisan html kod, dakle html kod posle JavaScript izmena na DOM-u. PHP ne može da izvršava JavaScript, gledaj html kod koji se dobija desnim klikom na stranicu pa View page source/View source/Source.

Mogu se izvući, naravno, samo nećeš da se potrudiš zato i postavljaš gomilu bezveznih pitanja ;)

offtopic: Br@nko je pre svega dobar, inteligentan i vredan covek koji zeli da pomogne na ovom projektu a koga ja licno ne poznajem :) (nije mi brat od tetke :) ) a ako ukoliko projekat uspe da lici na nesto Br@nko ce svakako dobiti svoj deo :) Ovo je moj prvi samostalni projekat ovakvog tipa i imam veliku zelju da ga zavrsim, a aplikacija trenunto nije funcionalna a to sto ti mislis da nemoze upseti to je tvoje misljenje. Cak i da ne uspe stekao sam prakticno znanje vece nego da sam citao 10 kniga o xpathu i sl. Takodje ovo sto pisemo na forumu moze posluziti i drugima jer ne postoji ovoliko dobro obradjena tema na ovom forumu tako da koristi svima a ne samo meni.



Nisam znao da treba da se gleda 'originalni' kod , sad je lako izvuci koordinate :)

Hvala i tebi sto pomazes - ponekad :)

I da dam odgovor na pitanje koje sam postavio (mozda nekom pomogne, uostalom zbog toga i sluze forumi) a pomogao Br@nko:

najprostije resenje:

$r = sscanf($str, "loadMap('%f,%f", $latituda, $longituda);

Hvala na pohvalama :). Nema potrebe za mojim delom, ovo je forum i na njemu je sve na dobrovoljnoj bazi, svako ima punu slobodu da li će odgovoriti ili ne.

Cenim Vasu skromnost ali ako bude bilo profita (realno, 90% da nece biti :( ) svakako cete biti adekvatno nagradjeni, jer ovo bi trebalo da bude samo dodatak jednom sajtu koji se pravi sa nekim novim idejama koje ne bih da otkrivam.

: Br@nka za moderatora ovog foruma!!!!!!!

Da li je moguce iz ovog koda putem xpath-a izvuci tekst iznad </br> taga. Ja sam pokusao sa //p[@class='gen']/br[4] medjutim to nije resenje


takodje sam pokusao i //p[@class='gen']/br[4]/text() kao i //p[@class='gen']/br[4]/node() ... ali bez efekta