DevProTalk

Forumi IT profesionalaca
web development, web design, e-business, SEO


Idite nazad   DevProTalk > Web development i web aplikacije > (X)HTML, JavaScript, DHTML, XML, CSS
Želite da se reklamirate ekskluzivno na ovoj poziciji? Javite se

(X)HTML, JavaScript, DHTML, XML, CSS Client scripting tehnologije, Dynamic HTML, Cascading Stylesheets, XML i standardi

Odgovori
 
Alati teme Način prikaza
Staro 19. 05. 2011.   #11
AdriaMart
expert
Expert
 
Avatar AdriaMart
 
Datum učlanjenja: 15.03.2011
Poruke: 518
Hvala: 16
20 "Hvala" u 17 poruka
AdriaMart is on a distinguished road
Default

Hvala druze, dugujem pivo !
AdriaMart je offline   Odgovorite uz citat
Staro 20. 05. 2011.   #12
svlada
član
Certified
 
Datum učlanjenja: 02.03.2007
Lokacija: Novi Beograd
Poruke: 53
Hvala: 8
10 "Hvala" u 4 poruka
svlada is on a distinguished road
Pošaljite poruku preko MSN za svlada Pošaljite poruku preko Skype™ za svlada
Default

Ako koristiš python probaj http://scrapy.org/ isto tako postoji i Mech za python http://wwwsearch.sourceforge.net/mechanize/

Isto tako ako koristiš javu baci pogled ovde http://htmlunit.sourceforge.net/gettingStarted.html
svlada je offline   Odgovorite uz citat
Staro 21. 05. 2011.   #13
AdriaMart
expert
Expert
 
Avatar AdriaMart
 
Datum učlanjenja: 15.03.2011
Poruke: 518
Hvala: 16
20 "Hvala" u 17 poruka
AdriaMart is on a distinguished road
Default

Uradio sam sve i poprilicno je dobro medjutim primetio sam da neki sajtovi kao sto je npr. kupime.com imaju i vise od 10 aktivnih ponuda. www.kupime.com/aktivne-ponude/ E sad zelim da pratim sve linkove(sve ponude) sa adrese www.kupime.com/aktivne-ponude/ ne samo glavnu stranu pa me interesuje da li je moguce to izvesti. tj. nesto kao indeksiranje... da se najpre preuzmu linkovi sa navedene URL adrese pa da se zatim svaka strana posebno obradi... HELP!
AdriaMart je offline   Odgovorite uz citat
Staro 22. 05. 2011.   #14
mileusna
Super Moderator
Knowledge base
 
Datum učlanjenja: 21.03.2006
Lokacija: Kragujevac
Poruke: 1.878
Hvala: 291
1.345 "Hvala" u 355 poruka
mileusna je jednostavno dobarmileusna je jednostavno dobarmileusna je jednostavno dobarmileusna je jednostavno dobarmileusna je jednostavno dobarmileusna je jednostavno dobarmileusna je jednostavno dobarmileusna je jednostavno dobarmileusna je jednostavno dobarmileusna je jednostavno dobar
Default

^ Pa sve si sam lepo objasnio šta treba.
mileusna je offline   Odgovorite uz citat
Staro 22. 05. 2011.   #15
AdriaMart
expert
Expert
 
Avatar AdriaMart
 
Datum učlanjenja: 15.03.2011
Poruke: 518
Hvala: 16
20 "Hvala" u 17 poruka
AdriaMart is on a distinguished road
Default

Znam ja sta treba al ne bas i sintaksu za pisanje ... potrazicu na netu sigurno ima nesto o tome.
AdriaMart je offline   Odgovorite uz citat
Staro 22. 05. 2011.   #16
Br@nkoR
banned
Professional
 
Avatar Br@nkoR
 
Datum učlanjenja: 04.06.2005
Poruke: 371
Hvala: 0
738 "Hvala" u 83 poruka
Br@nkoR će postati "faca" uskoroBr@nkoR će postati "faca" uskoroBr@nkoR će postati "faca" uskoroBr@nkoR će postati "faca" uskoroBr@nkoR će postati "faca" uskoroBr@nkoR će postati "faca" uskoroBr@nkoR će postati "faca" uskoro
Default

Npr. na brzinu preuzimenje linkova:
Kôd:
$dom = new DOMDocument();
@$dom->loadHTMLFile('http://www.kupime.com/aktivne-ponude/');
$xpath = new DOMXPath($dom);
$entries = $xpath->query("//ul[@id='list_offers']//table//a/@href");
foreach($entries as $e) {
  echo 'http://www.kupime.com' . $e->textContent . '<br />';
}
Preuzimanje određenog sadržaja sa neke od stranica:
Kôd:
$dom = new DOMDocument();
@$dom->loadHTMLFile('http://www.kupime.com/ponuda/4299-din-umesto-10000-din-za-brazilsko-fenirane-kose-u-salonu-beauty-studio-hot/366');
$xpath = new DOMXPath($dom);
echo $xpath->query("//h1[@id='offer_title']")->item(0)->textContent;
echo '<hr />';
echo $xpath->query("//div[@id='description']")->item(0)->textContent;
echo '<hr />';
echo $xpath->query("//div[@id='img_border']/img/@src")->item(0)->textContent;
Zgodan alat za ovako nešto:
https://addons.mozilla.org/en-us/fir...ddon/firepath/

Pozdrav.
__________________
Don't look at me; I'm lost too.
“If you can't dazzle them with brilliance, baffle them with bul*s**t.”
Br@nkoR je offline   Odgovorite uz citat
Staro 22. 05. 2011.   #17
AdriaMart
expert
Expert
 
Avatar AdriaMart
 
Datum učlanjenja: 15.03.2011
Poruke: 518
Hvala: 16
20 "Hvala" u 17 poruka
AdriaMart is on a distinguished road
Default

Ok, super. Da li bi moglo da se nekom petljom foreach ili sl. za loadhtmlfile tj. da kada se linkovi preuzmu da se automatski obradjuju strane jedna po jedna. Da li da se napise if petljom. Neznam bas xml dom sintaksu pa me zanima kako da dodam promenjlive za ove vrednosti ''description'' ''img'' i ostale... moze li ovako
$data["slika"] => $xpath->query("//div[@id='description']")->item(0)->textContent;
kako bi zatim $data vrednost unela u mysql bazu... Hvala svima na pomoci.

Takodje sta da postavim kako bi resio problem sa slovim sa kvacicama... npr. evo sta izadje: "promeniće Vaš look i spasiti Vas dugotrajnih feniranja. Kažu da žene uvek hoće ono što nemaju"

Poslednja izmena od AdriaMart : 22. 05. 2011. u 16:28.
AdriaMart je offline   Odgovorite uz citat
Staro 22. 05. 2011.   #18
Br@nkoR
banned
Professional
 
Avatar Br@nkoR
 
Datum učlanjenja: 04.06.2005
Poruke: 371
Hvala: 0
738 "Hvala" u 83 poruka
Br@nkoR će postati "faca" uskoroBr@nkoR će postati "faca" uskoroBr@nkoR će postati "faca" uskoroBr@nkoR će postati "faca" uskoroBr@nkoR će postati "faca" uskoroBr@nkoR će postati "faca" uskoroBr@nkoR će postati "faca" uskoro
Default

npr.
PHP kôd:
$dom = new DOMDocument();
@
$dom->loadHTMLFile('http://www.kupime.com/aktivne-ponude/');
$xpath = new DOMXPath($dom);
$entries $xpath->query("//ul[@id='list_offers']//table//a/@href");
$output = array();
foreach(
$entries as $e) {  
  
$dom2 = new DOMDocument();
  @
$dom2->loadHTMLFile('http://www.kupime.com' $e->textContent);
  
$xpath2 = new DOMXPath($dom2);
  
$data = array();
  
$data['naslov'] = trim($xpath2->query("//h1[@id='offer_title']")->item(0)->textContent);
  
$data['opis'] = trim($xpath2->query("//div[@id='description']")->item(0)->textContent);
  
$data['slika'] = trim($xpath2->query("//div[@id='img_border']/img/@src")->item(0)->textContent);
  
$output[] = $data;
}

echo 
'<pre>' print_r($outputtrue) . '</pre>'
E sada da li je pametno ovako raditi jer se vrši dovlaćenje 10 stranica, nisam siguran, odgovoriće neko sa većim iskustvom. Mada pošto si napisao da upisuješ u bazu, verovatno ne vršiš prečesto "dovlačenje" sadržaja.

A za problem sa enkodingom proveri da li je enkoding php stranice uft8.
__________________
Don't look at me; I'm lost too.
“If you can't dazzle them with brilliance, baffle them with bul*s**t.”

Poslednja izmena od Br@nkoR : 22. 05. 2011. u 17:04.
Br@nkoR je offline   Odgovorite uz citat
Staro 22. 05. 2011.   #19
AdriaMart
expert
Expert
 
Avatar AdriaMart
 
Datum učlanjenja: 15.03.2011
Poruke: 518
Hvala: 16
20 "Hvala" u 17 poruka
AdriaMart is on a distinguished road
Default

Svaka cast... extra. Probao sam na razne nacine da izvucen lng= , i lang= , iz coda ali bez uspeha... da li je to uopste moguce s obzirom da su lng i lang koordinate u javascript-u na strani.

Sto se tice dovlacenja nije problem jer dovlacenje vrsim preko cron-a na nekoliko sati i upisujem u bazu.

Pozdrav!
AdriaMart je offline   Odgovorite uz citat
Staro 22. 05. 2011.   #20
Br@nkoR
banned
Professional
 
Avatar Br@nkoR
 
Datum učlanjenja: 04.06.2005
Poruke: 371
Hvala: 0
738 "Hvala" u 83 poruka
Br@nkoR će postati "faca" uskoroBr@nkoR će postati "faca" uskoroBr@nkoR će postati "faca" uskoroBr@nkoR će postati "faca" uskoroBr@nkoR će postati "faca" uskoroBr@nkoR će postati "faca" uskoroBr@nkoR će postati "faca" uskoro
Default

PHP kôd:
$dom = new DOMDocument();
@
$dom->loadHTMLFile('http://www.kupime.com/ponuda/4299-din-umesto-10000-din-za-brazilsko-fenirane-kose-u-salonu-beauty-studio-hot/366');
$xpath = new DOMXPath($dom);

$location $xpath->query("//div[@id='location']//script")->item(1)->textContent;
preg_match('/var\s+lat\s+=\s+(\d{2}\.\d{6});/'$location$lat);
preg_match('/var\s+lang\s+=\s+(\d{2}\.\d{6});/'$location$lang);

echo 
$lat[1];
echo 
'<br />';
echo 
$lang[1]; 
Pa ti ukombinuj u skriptu.
__________________
Don't look at me; I'm lost too.
“If you can't dazzle them with brilliance, baffle them with bul*s**t.”
Br@nkoR je offline   Odgovorite uz citat
Odgovori


Alati teme
Način prikaza

Pravila pisanja
Možete ne započinjati nove teme
Možete ne slati odgovore
Možete ne slati priloge
Možete ne izmeniti svoje poruke
vB kôd je Uključen
Smajliji su Uključen
[IMG] kod je Uključen
HTML kôd je Isključen
Pogledajte forum


Vreme je GMT +2. Trenutno vreme je 13:57.


Powered by vBulletin® Verzija 3.6.8
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
Copyright © DevProTalk. All Rights Reserved.
Mišljenja, saveti, izjave, ponude ili druge informacije ili sadržaji nastali na Sajtu su vlasništvo onoga ko ih je kreirao, a ne DevProTalk.com, tako da ne morate da se oslanjate na njih.
Autori poruka su jedini odgovorni za ovakve sadržaje. DevProTalk.com ne garantuje tačnost, kompletnost ili upotrebnu vrednost informacija, stavova, saveta ili datih izjava. Ne postoje uslovi pod kojima bi mi bili odgovorni za štetu ili gubitak koji je posledica bilo čijeg oslanjanja na nepouzdane informacije, ili bilo kakve informacije nastale kroz komunikaciju između registrovanih članova.
Web sajt može sadržavati linkove na druge web sajtove na Internetu ili neke druge sadržaje. Ne kontrolišemo niti podržavamo te druge web sajtove, niti smo pregledali bilo kakve sadržaje na takvim sajtovima. Mi nećemo biti odgovorni za legalnost, tačnost ili prikladnost bilo kog sadržaja, oglasa, proizvoda, usluga ili informacije lociranim na ili distribuiranih kroz druge web sajtove, niti za bilo kakvu štetu nastalu kao posledica takvih informacija. DevProTalk.com drži i čuva druga prava vlasništva na web sajtu. Web sajt sadrže materijale zaštićene copyright-om, zaštitne znakove i druge informacije o pravu vlasništva ili softver. Članovi mogu poslatu informacije zaštićene pravima vlasništva njihovih nosilaca i ona ostaju zaštićena bez obzira da li su oni koji prenose te informacije to naveli ili ne. Osim informacija koje su u javnom vlasništvu ili za koje dobijete dozvolu, nemate pravo da kopirate, modifikujete ili na bilo koji način menjate, objavljujete, prenosite, distribuirate, izvršavate, prikazujete ili prodajte bilo koju informaciju zaštićenu pravima vlasništva. Slanjem informacija ili sadržaja na bilo koji deo DevProTalk.com, Vi automatski dozvoljavate i predstavljate garanciju da imate pravo da dozvolite DevProTalk.com ili članovima DevProTalk.com bespovratnu, kontinualnu, neograničenu, globalnu dozvolu da koriste, kopiraju, izvršavaju, prikazuju i distribuiraju takve informacije i sadržaje i da iz takvih sadžaja koriste bilo koji deo u bilo koje svrhe, kao i pravo i dozvolu da koriste gore navedene sadržaje. Svi zaštitni znakovi (trademarks), logotipi, oznake usluga, firme ili imena proizvoda koji se pominju na ovom web sajtu su vlasništvo kojim raspolažu njihovi vlasnici.