DevProTalk

Forumi IT profesionalaca
web development, web design, e-business, SEO


Idite nazad   DevProTalk > Web development i web aplikacije > PHP
Želite da se reklamirate ekskluzivno na ovoj poziciji? Javite se

PHP PHP aplikacije, Smarty, PEAR

Odgovori
 
Alati teme Način prikaza
Staro 10. 02. 2009.   #1
zoro
Zoran Ševarac
Certified
 
Datum učlanjenja: 26.04.2006
Lokacija: Beograd
Poruke: 70
Hvala: 0
40 "Hvala" u 4 poruka
zoro is on a distinguished road
Default Kako biste parsirali xml file od 10Mb

Razmatram razna resenja pa me zanima kakva su vasa iskustva u vezi ovoga.
Dakle imam nekoliko XML file-ova od 10Mb iz kojih treba da izvucem podatke i importujem u bazu, i sve to treba da se radi na dnevnoj bazi.
Koristio sam neke xml parsere i uglavnom dobijao 'out of memory' poruke. Privremeno sam resio tako sto sam php-u povecao memory limit, a kad je i tu postalo tesno, u konkretnom slucaju sam presao na neku varijantu csv fajla.
Cini mi se da bi najoptimalnija varijanta sa xml-om bila ucitavati parce po parce tog xml-a, i deo po deo obradjivati. Da li je neko radio tako nesto i da li postoje neke gotove klase za to?
Hvala!
zoro je offline   Odgovorite uz citat
Staro 10. 02. 2009.   #2
bluesman
Goran Pilipović
Sir Write-a-Lot
 
Avatar bluesman
 
Datum učlanjenja: 18.05.2005
Lokacija: Beograd
Poruke: 5.450
Hvala: 288
1.247 "Hvala" u 446 poruka
bluesman je osoba koju treba slušatibluesman je osoba koju treba slušatibluesman je osoba koju treba slušatibluesman je osoba koju treba slušatibluesman je osoba koju treba slušatibluesman je osoba koju treba slušatibluesman je osoba koju treba slušatibluesman je osoba koju treba slušatibluesman je osoba koju treba slušati
Pošaljite ICQ poruku za bluesman
Default

Ako vec imas csv, onda direktno iz mysql: load data infile.
Ako imas samo XML, sigurno ne bih parsovao ceo fajl od 10 MB od jednom.

Inace mislim da je bez veze ako vec mysql ima opciju da exportuje dump u XML, zasto nema opciju da importuje iz xml-a.
__________________
Goran Pilipović a.k.a. Ugly Fingers Bradley f.k.a. bluesman
I don't always know what I'm talking about but I know I'm right!
bluesman je offline   Odgovorite uz citat
Staro 10. 02. 2009.   #3
ivanhoe
Ivan Dilber
Sir Write-a-Lot
 
Avatar ivanhoe
 
Datum učlanjenja: 18.10.2005
Lokacija: Bgd
Poruke: 5.320
Hvala: 104
2.344 "Hvala" u 583 poruka
ivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svima
Pošaljite poruku preko Skype™ za ivanhoe
Default

parseri bazirani na expatu kao XML_Parser ne bi trebalo da imaju problema sa velikim fajlovima, mozes da citas liniju po liniju iz fajla i da ih dajes parseru i to bi trebalo da sljaka. Takodje pogledaj XMLReader, on pozdrava rad sa streamovima, i isto parsira deo po deo, ne ucitava sve u memoriju...

e sad naravno to sve ne vredi ako ti ne pazis sta radis u kodu, pa pokusas da procitas faj odjednom ili da sacuvas celo stablo dokumenta u memoriji, na te stvari moras da pazis..
__________________
Leadership is the art of getting people to want to do what you know must be done.
ivanhoe je offline   Odgovorite uz citat
Staro 10. 02. 2009.   #4
dinke
Super Moderator
Invented the damn thing
 
Avatar dinke
 
Datum učlanjenja: 06.06.2005
Poruke: 2.371
Hvala: 370
701 "Hvala" u 194 poruka
dinke je pravi dragi kamendinke je pravi dragi kamendinke je pravi dragi kamendinke je pravi dragi kamendinke je pravi dragi kamendinke je pravi dragi kamendinke je pravi dragi kamen
Default

To sa expatom (event based parser) lepo zvuci u teoriji, ali meni se gomila ljudi zalilo da im je kod pucao kod vecih fajlova iako su otvarali fajl i provlacili kroz parser red po red.
__________________
Caught in a Web|Blogodak
With great power comes great responsibility!
dinke je offline   Odgovorite uz citat
Staro 10. 02. 2009.   #5
ivanhoe
Ivan Dilber
Sir Write-a-Lot
 
Avatar ivanhoe
 
Datum učlanjenja: 18.10.2005
Lokacija: Bgd
Poruke: 5.320
Hvala: 104
2.344 "Hvala" u 583 poruka
ivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svima
Pošaljite poruku preko Skype™ za ivanhoe
Default

nisam nikad probao da parsiram 10MB, pa ne mogu da tvrdim, ali sumnjam da je to do Expata, jer on samo cuva trenutni context. Pre ce biti da je problem sa implementacijom, vrlo je lako prevideti neku tmp varijablu koja krene da raste i raste...
__________________
Leadership is the art of getting people to want to do what you know must be done.
ivanhoe je offline   Odgovorite uz citat
Staro 10. 02. 2009.   #6
zoro
Zoran Ševarac
Certified
 
Datum učlanjenja: 26.04.2006
Lokacija: Beograd
Poruke: 70
Hvala: 0
40 "Hvala" u 4 poruka
zoro is on a distinguished road
Default

@bluesman
Citat:
Ako vec imas csv...
CSV je radio posao dok nije bilo vise fajlova iz razlicitih izvora.

@ivanhoe
Hvala, na tako nesto sam mislio.
Medjutim mislim da necu ici red po red, jer mi se cini da bi za vece fajlove to bilo previse zahteva za citanje sa diska, sto bi opet bilo neracionalno. Mozda to ima veze sa onime sto je Dinke rekao.
zoro je offline   Odgovorite uz citat
Staro 11. 02. 2009.   #7
zoro
Zoran Ševarac
Certified
 
Datum učlanjenja: 26.04.2006
Lokacija: Beograd
Poruke: 70
Hvala: 0
40 "Hvala" u 4 poruka
zoro is on a distinguished road
Default

Samo da javim da ovo radi odlicno, i da je proradilo iz prve. Skockao sam na kraju neku custom klasu na osnovu primera ovde
Hvala svima!
zoro je offline   Odgovorite uz citat
Odgovori


Alati teme
Način prikaza

Pravila pisanja
Možete ne započinjati nove teme
Možete ne slati odgovore
Možete ne slati priloge
Možete ne izmeniti svoje poruke
vB kôd je Uključen
Smajliji su Uključen
[IMG] kod je Uključen
HTML kôd je Isključen
Pogledajte forum

Slične teme
Tema Početna poruka teme Forum Odgovori Poslednja poruka
Python: Kako da procitam file description na windowsu Ivan Programiranje 1 29. 11. 2010. 13:39
Da li biste platili 1000+ eur za radni sto? teknoledge Opušteno 50 10. 11. 2010. 17:13
Kolko biste vi naplatili...? HexTex Sva početnička pitanja 18 10. 09. 2010. 09:22
Ako ste zavrsna godina studija i iz Ns ste i zeleli biste na praksu iz IT-a.......PRO Sansa4U Opušteno 0 16. 03. 2007. 14:51
Kako biste napravili ovu funkciju Ilija Studen Programiranje 5 19. 08. 2006. 18:10


Vreme je GMT +2. Trenutno vreme je 17:53.


Powered by vBulletin® Verzija 3.6.8
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
Copyright © DevProTalk. All Rights Reserved.
Mišljenja, saveti, izjave, ponude ili druge informacije ili sadržaji nastali na Sajtu su vlasništvo onoga ko ih je kreirao, a ne DevProTalk.com, tako da ne morate da se oslanjate na njih.
Autori poruka su jedini odgovorni za ovakve sadržaje. DevProTalk.com ne garantuje tačnost, kompletnost ili upotrebnu vrednost informacija, stavova, saveta ili datih izjava. Ne postoje uslovi pod kojima bi mi bili odgovorni za štetu ili gubitak koji je posledica bilo čijeg oslanjanja na nepouzdane informacije, ili bilo kakve informacije nastale kroz komunikaciju između registrovanih članova.
Web sajt može sadržavati linkove na druge web sajtove na Internetu ili neke druge sadržaje. Ne kontrolišemo niti podržavamo te druge web sajtove, niti smo pregledali bilo kakve sadržaje na takvim sajtovima. Mi nećemo biti odgovorni za legalnost, tačnost ili prikladnost bilo kog sadržaja, oglasa, proizvoda, usluga ili informacije lociranim na ili distribuiranih kroz druge web sajtove, niti za bilo kakvu štetu nastalu kao posledica takvih informacija. DevProTalk.com drži i čuva druga prava vlasništva na web sajtu. Web sajt sadrže materijale zaštićene copyright-om, zaštitne znakove i druge informacije o pravu vlasništva ili softver. Članovi mogu poslatu informacije zaštićene pravima vlasništva njihovih nosilaca i ona ostaju zaštićena bez obzira da li su oni koji prenose te informacije to naveli ili ne. Osim informacija koje su u javnom vlasništvu ili za koje dobijete dozvolu, nemate pravo da kopirate, modifikujete ili na bilo koji način menjate, objavljujete, prenosite, distribuirate, izvršavate, prikazujete ili prodajte bilo koju informaciju zaštićenu pravima vlasništva. Slanjem informacija ili sadržaja na bilo koji deo DevProTalk.com, Vi automatski dozvoljavate i predstavljate garanciju da imate pravo da dozvolite DevProTalk.com ili članovima DevProTalk.com bespovratnu, kontinualnu, neograničenu, globalnu dozvolu da koriste, kopiraju, izvršavaju, prikazuju i distribuiraju takve informacije i sadržaje i da iz takvih sadžaja koriste bilo koji deo u bilo koje svrhe, kao i pravo i dozvolu da koriste gore navedene sadržaje. Svi zaštitni znakovi (trademarks), logotipi, oznake usluga, firme ili imena proizvoda koji se pominju na ovom web sajtu su vlasništvo kojim raspolažu njihovi vlasnici.