|
PHP PHP aplikacije, Smarty, PEAR |
|
Alati teme | Način prikaza |
10. 02. 2009. | #1 |
Zoran Ševarac
Certified
Datum učlanjenja: 26.04.2006
Lokacija: Beograd
Poruke: 70
Hvala: 0
40 "Hvala" u 4 poruka
|
Kako biste parsirali xml file od 10Mb
Razmatram razna resenja pa me zanima kakva su vasa iskustva u vezi ovoga.
Dakle imam nekoliko XML file-ova od 10Mb iz kojih treba da izvucem podatke i importujem u bazu, i sve to treba da se radi na dnevnoj bazi. Koristio sam neke xml parsere i uglavnom dobijao 'out of memory' poruke. Privremeno sam resio tako sto sam php-u povecao memory limit, a kad je i tu postalo tesno, u konkretnom slucaju sam presao na neku varijantu csv fajla. Cini mi se da bi najoptimalnija varijanta sa xml-om bila ucitavati parce po parce tog xml-a, i deo po deo obradjivati. Da li je neko radio tako nesto i da li postoje neke gotove klase za to? Hvala! |
10. 02. 2009. | #2 |
Goran Pilipović
Sir Write-a-Lot
|
Ako vec imas csv, onda direktno iz mysql: load data infile.
Ako imas samo XML, sigurno ne bih parsovao ceo fajl od 10 MB od jednom. Inace mislim da je bez veze ako vec mysql ima opciju da exportuje dump u XML, zasto nema opciju da importuje iz xml-a.
__________________
Goran Pilipović a.k.a. Ugly Fingers Bradley f.k.a. bluesman I don't always know what I'm talking about but I know I'm right! |
10. 02. 2009. | #3 |
Ivan Dilber
Sir Write-a-Lot
|
parseri bazirani na expatu kao XML_Parser ne bi trebalo da imaju problema sa velikim fajlovima, mozes da citas liniju po liniju iz fajla i da ih dajes parseru i to bi trebalo da sljaka. Takodje pogledaj XMLReader, on pozdrava rad sa streamovima, i isto parsira deo po deo, ne ucitava sve u memoriju...
e sad naravno to sve ne vredi ako ti ne pazis sta radis u kodu, pa pokusas da procitas faj odjednom ili da sacuvas celo stablo dokumenta u memoriji, na te stvari moras da pazis..
__________________
Leadership is the art of getting people to want to do what you know must be done. |
10. 02. 2009. | #4 |
Super Moderator
Invented the damn thing
Datum učlanjenja: 06.06.2005
Poruke: 2.371
Hvala: 370
701 "Hvala" u 194 poruka
|
To sa expatom (event based parser) lepo zvuci u teoriji, ali meni se gomila ljudi zalilo da im je kod pucao kod vecih fajlova iako su otvarali fajl i provlacili kroz parser red po red.
|
10. 02. 2009. | #5 |
Ivan Dilber
Sir Write-a-Lot
|
nisam nikad probao da parsiram 10MB, pa ne mogu da tvrdim, ali sumnjam da je to do Expata, jer on samo cuva trenutni context. Pre ce biti da je problem sa implementacijom, vrlo je lako prevideti neku tmp varijablu koja krene da raste i raste...
__________________
Leadership is the art of getting people to want to do what you know must be done. |
10. 02. 2009. | #6 | |
Zoran Ševarac
Certified
Datum učlanjenja: 26.04.2006
Lokacija: Beograd
Poruke: 70
Hvala: 0
40 "Hvala" u 4 poruka
|
@bluesman
Citat:
@ivanhoe Hvala, na tako nesto sam mislio. Medjutim mislim da necu ici red po red, jer mi se cini da bi za vece fajlove to bilo previse zahteva za citanje sa diska, sto bi opet bilo neracionalno. Mozda to ima veze sa onime sto je Dinke rekao. |
|
|
|
Slične teme | ||||
Tema | Početna poruka teme | Forum | Odgovori | Poslednja poruka |
Python: Kako da procitam file description na windowsu | Ivan | Programiranje | 1 | 29. 11. 2010. 13:39 |
Da li biste platili 1000+ eur za radni sto? | teknoledge | Opušteno | 50 | 10. 11. 2010. 17:13 |
Kolko biste vi naplatili...? | HexTex | Sva početnička pitanja | 18 | 10. 09. 2010. 09:22 |
Ako ste zavrsna godina studija i iz Ns ste i zeleli biste na praksu iz IT-a.......PRO | Sansa4U | Opušteno | 0 | 16. 03. 2007. 14:51 |
Kako biste napravili ovu funkciju | Ilija Studen | Programiranje | 5 | 19. 08. 2006. 18:10 |