|
Kako biste parsirali xml file od 10Mb
Razmatram razna resenja pa me zanima kakva su vasa iskustva u vezi ovoga.
Dakle imam nekoliko XML file-ova od 10Mb iz kojih treba da izvucem podatke i importujem u bazu, i sve to treba da se radi na dnevnoj bazi. Koristio sam neke xml parsere i uglavnom dobijao 'out of memory' poruke. Privremeno sam resio tako sto sam php-u povecao memory limit, a kad je i tu postalo tesno, u konkretnom slucaju sam presao na neku varijantu csv fajla. Cini mi se da bi najoptimalnija varijanta sa xml-om bila ucitavati parce po parce tog xml-a, i deo po deo obradjivati. Da li je neko radio tako nesto i da li postoje neke gotove klase za to? Hvala! |
Ako vec imas csv, onda direktno iz mysql: load data infile.
Ako imas samo XML, sigurno ne bih parsovao ceo fajl od 10 MB od jednom. Inace mislim da je bez veze ako vec mysql ima opciju da exportuje dump u XML, zasto nema opciju da importuje iz xml-a. |
parseri bazirani na expatu kao XML_Parser ne bi trebalo da imaju problema sa velikim fajlovima, mozes da citas liniju po liniju iz fajla i da ih dajes parseru i to bi trebalo da sljaka. Takodje pogledaj XMLReader, on pozdrava rad sa streamovima, i isto parsira deo po deo, ne ucitava sve u memoriju...
e sad naravno to sve ne vredi ako ti ne pazis sta radis u kodu, pa pokusas da procitas faj odjednom ili da sacuvas celo stablo dokumenta u memoriji, na te stvari moras da pazis.. |
To sa expatom (event based parser) lepo zvuci u teoriji, ali meni se gomila ljudi zalilo da im je kod pucao kod vecih fajlova iako su otvarali fajl i provlacili kroz parser red po red.
|
nisam nikad probao da parsiram 10MB, pa ne mogu da tvrdim, ali sumnjam da je to do Expata, jer on samo cuva trenutni context. Pre ce biti da je problem sa implementacijom, vrlo je lako prevideti neku tmp varijablu koja krene da raste i raste...
|
@bluesman
Citat:
@ivanhoe Hvala, na tako nesto sam mislio. Medjutim mislim da necu ici red po red, jer mi se cini da bi za vece fajlove to bilo previse zahteva za citanje sa diska, sto bi opet bilo neracionalno. Mozda to ima veze sa onime sto je Dinke rekao. |
Samo da javim da ovo radi odlicno, i da je proradilo iz prve. Skockao sam na kraju neku custom klasu na osnovu primera ovde
Hvala svima! |
| Vreme je GMT +2. Trenutno vreme je 07:41. |
Powered by vBulletin® Verzija 3.6.8
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
Copyright © DevProTalk. All Rights Reserved.