Zašto ne treba parsirati (X)HTML regexom
Jedan probao, pa odlepio...
http://stackoverflow.com/a/1732454 Citat:
|
a u komentarima :)
Citat:
|
http://www.codinghorror.com/blog/200...hulhu-way.html puk'o je bobince ima već 2 godine :D
|
funny, ali to je potpuni bull****... html ne treba parsirati regexp-om:
a) ako ne znas makar priblizno kako izgleda doticni HTML b) ako ne znas da koristis regexp-e ali svakako radi bolje od parsiranja XML parserima, jer to ne radi uopste sem sa staticnim i 100% validnim stranama.. cim probas tako da pocupas podatke iz nekog e-shopa ili CMS-a i krenes da naleces na random tagove koje je neko slucajno pesjtvovao u sred texta, you're screwed with XML... |
Citat:
http://nokogiri.org/tutorials/ensuri...ed_markup.html |
Za dobar HTML parser su bitne samo 2 stvari: da radi posao i da moze da se napravi za sto krace vreme. U vecini prakticnih situacija regexp to radi odlicno.
|
Da se nadovezem na Jablana - beautiful soup (http://www.crummy.com/software/BeautifulSoup/) za Python ce ti isto isparsirati stagod mu das, makar proslo pored validnosti nije. Siguran sam da ima nesto slicnog stepena robustnosti i za PHP i ostale...
|
Citat:
http://www.php.net/manual/en/domdocument.loadhtml.php Citat:
|
Moram da priznam da sam ja radio scrapping podataka samo iz perla i to zadnji put pre par godina, tako da mozda sad i postoji neko efikasno resenje, tada definitivno nije postojalo nista sto moze da se nosi sa custom napisanim regExp-om po pitanju brzine i efikasnosti...
Kad se spajderuju podaci obicno ti je potrebno samo par cifara od cele HTML strane, parsiranje svega toga u DOM da bi dohvatio par celija iz neke tabele je jako neefikasan pristup IMHO... i ne samo neefikasan, nego i nepotreban, zasto bi to radio? A u realnom slucaju kad sve to pustis u X procesa koji treba da obrade katalog od 500-600 hiljada artikala u nekom razumnom roku, onda memorija i brzina postaju vrlo velika stavka... |
Ja verujem da postoje bolja rešenja, ali navika je čudo, tako da ja i dalje radim putem RegExp.
|
Skoro sam imao situaciju da sam za RSS feed dobijao nevalidan XML. Zbog toga sam imao problem sa korišćenjem tih podataka kroz XML bilbioteku, jer je ona tražila validan XML.
Problem sam rešio na sledeći način: Kôd:
$validMarkup = tidy_repair_string($badMarkup, array( Nekako mi je ovo bilo mnogo praktičnije, jer mi omogućava da kroz bilbioteku pristupan podacima, za razliku od načina gde bih morao da pravim RegEx bazirani parser. Kao i što kaže Jeff Atwood: Citat:
|
Ogromna je razlika izmedju RSS feed-a (koji sadrzi samo podatke koji ti trebaju, uredno organizovane), i HTML strane (gde je 99% texta tebi potpuno nebitno). Za RSS feedove i ja koristim XML naravno..
A ta prica kako ces da napises jedan parser i da ga onda koristis na gomili poslova je budalastina, u praksi to ne radi, svaki sajt zahteva customizaciju i skoro svaki redizajn tog sajta u buducnosti ce da zahteva izmenu u kodu. Pricam iz visegodisenjeg iskustva, gomilu poslova smo dobili u proslosti upravo zato sto su "naucnici" rekli klijentima kako je to nemoguce parsirati, jer su pokusavali da napisu jednu skriptu za 10 razlicitih sajtova. Trust me, spajderi se pisu maksimalno specijalizovano, naravno koristeci framework koji jednom napravis. Za sve ostale poslove, one gde generalizacija prolazi, klijent ce da skine neki desktop alat gde kliknes i on ti skine te podatke, nece tebe da placa $30 sat za to... Razlika se onda svede samo na to da li je tebi lakse da menjas pozive metoda na nekom objektu ili da menjas regexp, ali nesto moras da menjas... i ako je to razlika vredna losijih performansi samo napred, ali onda treba napisati: Ja ne znam bas najbolje regExp, komplikovano mi je i pravim cesto greske, pa mi je brze ovako. A ne da se prodaje prica kako je to "jedini pravi pristup". Jedini pravi pristup je onaj koji ti za minimalno vremena i kolicinu gnjavaze zavrsi posao svaki put, sve ostalo je hipsterski bull****... |
http://framework.zend.com/manual/en/zend.dom.query.html
http://code.google.com/p/phpquery/ http://simplehtmldom.sourceforge.net/ (ovaj je regex based ali mu ništa ne fali) |
evo cisto kao ilustracija o cemu pricam, glup primer, zamislite da negde u sred strane ima ovakvih par linkova:
HTML kôd:
Ovo je jako uproscena situacija, u realnom poslu treba ispratiti gomilu linkova na strani, pronaci next page linkove, handlovati cesto lose napisan kod gde se u sred strane pojavljuju php greske ili linkovi na sledece strane rezultata koje zapravo ne postoje, menja se dizajn strane od proizvoda do proizvoda, programeri namerno prave fore da sprece parsiranje i sl. Not for the faint-hearted... EDIT: Da me ne razume neko pogresno, nemam ja nista protiv DOM parsera, za "normalne" primene je to genijalno elegantno resenje ili ako je iz nekog razloga bitna struktura stranice, ali za komercijalne spajdere koji najcesce rade polu-legalne stvare, da ne kazem kradu sadrzaj, akademske prica o "ispravnom" nacinu parsiranja html-a su u najmanju ruku smesne... |
XPath 2 podržava regexp u upitima. Najbolje od oba sveta, samo još da proradi u PHP-u kako valja :)
|
@ivanhoe, mislim da preg_match nije dobro, jer je overkill da se nešto uradi, ili promjeni... možeš sve uraditi sa CSS selektorima (barem ja što sam radio scrapinga)...
Zend Query (nisam testirao) PHP kôd:
Simple HTML DOM PHP kôd:
[attribute=value] Matches elements that have the specified attribute with a certain value. [attribute!=value] Matches elements that don't have the specified attribute with a certain value. [attribute^=value] Matches elements that have the specified attribute and it starts with a certain value. [attribute$=value] Matches elements that have the specified attribute and it ends with a certain value. [attribute*=value] Matches elements that have the specified attribute and it contains a certain value. |
Citat:
http://php.net/manual/en/domxpath.re...pfunctions.php PHP kôd:
|
@webarto: nemas uvek tako jednostavan href, cesto ti svi linkovi gadjaju jednu te istu skriptu sa milion get parametara od kojih zavisi sta ce prikazati
A i mislim da je sustina price u tome sta je covek navikao da radi. Meni je kineski potpuno necitljiv, ali kinezi ga koriste bez problema. Da li treba reci kako je latinica (ili cirilica) jedini ispravan nacin pisanja slova, jer je laksi za ucenje i pisanje? Sta hocu da kazem: ljudi prave bauka od regExpa, a to je uzasno korisna stvar, i jednom kad naviknes mozak nije bas toliko necitko koliko izgleda. Samo je caka da si ih dovoljno puta napisao, kao sa svim ostalim... |
nemam ja ništa protiv regexa, samo kažem ako se doda i jedan space, ako nije formiran regex dobro (a može ti svašta promaći), pući će, XML parser radi na drugom principu i manje je vjerovatno da će pući... mislim zar nije lakše #div kucati nego <div(.*?)id="div"(.*)>(.*?)</div>, i kako znati da neće dodati space jedan i sve da pukne... plus što moraš nagadjati koji je key ono što tražiš, umjesto $e->text ili tako nešto... ovaj simplehtmldom je par kilobajta i mislim da se bolje osloniti na njega, nego kucati sve ovo...
|
Slazem se, jeste lakse i kad mozes tako to je skroz ok. Ja sam retko nalazio tako cistu situaciju (doduse, ja sam se spajderima bavio ranije, i to u perlu, pa je mozda sad bolja situacija. Tada (2000-2006) su prakticno svi ecommerc sajtovi imali linkove od po 300+ karaktera sa milion parametara, plus ceste greske u generisanju koda)
A spejsovi i sve ostalo se lako pokrije ako napises dobar RE izraz. I to moze to da se stavi u funkcije tako da ne pises iznova, tipa ja sam imao get_tags(), get_link_by_text(), filter_by_attr() i sl. Samo prosledis funkciji text ili komad patterna koji te zanima, a funkcija brine da sklopi regExp kako treba. Prvi put sam ulozio mozda malkice vise mozganja da napisem dobar regExp koji handluje sve potencijalne probleme, ali posle je jednako jednostavno za upotrebu kao neka gotova klasa, a mnogo fleksibilnije i efikasnije jer nisam ogranicen hijerarhijom stranice i ne punim memoriju kompleksnim strukturama koje mi ne trebaju. |
Za sta regex sluzi (developerima)?
Koliko ja razumem to je jedino korisno za agregator sajtove, i za shopping comparasion sajtove. |
Zezas se, jel da?
|
Da, regex je poznat po tome što ga masovno koriste dizajneri ... developerima služi samo kao šminka, da ispadnu frajeri :)
|
To se koristi u knjigovdstvu...
Moja kolegica Dragica iz fakturnog, da nema regex-a, PDV obračun nikada ne bi završila... Da ne pričam za amortizaciju... |
Šta se odma primate :P
Očigledan pokušaj trolovanja .... |
Kad su Buksula i Adria(nesto) u pitanju nikad nista nije ocigledno :)
|
idu dva regexpa ulicom, jedan greedy drugi lazy
|
Vreme je GMT +2. Trenutno vreme je 03:56. |
Powered by vBulletin® Verzija 3.6.8
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
Copyright © DevProTalk. All Rights Reserved.