-
PHP
(
http://www.devprotalk.com/forumdisplay.php?f=9)
| ivanhoe |
08. 01. 2007. 09:15 |
nalazenje duplikata
klijent je kupio 2 velike baze sa gomilama clanaka (jedna je 520MB, a druga oko 1GB). Zapravo radi se o vrlo jednostavnim mysql tabelama sa par polja, sami clanci se nalaze u polju tipa text, a ostala polja su neke statistike o broju reci i slova.
E sad bi trebalo da ja te dve tabele pretvorim u jednu, ali da pritom eliminisem duplikate. To ne bi bio neki veliki problem da su ti duplikati identicni byte po byte, ali postoji sansa da postoje neke sitne razlike u formatiranju , extra spejsovi i slicno.
Jel postoji neki efikasan nacin da merdzujem obe baze, osim brute-force proverave svakog sa svakim ? (posto ce to da traje danima)
|
| jablan |
08. 01. 2007. 09:38 |
Možeš ako imaš volje da praviš neku MySQL UDF funkciju koja će da vrši "soft" poređenje koje ti treba.
Međutim, ja mislim da ne bi baš toliko trajalo ni klasično aplikativno rešenje sa dve petlje... Sumnjam da bi trajalo više od sat-dva. Možda ne baš u PHP-u... ;)
|
Mozda: napravis novo polje u obje tabele koje sadrzi md5(clean_format(title+article)), gdje vidis sam sta ti je clean format. Onda stavis unique index na to md5 polje i uradis merge tabela.
Za svaki slucaj upisujes negdje one zapise koji nisu prosli, pa kasnije mozes da provjeris...
|
| Ilija Studen |
08. 01. 2007. 09:47 |
Ako su razlike tako "zavučene" onda mi padaju na pamet jedino filtriranje po sličnosti (ukoliko su stringovi slični > 95% obiđi) ili da stripuješ svo formatiranje i whitespace i odradis poređenje (direktno ili po sličnosti).
Možda odradi posao, ali je daleko od bilo kakve elegancije :)
|
| ivanhoe |
08. 01. 2007. 12:36 |
ovo zirino je odlicna ideja, mogu da izbacim sve sto nisu slova i napravim md5 toga. I onda samo stavim da je to polje indexirano UNIQUE kljucem, i pustim insert ignore into... very kewl :)
|
| Vreme je GMT +2. Trenutno vreme je 07:38. |
|
Powered by vBulletin® Verzija 3.6.8
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
Copyright © DevProTalk. All Rights Reserved.
Mišljenja, saveti, izjave, ponude ili druge informacije ili sadržaji nastali na Sajtu su vlasništvo onoga ko ih je kreirao, a ne DevProTalk.com, tako da ne morate da se oslanjate na njih.
Autori poruka su jedini odgovorni za ovakve sadržaje. DevProTalk.com ne garantuje tačnost, kompletnost ili upotrebnu vrednost informacija, stavova, saveta ili datih izjava. Ne postoje uslovi pod kojima bi mi bili odgovorni za štetu ili gubitak koji je posledica bilo čijeg oslanjanja na nepouzdane informacije, ili bilo kakve informacije nastale kroz komunikaciju između registrovanih članova.Web sajt može sadržavati linkove na druge web sajtove na Internetu ili neke druge sadržaje. Ne kontrolišemo niti podržavamo te druge web sajtove, niti smo pregledali bilo kakve sadržaje na takvim sajtovima. Mi nećemo biti odgovorni za legalnost, tačnost ili prikladnost bilo kog sadržaja, oglasa, proizvoda, usluga ili informacije lociranim na ili distribuiranih kroz druge web sajtove, niti za bilo kakvu štetu nastalu kao posledica takvih informacija. DevProTalk.com drži i čuva druga prava vlasništva na web sajtu. Web sajt sadrže materijale zaštićene copyright-om, zaštitne znakove i druge informacije o pravu vlasništva ili softver. Članovi mogu poslatu informacije zaštićene pravima vlasništva njihovih nosilaca i ona ostaju zaštićena bez obzira da li su oni koji prenose te informacije to naveli ili ne. Osim informacija koje su u javnom vlasništvu ili za koje dobijete dozvolu, nemate pravo da kopirate, modifikujete ili na bilo koji način menjate, objavljujete, prenosite, distribuirate, izvršavate, prikazujete ili prodajte bilo koju informaciju zaštićenu pravima vlasništva. Slanjem informacija ili sadržaja na bilo koji deo DevProTalk.com, Vi automatski dozvoljavate i predstavljate garanciju da imate pravo da dozvolite DevProTalk.com ili članovima DevProTalk.com bespovratnu, kontinualnu, neograničenu, globalnu dozvolu da koriste, kopiraju, izvršavaju, prikazuju i distribuiraju takve informacije i sadržaje i da iz takvih sadžaja koriste bilo koji deo u bilo koje svrhe, kao i pravo i dozvolu da koriste gore navedene sadržaje. Svi zaštitni znakovi (trademarks), logotipi, oznake usluga, firme ili imena proizvoda koji se pominju na ovom web sajtu su vlasništvo kojim raspolažu njihovi vlasnici.
