provera duplikata fajlova

[dinke]

A sta je sa dve iste fotke u razlicitoj rezoluciji? To se smatra duplikatom ili ne? Ako da onda hash check ne pije vodu, onda ti je exif ili perceptualni check (ovo sto kaze McKracken) jedino resenje.

[jablan]

Originalno napisao ivanhoe

@jablan: hmmm, mudro zboris

Zapravo, zamisli iduću perverziju: s obzirom da su u pitanju goleme fotke čiji upload verovatno ume da potraje, odradiš MD5 početnih n kilobajta u toku uploada i odmah upozoriš korisnika da takva fotka već postoji, pre nego što se upload završi.

[ivan.skugor]

Originalno napisao jablan

Zapravo, zamisli iduću perverziju: s obzirom da su u pitanju goleme fotke čiji upload verovatno ume da potraje, odradiš MD5 početnih n kilobajta u toku uploada i odmah upozoriš korisnika da takva fotka već postoji, pre nego što se upload završi.

Imam 2 pitanja u vezi ovog:

1. kako mislis rjesiti problem slika koji imaju isti hash za prvih n kilobyte-a?
2. je li uopce i kako je moguce napraviti hash od prvih n kilobyte-a ako cijela slika nije uploadana? Pricam naravno o PHP rjesenju.

[jablan]

Kao prvo, cela ideja je samo ideja, daleko od toga da sam radio nešto slično, dakle u pitanju je teoretisanje. Za većinu sajtova kojoj velike fotke nisu u centru pažnje, ovo nema smisla, ali verovatno postoje i sajtovi kojima se isplati da istraže malo u ovom pravcu. Naravno, uvek postoji mogućnost da se upload radi nekim dedicated klijentom, Java appletom ili bilo čime drugim.

Originalno napisao ivan.skugor

1. kako mislis rjesiti problem slika koji imaju isti hash za prvih n kilobyte-a?

Npr. tako što se prenos neće automatski prekinuti, već npr. ajax-om prikazati thumbnail već postojeće slike sa prigodnim tekstom, na foru: "sledeća slika već postoji, da li ste sigurni da ne šaljete istu tu?".

2. je li uopce i kako je moguce napraviti hash od prvih n kilobyte-a ako cijela slika nije uploadana?

Zašto ne (naglašavam, teoretski) bi bilo moguće? Ti kilobajti su preneseni na server, zar ne? A kako, ne znam. Uvek ostaje mogućnost da sam iskodiraš specijalan veb server (ostatak sajta da ostane na mod_php ili čemu već), samo za POST-ovanje slika, pa da imaš punu kontrolu na nivou soketa.

[ivan.skugor]

Originalno napisao jablan

Kao prvo, cela ideja je samo ideja, daleko od toga da sam radio nešto slično, dakle u pitanju je teoretisanje. Za većinu sajtova kojoj velike fotke nisu u centru pažnje, ovo nema smisla, ali verovatno postoje i sajtovi kojima se isplati da istraže malo u ovom pravcu. Naravno, uvek postoji mogućnost da se upload radi nekim dedicated klijentom, Java appletom ili bilo čime drugim.

Bilo bi zanimljivo vidjeti kako je to rjesio jedan Flickr ili nekakav slican servis.

Originalno napisao jablan

Npr. tako što se prenos neće automatski prekinuti, već npr. ajax-om prikazati thumbnail već postojeće slike sa prigodnim tekstom, na foru: "sledeća slika već postoji, da li ste sigurni da ne šaljete istu tu?".

Nisi shvatio.
Probat cu pojednostaviti. Uzmi npr. da imas jednu uploadanu sliku ciji bitovi pocinju sa npr. "0000" i drugu koju namjeravas uploadati ciji bitovi pocinju isto sa "0000". Za njih dvije ces izracunati isti hash ako racunas hash na temelju prva 4 bita, ali one ne moraju nuzno biti iste, prva moze biti "0000 0000 ..." a druga moze biti "0000 1111 ...".

Nadam se da ti je sad jasnije (iako, i ova situacija je daleko teoretiziranje ).

Originalno napisao jablan

Zašto ne (naglašavam, teoretski) bi bilo moguće? Ti kilobajti su preneseni na server, zar ne? A kako, ne znam. Uvek ostaje mogućnost da sam iskodiraš specijalan veb server (ostatak sajta da ostane na mod_php ili čemu već), samo za POST-ovanje slika, pa da imaš punu kontrolu na nivou soketa.

Da, tako se i meni cini, jer gledano sa aplikativnog sloja ili imas cijelu sliku ili je nemas uopce (npr. ukoliko je doslo do nekakve greske u prijenosu koja se ne moze otkloniti).

[ivanhoe]

ideja je dobra, ali moralo bi se uzeti u obzir da slike na pocetku imaju zaglavlje koje zavisi od formata.

Ja bih to ovako: Flash upload koji prenese samo deo fajla (mislim da je to izvodljivo), onda se to uporedi, nadju se slike koje se matchuju (jedna ili vise), pa se korisniku prikaze dijalog: Da li je slika koju uploadujete neka od ovih slika? i prikazu se thumbovi tih slika koje su vec u bazi.

Ali to neki drugi put, kad ne budem imao pametnijeg posla

[jablan]

Originalno napisao ivan.skugor

Nisi shvatio.
Probat cu pojednostaviti. Uzmi npr. da imas jednu uploadanu sliku ciji bitovi pocinju sa npr. "0000" i drugu koju namjeravas uploadati ciji bitovi pocinju isto sa "0000". Za njih dvije ces izracunati isti hash ako racunas hash na temelju prva 4 bita, ali one ne moraju nuzno biti iste, prva moze biti "0000 0000 ..." a druga moze biti "0000 1111 ...".

Nadam se da ti je sad jasnije (iako, i ova situacija je daleko teoretiziranje ).

Ama jesam shvatio.

Slike ne moraju nužno biti iste. Pretpostavimo da na serveru postoji još jedna (ili više, što bi bilo ekstremno retko) slika sa istim fingerprintom na osnovu prvih N kilobajta. Ajaxom se korisniku, u toku uploada, prikažu thumbnailovi tih slika sa istim fingerprintom i poruka da može da prekine upload ako među thumbnailovima vidi onu koju uploaduje. Eto.

@ivanhoe: tačno je da postoji zaglavlje, ali pretpostavljam da je ono u prvih kilobajt-dva, 16 ili 32k verovatno zahvata dobrim delom sam image-data, a prenese se začas.

[ivan.skugor]

Originalno napisao jablan

Slike ne moraju nužno biti iste. Pretpostavimo da na serveru postoji još jedna (ili više, što bi bilo ekstremno retko) slika sa istim fingerprintom na osnovu prvih N kilobajta. Ajaxom se korisniku, u toku uploada, prikažu thumbnailovi tih slika sa istim fingerprintom i poruka da može da prekine upload ako među thumbnailovima vidi onu koju uploaduje. Eto.

Aha. Da, to donekle ima smisla. Samo onda vjerovatno hash nije najbolje rjesenje, posto on za totalno razlicite slike moze dati slican hash, dok za one s minimalnom razlikom moze dati ogromnu razliku.
S druge strane - trebao bi ili racunati hash od prvih n-byte-ova za sve uploadane slike ili imati negdje spremljene predizracunate hashave, sta opet dodatno opterecuje server narocito ukoliko je velik broj slika u pitanju.

Meni osobno se to cini prekomplicirano za implementirati, a benificije su upitne.

[jablan]

Off Topic: Hash može biti samo isti ili različit, ne može biti "sličan"

[misk0]

Upitno je koliko ima smisla koristiti prvih nekoliko kilobajta. Mozda bi prije svega toga trebalo uraditi analizu veceg broja slika i vidjeti kakvi se rezultati dobiju.
JPEG koliko znam pocinje fajl sa gornjim lijevim uglom slike i ide prema donjem desnom. Kod BMP formata ide 'odozdo' prema gore.
Dosta slika prirode imaju 1/3nu neba koje je u gornjem dijelu i moguce je da je isto/slicno za velik broj slika.