provera duplikata fajlova

[jablan]

Kao prvo, cela ideja je samo ideja, daleko od toga da sam radio nešto slično, dakle u pitanju je teoretisanje. Za većinu sajtova kojoj velike fotke nisu u centru pažnje, ovo nema smisla, ali verovatno postoje i sajtovi kojima se isplati da istraže malo u ovom pravcu. Naravno, uvek postoji mogućnost da se upload radi nekim dedicated klijentom, Java appletom ili bilo čime drugim.

Originalno napisao ivan.skugor

1. kako mislis rjesiti problem slika koji imaju isti hash za prvih n kilobyte-a?

Npr. tako što se prenos neće automatski prekinuti, već npr. ajax-om prikazati thumbnail već postojeće slike sa prigodnim tekstom, na foru: "sledeća slika već postoji, da li ste sigurni da ne šaljete istu tu?".

2. je li uopce i kako je moguce napraviti hash od prvih n kilobyte-a ako cijela slika nije uploadana?

Zašto ne (naglašavam, teoretski) bi bilo moguće? Ti kilobajti su preneseni na server, zar ne? A kako, ne znam. Uvek ostaje mogućnost da sam iskodiraš specijalan veb server (ostatak sajta da ostane na mod_php ili čemu već), samo za POST-ovanje slika, pa da imaš punu kontrolu na nivou soketa.

[ivan.skugor]

Originalno napisao jablan

Kao prvo, cela ideja je samo ideja, daleko od toga da sam radio nešto slično, dakle u pitanju je teoretisanje. Za većinu sajtova kojoj velike fotke nisu u centru pažnje, ovo nema smisla, ali verovatno postoje i sajtovi kojima se isplati da istraže malo u ovom pravcu. Naravno, uvek postoji mogućnost da se upload radi nekim dedicated klijentom, Java appletom ili bilo čime drugim.

Bilo bi zanimljivo vidjeti kako je to rjesio jedan Flickr ili nekakav slican servis.

Originalno napisao jablan

Npr. tako što se prenos neće automatski prekinuti, već npr. ajax-om prikazati thumbnail već postojeće slike sa prigodnim tekstom, na foru: "sledeća slika već postoji, da li ste sigurni da ne šaljete istu tu?".

Nisi shvatio.
Probat cu pojednostaviti. Uzmi npr. da imas jednu uploadanu sliku ciji bitovi pocinju sa npr. "0000" i drugu koju namjeravas uploadati ciji bitovi pocinju isto sa "0000". Za njih dvije ces izracunati isti hash ako racunas hash na temelju prva 4 bita, ali one ne moraju nuzno biti iste, prva moze biti "0000 0000 ..." a druga moze biti "0000 1111 ...".

Nadam se da ti je sad jasnije (iako, i ova situacija je daleko teoretiziranje ).

Originalno napisao jablan

Zašto ne (naglašavam, teoretski) bi bilo moguće? Ti kilobajti su preneseni na server, zar ne? A kako, ne znam. Uvek ostaje mogućnost da sam iskodiraš specijalan veb server (ostatak sajta da ostane na mod_php ili čemu već), samo za POST-ovanje slika, pa da imaš punu kontrolu na nivou soketa.

Da, tako se i meni cini, jer gledano sa aplikativnog sloja ili imas cijelu sliku ili je nemas uopce (npr. ukoliko je doslo do nekakve greske u prijenosu koja se ne moze otkloniti).

[jablan]

Originalno napisao ivan.skugor

Nisi shvatio.
Probat cu pojednostaviti. Uzmi npr. da imas jednu uploadanu sliku ciji bitovi pocinju sa npr. "0000" i drugu koju namjeravas uploadati ciji bitovi pocinju isto sa "0000". Za njih dvije ces izracunati isti hash ako racunas hash na temelju prva 4 bita, ali one ne moraju nuzno biti iste, prva moze biti "0000 0000 ..." a druga moze biti "0000 1111 ...".

Nadam se da ti je sad jasnije (iako, i ova situacija je daleko teoretiziranje ).

Ama jesam shvatio.

Slike ne moraju nužno biti iste. Pretpostavimo da na serveru postoji još jedna (ili više, što bi bilo ekstremno retko) slika sa istim fingerprintom na osnovu prvih N kilobajta. Ajaxom se korisniku, u toku uploada, prikažu thumbnailovi tih slika sa istim fingerprintom i poruka da može da prekine upload ako među thumbnailovima vidi onu koju uploaduje. Eto.

@ivanhoe: tačno je da postoji zaglavlje, ali pretpostavljam da je ono u prvih kilobajt-dva, 16 ili 32k verovatno zahvata dobrim delom sam image-data, a prenese se začas.

[ivan.skugor]

Originalno napisao jablan

Slike ne moraju nužno biti iste. Pretpostavimo da na serveru postoji još jedna (ili više, što bi bilo ekstremno retko) slika sa istim fingerprintom na osnovu prvih N kilobajta. Ajaxom se korisniku, u toku uploada, prikažu thumbnailovi tih slika sa istim fingerprintom i poruka da može da prekine upload ako među thumbnailovima vidi onu koju uploaduje. Eto.

Aha. Da, to donekle ima smisla. Samo onda vjerovatno hash nije najbolje rjesenje, posto on za totalno razlicite slike moze dati slican hash, dok za one s minimalnom razlikom moze dati ogromnu razliku.
S druge strane - trebao bi ili racunati hash od prvih n-byte-ova za sve uploadane slike ili imati negdje spremljene predizracunate hashave, sta opet dodatno opterecuje server narocito ukoliko je velik broj slika u pitanju.

Meni osobno se to cini prekomplicirano za implementirati, a benificije su upitne.