Maximalan i preporučeni broj fajlova u direktoriju

[mb_sa]

Zdravo!

Recimo da ce aplikacija za neko vrijeme baratati sa milion slika. Slike se spasavaju na disk, a njihovi nazivi u tabele. Linux server je u pitanju.

Negdje procitam da je moguce staviti neogranicen broj fajlova u folder, a negdje 32k. Nije mi toliko bitan maximlana broj fajlova u folderu, već preporučeni broj.

Znam da veliki broj fajlova u folderu moze dovesti do problema sa performansama, a tu je i pitanje backupa i managamenta tih foldera.

Zanima me kako vi rasporedjujete veliki broj slika po folderima? Sta je najbolje u praksi i sa kavim ste se problemima susretali?

Pokusacu da vam priblizim moju situaciju. Za svaki unos u jednu tabelu moguce je maximlano pridruziti do 5 jpg slika. Svaki taj unos se mora povezati sa nekom kategorijom, kojih je u mom slucaju 15.

Znaci, u ovom slucaju bi trebalo da bude minimlano 15 foldera. Kako organizovati podfoldere? Mozda po godinama, po mjesecima?

Hvala!

[jablan]

Možeš da koristiš npr. strukturu od 1000 direktorijuma, po modulu id-ja fajla iz baze.

[mb_sa]

Originalno napisao jablan

Možeš da koristiš npr. strukturu od 1000 direktorijuma, po modulu id-ja fajla iz baze.

Mozes li mi malo detaljnije objasniti, jer nisam bas najbolje shvatio?! Hvala.

[noviKorisnik]

Originalno napisao mb_sa

Mozes li mi malo detaljnije objasniti, jer nisam bas najbolje shvatio?! Hvala.

Svaka slika je zabeležena u tabeli u bazi, jel, i ima svoj id, kojeg pustiš da ide auto-increment. Ako je id slike recimo 842158 - to znači da će tu sliku smeštaš u direktorijum 158 (to je ostatak od deljenja id-a sa 1000, aka moduo).

Šta je interesantno - imaš 1000 direktorijuma i oni će ravnomerno da se šire kako bude rastao broj slika, biće podjednako opterećeni.

[ppavlovic]

Iz iskustva, mogu u jednom folderu da stoje stotine hiljada fotografija. Jedini problem sa tim je kad pokušaš da ih izlistaš putem ftp-a.

Ja sam koristio md5 za nazive fajlova koji sam generisao na osnovu time() + rand() broj. Tada su nazivi dugi 32 karaktera, recimo ad77affeccaa23921938f899. Uzmeš prvo slovo od naziva fajla i smestiš u taj direktorijum, pa u poddirektorijum koji je drugo slovo, pa tako dalje...

- images/
--------/a/
----------/d/
------------/ad77affeccaa23921938f899

[mb_sa]

Originalno napisao ppavlovic

Iz iskustva, mogu u jednom folderu da stoje stotine hiljada fotografija. Jedini problem sa tim je kad pokušaš da ih izlistaš putem ftp-a.

Ja sam koristio md5 za nazive fajlova koji sam generisao na osnovu time() + rand() broj. Tada su nazivi dugi 32 karaktera, recimo ad77affeccaa23921938f899. Uzmeš prvo slovo od naziva fajla i smestiš u taj direktorijum, pa u poddirektorijum koji je drugo slovo, pa tako dalje...

- images/
--------/a/
----------/d/
------------/ad77affeccaa23921938f899

Fin prijedlog. Hvala

Ako i drugi imaju iskustva vezano za ovaj prolbem, bio bih zahvalan da se ukljuce u temu.

Meni bi mozda bilo dovoljan samo jedan podfolder dubinu.

- images
-- kategorija1
--- a
--- b
--- c
...
--- z (+ 0..9)
-- kategorija2
--- a
--- b
--- c
...
--- z (+ 0..9)
 ....

[BraMom]

Ograničenje od 32 k (odnosno 64 k) je ograničenje FAT sistema, to slobodno zaboravi, noviji fajl sistemi mogu bolje.

Na NTFS-u i iole boljim diskovima, do 200 000 fajlova u folderu ne bi smelo da pravi problem.

Moja preporuka je da uz sliku pamtiš "putanju", npr. imaš posebnu tabelu sa opisom "putanje" u kojoj pamtiš gde se to fizički nalazi na disku i kako je spakovano (konvencija za kreiranje podfoldera). Tako da uvek možeš da generišeš full path da bi pročitao konkretan fajl. Jedna od putanja (najnovija) je "aktivna" i na nju se snimaju novi fajlovi. Podfoldere na "putanji" kreiraš kako već u tvom slučaju ima smisla, npr. po kategorijama, po datumu...
Poenta sa putanjama je da sistem bude konfigurabilan, da nemaš hardkodiran način za kreiranje full path-a za snimanje fajla, što ti omogućava bezbolno spajanje "putanja" ili prebacivanje fajlova na novu adresu, tj. neki drugi storidž...

[mb_sa]

Originalno napisao BraMom

Ograničenje od 32 k (odnosno 64 k) je ograničenje FAT sistema, to slobodno zaboravi, noviji fajl sistemi mogu bolje.

Na NTFS-u i iole boljim diskovima, do 200 000 fajlova u folderu ne bi smelo da pravi problem.

Moja preporuka je da uz sliku pamtiš "putanju", npr. imaš posebnu tabelu sa opisom "putanje" u kojoj pamtiš gde se to fizički nalazi na disku i kako je spakovano (konvencija za kreiranje podfoldera). Tako da uvek možeš da generišeš full path da bi pročitao konkretan fajl. Jedna od putanja (najnovija) je "aktivna" i na nju se snimaju novi fajlovi. Podfoldere na "putanji" kreiraš kako već u tvom slučaju ima smisla, npr. po kategorijama, po datumu...
Poenta sa putanjama je da sistem bude konfigurabilan, da nemaš hardkodiran način za kreiranje full path-a za snimanje fajla, što ti omogućava bezbolno spajanje "putanja" ili prebacivanje fajlova na novu adresu, tj. neki drugi storidž...

Da, naravno, svakako cu sacuvati putanju, jer jednom je 'izracunam' i korstim, a ne da svaki put je 'racunam' pri prikazu. To stoji, a ako mi bude trebao naziv slike, moze se dobiti putem php basename() funkcije ili da putanju stavljam u posebnu kolonu, što mi u ovom slucaju i ne predstavlja problem, vec kako organizirati foldere i podfoldere sa ciljem da lakse i logicno raspodjelim velikh broj fajlova sa ciljem lakseg backupa i performasni, a na kraju i ogranicenja, jer vjerujm da je lakse pronaci sliku u folderu ako je ih je par hiljada, nego par stotina hiljada.

Hvala na ucescu u temi.

[ivanhoe]

^ ja sam koristio istu tu semu, i fino radi

BTW, ext2 i ext3 imaju problem sa vecim brojem fajlova, dolazi do usporenja... ali do par hiljada fajlova po dir-u nije problem sigurno, sem ako fajlovima pristupas sekvencijalno (listas direktorijum ili tako nesto)

[LiquidBrain]

ext3 filesystem ima ogranicenje po defaultu na 32K linkova (fajlova, direktorijuma) po folderu. To je josh ograniceno sa limitom maksimalnog broja inodova za taj filesystem.