DevProTalk

Forumi IT profesionalaca
web development, web design, e-business, SEO


Idite nazad   DevProTalk > Web development i web aplikacije > PHP
Želite da se reklamirate ekskluzivno na ovoj poziciji? Javite se

PHP PHP aplikacije, Smarty, PEAR

Odgovori
 
Alati teme Način prikaza
Staro 27. 01. 2009.   #1
mb_sa
profesionalac
Qualified
 
Datum učlanjenja: 19.05.2007
Poruke: 123
Hvala: 13
3 "Hvala" u 3 poruka
mb_sa is on a distinguished road
Default Maximalan i preporučeni broj fajlova u direktoriju

Zdravo!

Recimo da ce aplikacija za neko vrijeme baratati sa milion slika. Slike se spasavaju na disk, a njihovi nazivi u tabele. Linux server je u pitanju.

Negdje procitam da je moguce staviti neogranicen broj fajlova u folder, a negdje 32k. Nije mi toliko bitan maximlana broj fajlova u folderu, već preporučeni broj.

Znam da veliki broj fajlova u folderu moze dovesti do problema sa performansama, a tu je i pitanje backupa i managamenta tih foldera.

Zanima me kako vi rasporedjujete veliki broj slika po folderima? Sta je najbolje u praksi i sa kavim ste se problemima susretali?

Pokusacu da vam priblizim moju situaciju. Za svaki unos u jednu tabelu moguce je maximlano pridruziti do 5 jpg slika. Svaki taj unos se mora povezati sa nekom kategorijom, kojih je u mom slucaju 15.

Znaci, u ovom slucaju bi trebalo da bude minimlano 15 foldera. Kako organizovati podfoldere? Mozda po godinama, po mjesecima?

Hvala!
mb_sa je offline   Odgovorite uz citat
Staro 27. 01. 2009.   #2
jablan
VD IT Direktora
Invented the damn thing
 
Avatar jablan
 
Datum učlanjenja: 08.06.2005
Lokacija: Beograd
Poruke: 2.118
Hvala: 503
1.307 "Hvala" u 282 poruka
jablan je pravi dragi kamenjablan je pravi dragi kamenjablan je pravi dragi kamenjablan je pravi dragi kamenjablan je pravi dragi kamenjablan je pravi dragi kamenjablan je pravi dragi kamenjablan je pravi dragi kamenjablan je pravi dragi kamenjablan je pravi dragi kamen
Default

Možeš da koristiš npr. strukturu od 1000 direktorijuma, po modulu id-ja fajla iz baze.
jablan je offline   Odgovorite uz citat
Staro 27. 01. 2009.   #3
ppavlovic
expert
Expert
 
Avatar ppavlovic
 
Datum učlanjenja: 27.11.2005
Poruke: 543
Hvala: 47
57 "Hvala" u 31 poruka
ppavlovic će postati "faca" uskoro
Default

Iz iskustva, mogu u jednom folderu da stoje stotine hiljada fotografija. Jedini problem sa tim je kad pokušaš da ih izlistaš putem ftp-a.

Ja sam koristio md5 za nazive fajlova koji sam generisao na osnovu time() + rand() broj. Tada su nazivi dugi 32 karaktera, recimo ad77affeccaa23921938f899. Uzmeš prvo slovo od naziva fajla i smestiš u taj direktorijum, pa u poddirektorijum koji je drugo slovo, pa tako dalje...

- images/
--------/a/
----------/d/
------------/ad77affeccaa23921938f899
__________________
MojNoviAuto.com - Tvoj prvi sajt za kupovinu novog automobila
ppavlovic je offline   Odgovorite uz citat
Staro 27. 01. 2009.   #4
mb_sa
profesionalac
Qualified
 
Datum učlanjenja: 19.05.2007
Poruke: 123
Hvala: 13
3 "Hvala" u 3 poruka
mb_sa is on a distinguished road
Default

Citat:
Originalno napisao jablan Pogledajte poruku
Možeš da koristiš npr. strukturu od 1000 direktorijuma, po modulu id-ja fajla iz baze.
Mozes li mi malo detaljnije objasniti, jer nisam bas najbolje shvatio?! Hvala.
mb_sa je offline   Odgovorite uz citat
Staro 27. 01. 2009.   #5
mb_sa
profesionalac
Qualified
 
Datum učlanjenja: 19.05.2007
Poruke: 123
Hvala: 13
3 "Hvala" u 3 poruka
mb_sa is on a distinguished road
Default

Citat:
Originalno napisao ppavlovic Pogledajte poruku
Iz iskustva, mogu u jednom folderu da stoje stotine hiljada fotografija. Jedini problem sa tim je kad pokušaš da ih izlistaš putem ftp-a.

Ja sam koristio md5 za nazive fajlova koji sam generisao na osnovu time() + rand() broj. Tada su nazivi dugi 32 karaktera, recimo ad77affeccaa23921938f899. Uzmeš prvo slovo od naziva fajla i smestiš u taj direktorijum, pa u poddirektorijum koji je drugo slovo, pa tako dalje...

- images/
--------/a/
----------/d/
------------/ad77affeccaa23921938f899
Fin prijedlog. Hvala

Ako i drugi imaju iskustva vezano za ovaj prolbem, bio bih zahvalan da se ukljuce u temu.

Meni bi mozda bilo dovoljan samo jedan podfolder dubinu.

Kôd:
- images
-- kategorija1
--- a
--- b
--- c
...
--- z (+ 0..9)
-- kategorija2
--- a
--- b
--- c
...
--- z (+ 0..9)
 ....
mb_sa je offline   Odgovorite uz citat
Staro 27. 01. 2009.   #6
BraMom
Branimir Momcilovic
Qualified
 
Datum učlanjenja: 15.02.2006
Lokacija: Beograd
Poruke: 167
Hvala: 47
25 "Hvala" u 8 poruka
BraMom is on a distinguished road
Default

Ograničenje od 32 k (odnosno 64 k) je ograničenje FAT sistema, to slobodno zaboravi, noviji fajl sistemi mogu bolje.

Na NTFS-u i iole boljim diskovima, do 200 000 fajlova u folderu ne bi smelo da pravi problem.

Moja preporuka je da uz sliku pamtiš "putanju", npr. imaš posebnu tabelu sa opisom "putanje" u kojoj pamtiš gde se to fizički nalazi na disku i kako je spakovano (konvencija za kreiranje podfoldera). Tako da uvek možeš da generišeš full path da bi pročitao konkretan fajl. Jedna od putanja (najnovija) je "aktivna" i na nju se snimaju novi fajlovi. Podfoldere na "putanji" kreiraš kako već u tvom slučaju ima smisla, npr. po kategorijama, po datumu...
Poenta sa putanjama je da sistem bude konfigurabilan, da nemaš hardkodiran način za kreiranje full path-a za snimanje fajla, što ti omogućava bezbolno spajanje "putanja" ili prebacivanje fajlova na novu adresu, tj. neki drugi storidž...
__________________
Važnije je biti ljubazan, nego biti u pravu.
BraMom je offline   Odgovorite uz citat
Staro 27. 01. 2009.   #7
mb_sa
profesionalac
Qualified
 
Datum učlanjenja: 19.05.2007
Poruke: 123
Hvala: 13
3 "Hvala" u 3 poruka
mb_sa is on a distinguished road
Default

Citat:
Originalno napisao BraMom Pogledajte poruku
Ograničenje od 32 k (odnosno 64 k) je ograničenje FAT sistema, to slobodno zaboravi, noviji fajl sistemi mogu bolje.

Na NTFS-u i iole boljim diskovima, do 200 000 fajlova u folderu ne bi smelo da pravi problem.

Moja preporuka je da uz sliku pamtiš "putanju", npr. imaš posebnu tabelu sa opisom "putanje" u kojoj pamtiš gde se to fizički nalazi na disku i kako je spakovano (konvencija za kreiranje podfoldera). Tako da uvek možeš da generišeš full path da bi pročitao konkretan fajl. Jedna od putanja (najnovija) je "aktivna" i na nju se snimaju novi fajlovi. Podfoldere na "putanji" kreiraš kako već u tvom slučaju ima smisla, npr. po kategorijama, po datumu...
Poenta sa putanjama je da sistem bude konfigurabilan, da nemaš hardkodiran način za kreiranje full path-a za snimanje fajla, što ti omogućava bezbolno spajanje "putanja" ili prebacivanje fajlova na novu adresu, tj. neki drugi storidž...
Da, naravno, svakako cu sacuvati putanju, jer jednom je 'izracunam' i korstim, a ne da svaki put je 'racunam' pri prikazu. To stoji, a ako mi bude trebao naziv slike, moze se dobiti putem php basename() funkcije ili da putanju stavljam u posebnu kolonu, što mi u ovom slucaju i ne predstavlja problem, vec kako organizirati foldere i podfoldere sa ciljem da lakse i logicno raspodjelim velikh broj fajlova sa ciljem lakseg backupa i performasni, a na kraju i ogranicenja, jer vjerujm da je lakse pronaci sliku u folderu ako je ih je par hiljada, nego par stotina hiljada.

Hvala na ucescu u temi.

Poslednja izmena od mb_sa : 27. 01. 2009. u 12:16.
mb_sa je offline   Odgovorite uz citat
Staro 27. 01. 2009.   #8
noviKorisnik
Dejan Katašić
Wrote a book
 
Avatar noviKorisnik
 
Datum učlanjenja: 10.06.2005
Lokacija: Novi Sad
Poruke: 1.017
Hvala: 129
86 "Hvala" u 43 poruka
noviKorisnik će postati "faca" uskoro
Default Možeš da koristiš npr. strukturu od 1000 direktorijuma, po modulu id-ja fajla iz baze

Citat:
Originalno napisao mb_sa Pogledajte poruku
Mozes li mi malo detaljnije objasniti, jer nisam bas najbolje shvatio?! Hvala.
Svaka slika je zabeležena u tabeli u bazi, jel, i ima svoj id, kojeg pustiš da ide auto-increment. Ako je id slike recimo 842158 - to znači da će tu sliku smeštaš u direktorijum 158 (to je ostatak od deljenja id-a sa 1000, aka moduo).

Šta je interesantno - imaš 1000 direktorijuma i oni će ravnomerno da se šire kako bude rastao broj slika, biće podjednako opterećeni.
noviKorisnik je offline   Odgovorite uz citat
"Hvala" noviKorisnik za poruku:
Staro 27. 01. 2009.   #9
ivanhoe
Ivan Dilber
Sir Write-a-Lot
 
Avatar ivanhoe
 
Datum učlanjenja: 18.10.2005
Lokacija: Bgd
Poruke: 5.320
Hvala: 104
2.344 "Hvala" u 583 poruka
ivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svima
Pošaljite poruku preko Skype™ za ivanhoe
Default

^ ja sam koristio istu tu semu, i fino radi

BTW, ext2 i ext3 imaju problem sa vecim brojem fajlova, dolazi do usporenja... ali do par hiljada fajlova po dir-u nije problem sigurno, sem ako fajlovima pristupas sekvencijalno (listas direktorijum ili tako nesto)
__________________
Leadership is the art of getting people to want to do what you know must be done.
ivanhoe je offline   Odgovorite uz citat
Staro 27. 01. 2009.   #10
LiquidBrain
Milan Cvejic
Wrote a book
 
Avatar LiquidBrain
 
Datum učlanjenja: 05.09.2006
Lokacija: Beograd
Poruke: 1.241
Hvala: 32
73 "Hvala" u 56 poruka
LiquidBrain će postati "faca" uskoro
Pošaljite poruku preko Yahoo za LiquidBrain
Default

ext3 filesystem ima ogranicenje po defaultu na 32K linkova (fajlova, direktorijuma) po folderu. To je josh ograniceno sa limitom maksimalnog broja inodova za taj filesystem.
__________________
http://weevify.com
LiquidBrain je offline   Odgovorite uz citat
Odgovori


Alati teme
Način prikaza

Pravila pisanja
Možete ne započinjati nove teme
Možete ne slati odgovore
Možete ne slati priloge
Možete ne izmeniti svoje poruke
vB kôd je Uključen
Smajliji su Uključen
[IMG] kod je Uključen
HTML kôd je Isključen
Pogledajte forum

Slične teme
Tema Početna poruka teme Forum Odgovori Poslednja poruka
Koji bi mi hosting preporučili ? misko_ Web Hosting, web serveri i operativni sistemi 177 25. 01. 2013. 00:47
Šta sve preporučujete za učenje PHP-a chandler Sva početnička pitanja 14 15. 09. 2009. 15:55
broj domacih sajtova Miloje Sekulic Istine i zablude 1 07. 05. 2008. 12:32
google.co.yu preporučuje francuske feedove? pcigre Opušteno 0 09. 04. 2008. 02:00


Vreme je GMT +2. Trenutno vreme je 13:15.


Powered by vBulletin® Verzija 3.6.8
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
Copyright © DevProTalk. All Rights Reserved.
Mišljenja, saveti, izjave, ponude ili druge informacije ili sadržaji nastali na Sajtu su vlasništvo onoga ko ih je kreirao, a ne DevProTalk.com, tako da ne morate da se oslanjate na njih.
Autori poruka su jedini odgovorni za ovakve sadržaje. DevProTalk.com ne garantuje tačnost, kompletnost ili upotrebnu vrednost informacija, stavova, saveta ili datih izjava. Ne postoje uslovi pod kojima bi mi bili odgovorni za štetu ili gubitak koji je posledica bilo čijeg oslanjanja na nepouzdane informacije, ili bilo kakve informacije nastale kroz komunikaciju između registrovanih članova.
Web sajt može sadržavati linkove na druge web sajtove na Internetu ili neke druge sadržaje. Ne kontrolišemo niti podržavamo te druge web sajtove, niti smo pregledali bilo kakve sadržaje na takvim sajtovima. Mi nećemo biti odgovorni za legalnost, tačnost ili prikladnost bilo kog sadržaja, oglasa, proizvoda, usluga ili informacije lociranim na ili distribuiranih kroz druge web sajtove, niti za bilo kakvu štetu nastalu kao posledica takvih informacija. DevProTalk.com drži i čuva druga prava vlasništva na web sajtu. Web sajt sadrže materijale zaštićene copyright-om, zaštitne znakove i druge informacije o pravu vlasništva ili softver. Članovi mogu poslatu informacije zaštićene pravima vlasništva njihovih nosilaca i ona ostaju zaštićena bez obzira da li su oni koji prenose te informacije to naveli ili ne. Osim informacija koje su u javnom vlasništvu ili za koje dobijete dozvolu, nemate pravo da kopirate, modifikujete ili na bilo koji način menjate, objavljujete, prenosite, distribuirate, izvršavate, prikazujete ili prodajte bilo koju informaciju zaštićenu pravima vlasništva. Slanjem informacija ili sadržaja na bilo koji deo DevProTalk.com, Vi automatski dozvoljavate i predstavljate garanciju da imate pravo da dozvolite DevProTalk.com ili članovima DevProTalk.com bespovratnu, kontinualnu, neograničenu, globalnu dozvolu da koriste, kopiraju, izvršavaju, prikazuju i distribuiraju takve informacije i sadržaje i da iz takvih sadžaja koriste bilo koji deo u bilo koje svrhe, kao i pravo i dozvolu da koriste gore navedene sadržaje. Svi zaštitni znakovi (trademarks), logotipi, oznake usluga, firme ili imena proizvoda koji se pominju na ovom web sajtu su vlasništvo kojim raspolažu njihovi vlasnici.