Par milijuna fajlova na WS2008 R2 & IIS7.5

[dee]

Pozdrav,

ima li tko real-life iskustva sa par milijuna fajlova (5-10) velicine 0 - 100kb koji trebaju bit sluzeni kroz IIS 7.5?
glavna briga mi je kako file system reagira na toliki broj fajlova i sto napraviti da to radi kako treba?

tnx

[Gruja]

Ne znam kakvi su limiti za celokupan fajl sistem, ali na NTFS-u kad imaš preko par desetina hiljada fajlova u jednom folderu sve se drastično usporava. Tako da će u najmanju ruku morati da se deli po folderima.

[robi-bobi]

imase neka tema ovde, bas o tome

uglavnom - nailazio sam na nekoliko nacina podele fajlova

dele se na foldere, tipa: svi fajlovi cija imena pocinju na 'aa', isu u folder aa, oni cija imena pocinju na 'ab' idu u folder ab

druga varijanta je po datumu, ili po md5 od imena (ili fajla)

u svakom slucaju, moras ih podeliti u foldere, ko sto rece Gruja

[dee]

da, dijelit ce se na foldere u svakom slucaju.
moja dilema je zapravo, je li broj fajlova po folderu jedina stvar koja usporava ili treba na jos nesto obratiti paznju? (uzimajuci u obzir da sam daleko od limita per volume sto je na NTFSu par milijardi)

[Gruja]

U ovakvim situacijama, ako postoji nešto rizično što može ceo projekat da dovede u pitanje, nije loša ideja testirati to na početku. Napraviš mali programčić koji će da napravi par miliona fajlova i onda vidiš u praksi šta se dešava baš na takvom setupu koji će kasnije biti u produkciji. Izmišljam sad - možda su u IIS 7.5 uveli neko keširanje fajlova koje ne može da se isključi a koje će da pojede par GB memorije za par miliona fajlova? Ne verujem da ćeš naleteti baš na takav problem, ali uvek može nešto neočekivano da se desi kad radiš nestandardne stvari. Porede toga, kad već napraviš takav programčić lako je testirati da li se bolje ponaša 1000 foldera sa 10000 fajlova, ili 100 foldera od kojih svaki ima 100 podfoldera sa po 1000 fajlova ili nešto treće.