u doba kad se mnogo crawl-ovalo dobijem ja "brilijantnu" ideju da saw raw data koji generisu crawleri strpam u folder strukturu tipa aa/aa/aaaade4566547576867.txt
gde je ovaj filename md5 od url-a...
za write se pokazalo fenomenalno.. performanse izvanredne...
takodje za read/delete jednog elementa je ultra fast..
ALI, kada je trebalo obrisati, ili nedaj boze tarovati celu strukturu....
(tamo negde posle par miliona upisa) uf, to je znalo da traje bas dugo.
Tako da je to
mozda ok resenje za slike - tamo ces tesko imati brisanje/pomeranje cele strukture, medjutim backup i brisanje moze da bude prilichno zajebana rabota...
takodje ne znam kako bi se rsync izborio sa sinhronizacijom tolike strukture, a i mene to trenutno zanima...