|
25. 03. 2010. | #1 |
Ivan Dilber
Sir Write-a-Lot
|
konzistentni hashing
Treba da napravim jednostavni CDN za galeriju slika, koji ce raditi tako sto ce se napraviti N domena i onda ce se na svakoj strani 1/N slika servirati sa svakog od domena, da se izbegnu ogranicenja u broju paralelnih zahteva.
Glavni problem mi je kako sto jednostavnije preslikati imena fajlova u N domena (nemam ID-jeve, nego moram ime fajla da koristim), a da pritom izmedju stranica iste slike gadjaju uvek iste domene, i kad se promeni N da se ne promene URL-ovi svim slikama, nego sto manjem broju (da bi se sto vise koristio cache u browserima). Znam da postoji neka fora koja se zove consistent hashing, citao sam o tome vezano za memcahed, ali mi generalno nije bas bilo najjasnije kako implementirati taj neki krug po kome se ide i celu tu pricu. Jel postoji neka gotova php biblioteka za to? Ili ako nekog ne mrzi da mi pojasni kako to radi, pa da probam sam...
__________________
Leadership is the art of getting people to want to do what you know must be done. |
25. 03. 2010. | #2 |
VD IT Direktora
Invented the damn thing
Datum učlanjenja: 08.06.2005
Lokacija: Beograd
Poruke: 2.118
Hvala: 503
1.307 "Hvala" u 282 poruka
|
Čini mi se da je ovde dosta jasno objašnjeno:
http://www.tomkleinpeter.com/2008/03...stent-hashing/ A evo i PHP implementacije: http://github.com/pda/flexihash
__________________
blog Poslednja izmena od jablan : 25. 03. 2010. u 02:44. |
2 članova zahvaljuje jablan za poruku: |
25. 03. 2010. | #3 |
Ivan Dilber
Sir Write-a-Lot
|
da, ovo je mnogo bolje objasnjenje, ja sam citao neko matematicko preko konacnih polja, nista mi nije bilo jasno...
__________________
Leadership is the art of getting people to want to do what you know must be done. |
25. 03. 2010. | #4 |
Goran Pilipović
Sir Write-a-Lot
|
Mi smo malo testirali ovu klasu, radi lepo samo ne znam da li ćeš moći da je upotrebiš za te slike ako ne želiš da se url menja. Za test smo stavili 4 servera i probali sa 10-ak slika ... sve radi lepo i stvarno je konzistentan hash.
Međutim kada smo dodali još jedan server, promenio je server za sve slike, pa recimo slika "A" koja je išla sa servera "2" sada ide sa servera "4". To nije problem ako ćeš na svakom serveru da imaš sve slike, ali ako misliš da deliš "malo ovde, malo tamo ... na svakom po malo" onda to jeste problem. Ovo je recimo odlično rešenje za neki memcache balancer, gde ti je sve jedno sa kog će servera da pokupi key.
__________________
Goran Pilipović a.k.a. Ugly Fingers Bradley f.k.a. bluesman I don't always know what I'm talking about but I know I'm right! |
25. 03. 2010. | #5 |
Ivan Dilber
Sir Write-a-Lot
|
imacu kopiju slika svugde (na pomocnim serverima imam skriptu koja iskopira sliku sa glavnog servera, ako je vec nema), samo mi je bitno da svaki put kad se promeni broj servera ne krene da menja putanje svim slikama.
Ako sam dobro shvatio kako to radi, ne bi trebalo da svim slikama promeni putanje (posto inace mogu da koristim i ID % N, ne treba mi cela ta zajebancija), mozda mu treba vise slika za dobro testiranje? Kad uhvatim vremena probacu petlju sa jedno 10K kljuceva pa cemo da vidimo procente...
__________________
Leadership is the art of getting people to want to do what you know must be done. Poslednja izmena od ivanhoe : 25. 03. 2010. u 16:51. |
25. 03. 2010. | #6 |
novi član
Na probnom radu
Datum učlanjenja: 04.11.2006
Lokacija: Beograd
Poruke: 22
Hvala: 5
9 "Hvala" u 5 poruka
|
Napisao sam mali skript i istestirao 3 metoda:
1. Flexihash sa crc32 2. Flexihash sa md5 3. $item % count ($servers) ["plain"] Pocetno stanje: 5 servera i 10001 element, a nakon toga dodao 1 server i uporedio nizove: Prvi broj je broj elemenata koji se ne nalaze na trazenom serveru nakon promene Drugi broj predstavlja prethodni broj elemenata na serveru Treci broj predstavlja novi broj elemenata na serveru server[0]['crc32']: 0 [2214 - 1728] server[0]['md5']: 0 [2019 - 1649] server[0]['plain']: 1333 [2001 - 1667] server[1]['crc32']: 0 [1701 - 1283] server[1]['md5']: 0 [1731 - 1387] server[1]['plain']: 1333 [2000 - 1667] server[2]['crc32']: 0 [1548 - 1434] server[2]['md5']: 0 [1983 - 1726] server[2]['plain']: 1333 [2000 - 1667] server[3]['crc32']: 0 [2888 - 2530] server[3]['md5']: 30 [1972 - 1612] server[3]['plain']: 1333 [2000 - 1667] server[4]['crc32']: 0 [1650 - 1476] server[4]['md5']: 0 [2296 - 2091] server[4]['plain']: 1333 [2000 - 1667] server[5]['crc32']: 1550 [0 - 1550] server[5]['md5']: 1536 [0 - 1536] server[5]['plain']: 1666 [0 - 1666] Jedino je md5 hash imao kiks nakon promene i to na trecem serveru (nedostaje 30 elemenata). Zakljucak je da sistem funkcionise onako kako se ocekuje. Potom sam izbacio server br 4 i evo kako je Flexihash balansirao (u odnosu na situaciju sa 6 servera): server[0]['crc32']: 937 [1728 - 2665] server[0]['md5']: 651 [1649 - 2300] server[1]['crc32']: 25 [1283 - 1308] server[1]['md5']: 338 [1387 - 1725] server[2]['crc32']: 212 [1434 - 1646] server[2]['md5']: 493 [1726 - 2219] server[3]['crc32']: 76 [2530 - 2606] server[3]['md5']: 244 [1612 - 1856] server[5]['crc32']: 226 [1550 - 1776] server[5]['md5']: 365 [1536 - 1901] |
"Hvala" User za poruku: |
26. 03. 2010. | #7 |
Ivan Dilber
Sir Write-a-Lot
|
po onom sto sam citao trebalo da bi da je razlika jos drasticnija kad se poveca broj servera...
Inace, ovo je odlicno, posto me ispadanje servera ne brine mnogo, ako se to desi slike nece biti dostupne dok se ne restartuje server. Mnogo mi je bitnije ako krene jak saobracaj pa moramo da ubacimo jos servera da ne nastane haos.
__________________
Leadership is the art of getting people to want to do what you know must be done. |
|
|