DevProTalk

DevProTalk (http://www.devprotalk.com/index.php)
-   PHP (http://www.devprotalk.com/forumdisplay.php?f=9)
-   -   konzistentni hashing (http://www.devprotalk.com/showthread.php?t=8598)

ivanhoe 25. 03. 2010. 01:15
konzistentni hashing
 
Treba da napravim jednostavni CDN za galeriju slika, koji ce raditi tako sto ce se napraviti N domena i onda ce se na svakoj strani 1/N slika servirati sa svakog od domena, da se izbegnu ogranicenja u broju paralelnih zahteva.

Glavni problem mi je kako sto jednostavnije preslikati imena fajlova u N domena (nemam ID-jeve, nego moram ime fajla da koristim), a da pritom izmedju stranica iste slike gadjaju uvek iste domene, i kad se promeni N da se ne promene URL-ovi svim slikama, nego sto manjem broju (da bi se sto vise koristio cache u browserima).

Znam da postoji neka fora koja se zove consistent hashing, citao sam o tome vezano za memcahed, ali mi generalno nije bas bilo najjasnije kako implementirati taj neki krug po kome se ide i celu tu pricu. Jel postoji neka gotova php biblioteka za to? Ili ako nekog ne mrzi da mi pojasni kako to radi, pa da probam sam...

jablan 25. 03. 2010. 01:39
Čini mi se da je ovde dosta jasno objašnjeno:

http://www.tomkleinpeter.com/2008/03...stent-hashing/

A evo i PHP implementacije:

http://github.com/pda/flexihash

ivanhoe 25. 03. 2010. 11:59
da, ovo je mnogo bolje objasnjenje, ja sam citao neko matematicko preko konacnih polja, nista mi nije bilo jasno...

bluesman 25. 03. 2010. 14:48
Mi smo malo testirali ovu klasu, radi lepo samo ne znam da li ćeš moći da je upotrebiš za te slike ako ne želiš da se url menja. Za test smo stavili 4 servera i probali sa 10-ak slika ... sve radi lepo i stvarno je konzistentan hash.

Međutim kada smo dodali još jedan server, promenio je server za sve slike, pa recimo slika "A" koja je išla sa servera "2" sada ide sa servera "4". To nije problem ako ćeš na svakom serveru da imaš sve slike, ali ako misliš da deliš "malo ovde, malo tamo ... na svakom po malo" onda to jeste problem.

Ovo je recimo odlično rešenje za neki memcache balancer, gde ti je sve jedno sa kog će servera da pokupi key.

ivanhoe 25. 03. 2010. 15:48
imacu kopiju slika svugde (na pomocnim serverima imam skriptu koja iskopira sliku sa glavnog servera, ako je vec nema), samo mi je bitno da svaki put kad se promeni broj servera ne krene da menja putanje svim slikama.

Ako sam dobro shvatio kako to radi, ne bi trebalo da svim slikama promeni putanje (posto inace mogu da koristim i ID % N, ne treba mi cela ta zajebancija), mozda mu treba vise slika za dobro testiranje? Kad uhvatim vremena probacu petlju sa jedno 10K kljuceva pa cemo da vidimo procente...

User 25. 03. 2010. 22:54
Napisao sam mali skript i istestirao 3 metoda:

1. Flexihash sa crc32
2. Flexihash sa md5
3. $item % count ($servers) ["plain"]

Pocetno stanje: 5 servera i 10001 element, a nakon toga dodao 1 server i uporedio nizove:

Prvi broj je broj elemenata koji se ne nalaze na trazenom serveru nakon promene
Drugi broj predstavlja prethodni broj elemenata na serveru
Treci broj predstavlja novi broj elemenata na serveru

server[0]['crc32']: 0 [2214 - 1728]
server[0]['md5']: 0 [2019 - 1649]
server[0]['plain']: 1333 [2001 - 1667]

server[1]['crc32']: 0 [1701 - 1283]
server[1]['md5']: 0 [1731 - 1387]
server[1]['plain']: 1333 [2000 - 1667]

server[2]['crc32']: 0 [1548 - 1434]
server[2]['md5']: 0 [1983 - 1726]
server[2]['plain']: 1333 [2000 - 1667]

server[3]['crc32']: 0 [2888 - 2530]
server[3]['md5']: 30 [1972 - 1612]
server[3]['plain']: 1333 [2000 - 1667]

server[4]['crc32']: 0 [1650 - 1476]
server[4]['md5']: 0 [2296 - 2091]
server[4]['plain']: 1333 [2000 - 1667]

server[5]['crc32']: 1550 [0 - 1550]
server[5]['md5']: 1536 [0 - 1536]
server[5]['plain']: 1666 [0 - 1666]

Jedino je md5 hash imao kiks nakon promene i to na trecem serveru (nedostaje 30 elemenata).
Zakljucak je da sistem funkcionise onako kako se ocekuje.

Potom sam izbacio server br 4 i evo kako je Flexihash balansirao (u odnosu na situaciju sa 6 servera):

server[0]['crc32']: 937 [1728 - 2665]
server[0]['md5']: 651 [1649 - 2300]

server[1]['crc32']: 25 [1283 - 1308]
server[1]['md5']: 338 [1387 - 1725]

server[2]['crc32']: 212 [1434 - 1646]
server[2]['md5']: 493 [1726 - 2219]

server[3]['crc32']: 76 [2530 - 2606]
server[3]['md5']: 244 [1612 - 1856]

server[5]['crc32']: 226 [1550 - 1776]
server[5]['md5']: 365 [1536 - 1901]

ivanhoe 26. 03. 2010. 00:45
po onom sto sam citao trebalo da bi da je razlika jos drasticnija kad se poveca broj servera...

Inace, ovo je odlicno, posto me ispadanje servera ne brine mnogo, ako se to desi slike nece biti dostupne dok se ne restartuje server. Mnogo mi je bitnije ako krene jak saobracaj pa moramo da ubacimo jos servera da ne nastane haos.


Vreme je GMT +2. Trenutno vreme je 18:51.

Powered by vBulletin® Verzija 3.6.8
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
Copyright © DevProTalk. All Rights Reserved.

Mišljenja, saveti, izjave, ponude ili druge informacije ili sadržaji nastali na Sajtu su vlasništvo onoga ko ih je kreirao, a ne DevProTalk.com, tako da ne morate da se oslanjate na njih.
Autori poruka su jedini odgovorni za ovakve sadržaje. DevProTalk.com ne garantuje tačnost, kompletnost ili upotrebnu vrednost informacija, stavova, saveta ili datih izjava. Ne postoje uslovi pod kojima bi mi bili odgovorni za štetu ili gubitak koji je posledica bilo čijeg oslanjanja na nepouzdane informacije, ili bilo kakve informacije nastale kroz komunikaciju između registrovanih članova.
Web sajt može sadržavati linkove na druge web sajtove na Internetu ili neke druge sadržaje. Ne kontrolišemo niti podržavamo te druge web sajtove, niti smo pregledali bilo kakve sadržaje na takvim sajtovima. Mi nećemo biti odgovorni za legalnost, tačnost ili prikladnost bilo kog sadržaja, oglasa, proizvoda, usluga ili informacije lociranim na ili distribuiranih kroz druge web sajtove, niti za bilo kakvu štetu nastalu kao posledica takvih informacija. DevProTalk.com drži i čuva druga prava vlasništva na web sajtu. Web sajt sadrže materijale zaštićene copyright-om, zaštitne znakove i druge informacije o pravu vlasništva ili softver. Članovi mogu poslatu informacije zaštićene pravima vlasništva njihovih nosilaca i ona ostaju zaštićena bez obzira da li su oni koji prenose te informacije to naveli ili ne. Osim informacija koje su u javnom vlasništvu ili za koje dobijete dozvolu, nemate pravo da kopirate, modifikujete ili na bilo koji način menjate, objavljujete, prenosite, distribuirate, izvršavate, prikazujete ili prodajte bilo koju informaciju zaštićenu pravima vlasništva. Slanjem informacija ili sadržaja na bilo koji deo DevProTalk.com, Vi automatski dozvoljavate i predstavljate garanciju da imate pravo da dozvolite DevProTalk.com ili članovima DevProTalk.com bespovratnu, kontinualnu, neograničenu, globalnu dozvolu da koriste, kopiraju, izvršavaju, prikazuju i distribuiraju takve informacije i sadržaje i da iz takvih sadžaja koriste bilo koji deo u bilo koje svrhe, kao i pravo i dozvolu da koriste gore navedene sadržaje. Svi zaštitni znakovi (trademarks), logotipi, oznake usluga, firme ili imena proizvoda koji se pominju na ovom web sajtu su vlasništvo kojim raspolažu njihovi vlasnici.