DevProTalk

Forumi IT profesionalaca
web development, web design, e-business, SEO


Idite nazad   DevProTalk > Web development i web aplikacije > PHP
Želite da se reklamirate ekskluzivno na ovoj poziciji? Javite se

PHP PHP aplikacije, Smarty, PEAR

Odgovori
 
Alati teme Način prikaza
Staro 25. 03. 2010.   #1
ivanhoe
Ivan Dilber
Sir Write-a-Lot
 
Avatar ivanhoe
 
Datum učlanjenja: 18.10.2005
Lokacija: Bgd
Poruke: 5.320
Hvala: 104
2.344 "Hvala" u 583 poruka
ivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svima
Pošaljite poruku preko Skype™ za ivanhoe
Default konzistentni hashing

Treba da napravim jednostavni CDN za galeriju slika, koji ce raditi tako sto ce se napraviti N domena i onda ce se na svakoj strani 1/N slika servirati sa svakog od domena, da se izbegnu ogranicenja u broju paralelnih zahteva.

Glavni problem mi je kako sto jednostavnije preslikati imena fajlova u N domena (nemam ID-jeve, nego moram ime fajla da koristim), a da pritom izmedju stranica iste slike gadjaju uvek iste domene, i kad se promeni N da se ne promene URL-ovi svim slikama, nego sto manjem broju (da bi se sto vise koristio cache u browserima).

Znam da postoji neka fora koja se zove consistent hashing, citao sam o tome vezano za memcahed, ali mi generalno nije bas bilo najjasnije kako implementirati taj neki krug po kome se ide i celu tu pricu. Jel postoji neka gotova php biblioteka za to? Ili ako nekog ne mrzi da mi pojasni kako to radi, pa da probam sam...
__________________
Leadership is the art of getting people to want to do what you know must be done.
ivanhoe je offline   Odgovorite uz citat
Staro 25. 03. 2010.   #2
jablan
VD IT Direktora
Invented the damn thing
 
Avatar jablan
 
Datum učlanjenja: 08.06.2005
Lokacija: Beograd
Poruke: 2.118
Hvala: 503
1.307 "Hvala" u 282 poruka
jablan je pravi dragi kamenjablan je pravi dragi kamenjablan je pravi dragi kamenjablan je pravi dragi kamenjablan je pravi dragi kamenjablan je pravi dragi kamenjablan je pravi dragi kamenjablan je pravi dragi kamenjablan je pravi dragi kamenjablan je pravi dragi kamen
Default

Čini mi se da je ovde dosta jasno objašnjeno:

http://www.tomkleinpeter.com/2008/03...stent-hashing/

A evo i PHP implementacije:

http://github.com/pda/flexihash
__________________
blog

Poslednja izmena od jablan : 25. 03. 2010. u 02:44.
jablan je offline   Odgovorite uz citat
2 članova zahvaljuje jablan za poruku:
Staro 25. 03. 2010.   #3
ivanhoe
Ivan Dilber
Sir Write-a-Lot
 
Avatar ivanhoe
 
Datum učlanjenja: 18.10.2005
Lokacija: Bgd
Poruke: 5.320
Hvala: 104
2.344 "Hvala" u 583 poruka
ivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svima
Pošaljite poruku preko Skype™ za ivanhoe
Default

da, ovo je mnogo bolje objasnjenje, ja sam citao neko matematicko preko konacnih polja, nista mi nije bilo jasno...
__________________
Leadership is the art of getting people to want to do what you know must be done.
ivanhoe je offline   Odgovorite uz citat
Staro 25. 03. 2010.   #4
bluesman
Goran Pilipović
Sir Write-a-Lot
 
Avatar bluesman
 
Datum učlanjenja: 18.05.2005
Lokacija: Beograd
Poruke: 5.450
Hvala: 288
1.247 "Hvala" u 446 poruka
bluesman je osoba koju treba slušatibluesman je osoba koju treba slušatibluesman je osoba koju treba slušatibluesman je osoba koju treba slušatibluesman je osoba koju treba slušatibluesman je osoba koju treba slušatibluesman je osoba koju treba slušatibluesman je osoba koju treba slušatibluesman je osoba koju treba slušati
Pošaljite ICQ poruku za bluesman
Default

Mi smo malo testirali ovu klasu, radi lepo samo ne znam da li ćeš moći da je upotrebiš za te slike ako ne želiš da se url menja. Za test smo stavili 4 servera i probali sa 10-ak slika ... sve radi lepo i stvarno je konzistentan hash.

Međutim kada smo dodali još jedan server, promenio je server za sve slike, pa recimo slika "A" koja je išla sa servera "2" sada ide sa servera "4". To nije problem ako ćeš na svakom serveru da imaš sve slike, ali ako misliš da deliš "malo ovde, malo tamo ... na svakom po malo" onda to jeste problem.

Ovo je recimo odlično rešenje za neki memcache balancer, gde ti je sve jedno sa kog će servera da pokupi key.
__________________
Goran Pilipović a.k.a. Ugly Fingers Bradley f.k.a. bluesman
I don't always know what I'm talking about but I know I'm right!
bluesman je offline   Odgovorite uz citat
Staro 25. 03. 2010.   #5
ivanhoe
Ivan Dilber
Sir Write-a-Lot
 
Avatar ivanhoe
 
Datum učlanjenja: 18.10.2005
Lokacija: Bgd
Poruke: 5.320
Hvala: 104
2.344 "Hvala" u 583 poruka
ivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svima
Pošaljite poruku preko Skype™ za ivanhoe
Default

imacu kopiju slika svugde (na pomocnim serverima imam skriptu koja iskopira sliku sa glavnog servera, ako je vec nema), samo mi je bitno da svaki put kad se promeni broj servera ne krene da menja putanje svim slikama.

Ako sam dobro shvatio kako to radi, ne bi trebalo da svim slikama promeni putanje (posto inace mogu da koristim i ID % N, ne treba mi cela ta zajebancija), mozda mu treba vise slika za dobro testiranje? Kad uhvatim vremena probacu petlju sa jedno 10K kljuceva pa cemo da vidimo procente...
__________________
Leadership is the art of getting people to want to do what you know must be done.

Poslednja izmena od ivanhoe : 25. 03. 2010. u 16:51.
ivanhoe je offline   Odgovorite uz citat
Staro 25. 03. 2010.   #6
User
novi član
Na probnom radu
 
Avatar User
 
Datum učlanjenja: 04.11.2006
Lokacija: Beograd
Poruke: 22
Hvala: 5
9 "Hvala" u 5 poruka
User is on a distinguished road
Default

Napisao sam mali skript i istestirao 3 metoda:

1. Flexihash sa crc32
2. Flexihash sa md5
3. $item % count ($servers) ["plain"]

Pocetno stanje: 5 servera i 10001 element, a nakon toga dodao 1 server i uporedio nizove:

Prvi broj je broj elemenata koji se ne nalaze na trazenom serveru nakon promene
Drugi broj predstavlja prethodni broj elemenata na serveru
Treci broj predstavlja novi broj elemenata na serveru

server[0]['crc32']: 0 [2214 - 1728]
server[0]['md5']: 0 [2019 - 1649]
server[0]['plain']: 1333 [2001 - 1667]

server[1]['crc32']: 0 [1701 - 1283]
server[1]['md5']: 0 [1731 - 1387]
server[1]['plain']: 1333 [2000 - 1667]

server[2]['crc32']: 0 [1548 - 1434]
server[2]['md5']: 0 [1983 - 1726]
server[2]['plain']: 1333 [2000 - 1667]

server[3]['crc32']: 0 [2888 - 2530]
server[3]['md5']: 30 [1972 - 1612]
server[3]['plain']: 1333 [2000 - 1667]

server[4]['crc32']: 0 [1650 - 1476]
server[4]['md5']: 0 [2296 - 2091]
server[4]['plain']: 1333 [2000 - 1667]

server[5]['crc32']: 1550 [0 - 1550]
server[5]['md5']: 1536 [0 - 1536]
server[5]['plain']: 1666 [0 - 1666]

Jedino je md5 hash imao kiks nakon promene i to na trecem serveru (nedostaje 30 elemenata).
Zakljucak je da sistem funkcionise onako kako se ocekuje.

Potom sam izbacio server br 4 i evo kako je Flexihash balansirao (u odnosu na situaciju sa 6 servera):

server[0]['crc32']: 937 [1728 - 2665]
server[0]['md5']: 651 [1649 - 2300]

server[1]['crc32']: 25 [1283 - 1308]
server[1]['md5']: 338 [1387 - 1725]

server[2]['crc32']: 212 [1434 - 1646]
server[2]['md5']: 493 [1726 - 2219]

server[3]['crc32']: 76 [2530 - 2606]
server[3]['md5']: 244 [1612 - 1856]

server[5]['crc32']: 226 [1550 - 1776]
server[5]['md5']: 365 [1536 - 1901]
User je offline   Odgovorite uz citat
"Hvala" User za poruku:
Staro 26. 03. 2010.   #7
ivanhoe
Ivan Dilber
Sir Write-a-Lot
 
Avatar ivanhoe
 
Datum učlanjenja: 18.10.2005
Lokacija: Bgd
Poruke: 5.320
Hvala: 104
2.344 "Hvala" u 583 poruka
ivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svima
Pošaljite poruku preko Skype™ za ivanhoe
Default

po onom sto sam citao trebalo da bi da je razlika jos drasticnija kad se poveca broj servera...

Inace, ovo je odlicno, posto me ispadanje servera ne brine mnogo, ako se to desi slike nece biti dostupne dok se ne restartuje server. Mnogo mi je bitnije ako krene jak saobracaj pa moramo da ubacimo jos servera da ne nastane haos.
__________________
Leadership is the art of getting people to want to do what you know must be done.
ivanhoe je offline   Odgovorite uz citat
Odgovori


Alati teme
Način prikaza

Pravila pisanja
Možete ne započinjati nove teme
Možete ne slati odgovore
Možete ne slati priloge
Možete ne izmeniti svoje poruke
vB kôd je Uključen
Smajliji su Uključen
[IMG] kod je Uključen
HTML kôd je Isključen
Pogledajte forum


Vreme je GMT +2. Trenutno vreme je 20:46.


Powered by vBulletin® Verzija 3.6.8
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
Copyright © DevProTalk. All Rights Reserved.
Mišljenja, saveti, izjave, ponude ili druge informacije ili sadržaji nastali na Sajtu su vlasništvo onoga ko ih je kreirao, a ne DevProTalk.com, tako da ne morate da se oslanjate na njih.
Autori poruka su jedini odgovorni za ovakve sadržaje. DevProTalk.com ne garantuje tačnost, kompletnost ili upotrebnu vrednost informacija, stavova, saveta ili datih izjava. Ne postoje uslovi pod kojima bi mi bili odgovorni za štetu ili gubitak koji je posledica bilo čijeg oslanjanja na nepouzdane informacije, ili bilo kakve informacije nastale kroz komunikaciju između registrovanih članova.
Web sajt može sadržavati linkove na druge web sajtove na Internetu ili neke druge sadržaje. Ne kontrolišemo niti podržavamo te druge web sajtove, niti smo pregledali bilo kakve sadržaje na takvim sajtovima. Mi nećemo biti odgovorni za legalnost, tačnost ili prikladnost bilo kog sadržaja, oglasa, proizvoda, usluga ili informacije lociranim na ili distribuiranih kroz druge web sajtove, niti za bilo kakvu štetu nastalu kao posledica takvih informacija. DevProTalk.com drži i čuva druga prava vlasništva na web sajtu. Web sajt sadrže materijale zaštićene copyright-om, zaštitne znakove i druge informacije o pravu vlasništva ili softver. Članovi mogu poslatu informacije zaštićene pravima vlasništva njihovih nosilaca i ona ostaju zaštićena bez obzira da li su oni koji prenose te informacije to naveli ili ne. Osim informacija koje su u javnom vlasništvu ili za koje dobijete dozvolu, nemate pravo da kopirate, modifikujete ili na bilo koji način menjate, objavljujete, prenosite, distribuirate, izvršavate, prikazujete ili prodajte bilo koju informaciju zaštićenu pravima vlasništva. Slanjem informacija ili sadržaja na bilo koji deo DevProTalk.com, Vi automatski dozvoljavate i predstavljate garanciju da imate pravo da dozvolite DevProTalk.com ili članovima DevProTalk.com bespovratnu, kontinualnu, neograničenu, globalnu dozvolu da koriste, kopiraju, izvršavaju, prikazuju i distribuiraju takve informacije i sadržaje i da iz takvih sadžaja koriste bilo koji deo u bilo koje svrhe, kao i pravo i dozvolu da koriste gore navedene sadržaje. Svi zaštitni znakovi (trademarks), logotipi, oznake usluga, firme ili imena proizvoda koji se pominju na ovom web sajtu su vlasništvo kojim raspolažu njihovi vlasnici.