DevProTalk

DevProTalk (http://www.devprotalk.com/index.php)
-   Programiranje (http://www.devprotalk.com/forumdisplay.php?f=23)
-   -   Twitter on Scala (http://www.devprotalk.com/showthread.php?t=7351)

bNasty 10. 04. 2009. 23:03

Citat:

Originalno napisao caboom (Napišite 68259)
@bNasty
ako se secam dobro, ~10k u sekundi na 3 MQ (kestrel) servera u regularnim peak-ovima i oko 4-5 puta toliko tokom npr. obamine inauguracije, ako mislis na sam message queue?

Da, upravo to. Nije nekakva strashna brojka sa stanovishta samog mq-a. Ne znam zashto tvrde da im vec postojece mq implementacije nisu zadovoljavajuce, bilo bi lepo chuti konkretne detalje.

caboom 10. 04. 2009. 23:34

mislim da su pominjali razloge u diskusiji - konkretno amq jeste prilicno trom, sa rabbitmq-om su imali probleme u disproporcionalnom broju producera vs. consumer-a (u trenucima kada krenu da se gomilaju porukice i imaju disproporciju u consumer-ima, desavalo im se da rabbitmq "pukne"), itd. - zapravo, bar sam se prilicno opekao pre 2-3 godine sa amq-om u malo ekstremnijim situacijama, ali cak na daleko manjem broju poruka u sekundi (konkretno - ~50-100 poruka u sekundi u peak-ovima, veliki broj producer-a i porukice od oko 20-40KB) - plus je bilo maltene nemoguce napraviti neki elegantniji monitoring posto bi odr. queue deadlock-ovao - ali bi ostatak queue-ova radio korektno i tako sam redom nailazio na razlicite probleme sa drugim JMS implementacijama (switfmq, mantaray, etc. etc.), tako da je pitanje sta je srecniji izbor - da li potrositi konacno vreme na tune-ovanje nekog od postojecih resenja, ili napisati nesto sto se ponasa dobro unutar okvira koji su potrebni. nemam pojma, nisam pametan - ali twitter ima veoma dobar inzenjerski tim, tako da kontam da razlozi nisu iracionalni. druga stvar je sto su mesecima bili pod izuzetnim pritiskom i sasvim sam siguran da je bar deo inzenjerskih poteza posledica toga.

ivanhoe 11. 04. 2009. 03:20

zar nije Twitter koristio starling za queue-ing ?

degojs 11. 04. 2009. 03:38

Citat:

Originalno napisao kaizen (Napišite 68242)
Ih, pa dobro sad. Ja ne osporavam korisnost statičke provere tipa, ja samo mislim da je mnogo veća i za programera značajnija dobit nepostojanja istog - mnogo manje koda, čitljivost, fleksibilnost, ...

..i mnogo veća briga prebačena na programera. Vidi primer:

Kôd:

deklaracija x;

...
Dosta šugavog ili komplikovanog koda koji je pisao neko drugi :)
Možda čak i kod koji ima bag pa x prebaci u krivi tip..
...

Kog tipa je x? Ili, npr., šta ću da dobijem kao rezultat x + 2?

Kod statičkih jezika nema mnogo dileme kog tipa je x dole, a kod dinamičkih bi morao da pregledaš kod.. zar ne?

caboom 11. 04. 2009. 04:19

Citat:

Originalno napisao ivanhoe (Napišite 68273)
zar nije Twitter koristio starling za queue-ing ?

yep - kestrel je starling-in-scala, ali su takodje ispitivali i jedan deo opensource resenja. imho - zaista razumem NIH u ovom slucaju i mogu da se identifikujem sa pricama tipa "rabbitmq se ne skalira dobro ako je broj producera dovoljno velik u odnosu na broj consumera", iako deluje kao da je ponuda message queue-ova izuzetno velika i da su fantasticno robusni, ova teza se fino urushava u odredjenim slucajevima.


Vreme je GMT +2. Trenutno vreme je 21:27.

Powered by vBulletin® Verzija 3.6.8
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
Copyright © DevProTalk. All Rights Reserved.

Mišljenja, saveti, izjave, ponude ili druge informacije ili sadržaji nastali na Sajtu su vlasništvo onoga ko ih je kreirao, a ne DevProTalk.com, tako da ne morate da se oslanjate na njih.
Autori poruka su jedini odgovorni za ovakve sadržaje. DevProTalk.com ne garantuje tačnost, kompletnost ili upotrebnu vrednost informacija, stavova, saveta ili datih izjava. Ne postoje uslovi pod kojima bi mi bili odgovorni za štetu ili gubitak koji je posledica bilo čijeg oslanjanja na nepouzdane informacije, ili bilo kakve informacije nastale kroz komunikaciju između registrovanih članova.
Web sajt može sadržavati linkove na druge web sajtove na Internetu ili neke druge sadržaje. Ne kontrolišemo niti podržavamo te druge web sajtove, niti smo pregledali bilo kakve sadržaje na takvim sajtovima. Mi nećemo biti odgovorni za legalnost, tačnost ili prikladnost bilo kog sadržaja, oglasa, proizvoda, usluga ili informacije lociranim na ili distribuiranih kroz druge web sajtove, niti za bilo kakvu štetu nastalu kao posledica takvih informacija. DevProTalk.com drži i čuva druga prava vlasništva na web sajtu. Web sajt sadrže materijale zaštićene copyright-om, zaštitne znakove i druge informacije o pravu vlasništva ili softver. Članovi mogu poslatu informacije zaštićene pravima vlasništva njihovih nosilaca i ona ostaju zaštićena bez obzira da li su oni koji prenose te informacije to naveli ili ne. Osim informacija koje su u javnom vlasništvu ili za koje dobijete dozvolu, nemate pravo da kopirate, modifikujete ili na bilo koji način menjate, objavljujete, prenosite, distribuirate, izvršavate, prikazujete ili prodajte bilo koju informaciju zaštićenu pravima vlasništva. Slanjem informacija ili sadržaja na bilo koji deo DevProTalk.com, Vi automatski dozvoljavate i predstavljate garanciju da imate pravo da dozvolite DevProTalk.com ili članovima DevProTalk.com bespovratnu, kontinualnu, neograničenu, globalnu dozvolu da koriste, kopiraju, izvršavaju, prikazuju i distribuiraju takve informacije i sadržaje i da iz takvih sadžaja koriste bilo koji deo u bilo koje svrhe, kao i pravo i dozvolu da koriste gore navedene sadržaje. Svi zaštitni znakovi (trademarks), logotipi, oznake usluga, firme ili imena proizvoda koji se pominju na ovom web sajtu su vlasništvo kojim raspolažu njihovi vlasnici.