Pracenje produktivnosti posetioca

[squirll]

Pozdrav, treba da scripta izracunava produktivnost(viewpages) za posetioce sa jednog reff-a...
E sad ja bi trebao zapisivati ip tog korisnika i koliko je on stranica pogledao u 24H ...
Problem je ovde sto se ocekuje velika poseta (preko 10k uniqe u minuti) i da to zapisujem sve direktno u bazu ubilo bi je.
Razmisljao sam prvo da belezim u memcache i kad istekne 24H da to iz cache ubacim u bazu, ali tu nastaje drugi problem, sto nece 100% biti tacno racunanje produktivnosti.

Da li je neko slicno radio ili ima ideju kako ovo da resim a da budu svi zadovoljni?

[webarto]

Možeš li pojasniti to viewpages, treba ti za svakog posjetioca "putanja", šta je klikao, kad i ostalo? Za koji period?

[ivanhoe]

parsiraj serverske logove

[squirll]

webarto - treba mi tacan broj stranica koje je korisnik posetio na tom domenu u proteklih 24H. samo to, ne zanima me u koje vreme niti koliko se zadrzao..samo koliko je stranica ucitao...

ivanhoe - nije losa ideja, samo moram proveriti koliko log fajl moze da bude veliki...Ima mozda neka clasa za tako nesto?

[salebab]

Mislim da ako se nalaziš na serveru (ili cloud) koji podržava 10k poseta u minuti da ti neće biti problem jedan INSERT upit po zahtevu? Zar ne? Ili skaliraš mysql?

[ivanhoe]

Druga, jos jednostavnije varijanta je da koristis neku NoSQL bazu, tipa mongoDB. Uzasno su brze za upis posto baferuju podatke u memoriji, 10k zahteva u minuti nije nikakav problem.

A mongo je extremno jednostavan za upotrebu, i na sajtu imas primer za upotrebu mongoDB kao log sistema koji se vrlo lako da preraditi u to sto tebi treba...

[squirll]

ivanhoe, to mi reci ja sam citao/skontao da su NoSQL baze brze/bolje za SELECT upite...al izgleda da sam krivo citao
a ovo je odlicna prilika da se oprobam u NoSQL-u svidja mi se

sad se razmisljam da kombinujem mysql+mongo ili samo mongo? write bi isao u mongo a read u mysql. ...preporuka?
I jel moz neko da kaze koliko mu zauzece servera sa mongo bazom i koliko otp ima posetioca?

[ivanhoe]

ovo moje nema za sad puno hitova, 10-tak u sekundi u peak periodima, ali zato server load na small instanci na EC2 sa apache-php-mongoDB setupom (prakticno bez ikakve optimizacije) retko predje 0.2.

Utvara mi kaze da na http://newscurve.com/ oni teraju node.js + mongoDB i da to razbija koliko je brzo. Pominjao je neke stotine upita u sekundi, zaboravio sam tacnu cifru, ali secam se da je zvucalo kao jako puno Isto tako sve na obicnom hardware-u, nikakva zver...

[jablan]

@squirll: Kako misliš write u mongo a read u mysql?

[squirll]

@jablane, pa u mongo ide write i tamo sumira podatke i onda taj sum jedna cron scripta prebaci u mysql...
sta dobijem s tim...pa umesto 1000insert query-a u mysql ide jedan, i ako pukne neka baza druga moze da nastavi sa radom normalno (znaci sajt ce biti delimicno aktivan)

ili da sve prebacim u mongo?A posto radim u CI-u onda moram vijati i mongo classe...