|
Pracenje produktivnosti posetioca
Pozdrav, treba da scripta izracunava produktivnost(viewpages) za posetioce sa jednog reff-a...
E sad ja bi trebao zapisivati ip tog korisnika i koliko je on stranica pogledao u 24H ... Problem je ovde sto se ocekuje velika poseta (preko 10k uniqe u minuti) i da to zapisujem sve direktno u bazu ubilo bi je. Razmisljao sam prvo da belezim u memcache i kad istekne 24H da to iz cache ubacim u bazu, ali tu nastaje drugi problem, sto nece 100% biti tacno racunanje produktivnosti. Da li je neko slicno radio ili ima ideju kako ovo da resim a da budu svi zadovoljni? :) |
Možeš li pojasniti to viewpages, treba ti za svakog posjetioca "putanja", šta je klikao, kad i ostalo? Za koji period?
|
parsiraj serverske logove
|
webarto - treba mi tacan broj stranica koje je korisnik posetio na tom domenu u proteklih 24H. samo to, ne zanima me u koje vreme niti koliko se zadrzao..samo koliko je stranica ucitao...
ivanhoe - nije losa ideja, samo moram proveriti koliko log fajl moze da bude veliki...Ima mozda neka clasa za tako nesto? :) |
Mislim da ako se nalaziš na serveru (ili cloud) koji podržava 10k poseta u minuti da ti neće biti problem jedan INSERT upit po zahtevu? Zar ne? Ili skaliraš mysql? :)
|
Druga, jos jednostavnije varijanta je da koristis neku NoSQL bazu, tipa mongoDB. Uzasno su brze za upis posto baferuju podatke u memoriji, 10k zahteva u minuti nije nikakav problem.
A mongo je extremno jednostavan za upotrebu, i na sajtu imas primer za upotrebu mongoDB kao log sistema koji se vrlo lako da preraditi u to sto tebi treba... |
ivanhoe, to mi reci :) ja sam citao/skontao da su NoSQL baze brze/bolje za SELECT upite...al izgleda da sam krivo citao
a ovo je odlicna prilika da se oprobam u NoSQL-u :) svidja mi se :) sad se razmisljam da kombinujem mysql+mongo ili samo mongo? write bi isao u mongo a read u mysql. ...preporuka? I jel moz neko da kaze koliko mu zauzece servera sa mongo bazom i koliko otp ima posetioca? |
ovo moje nema za sad puno hitova, 10-tak u sekundi u peak periodima, ali zato server load na small instanci na EC2 sa apache-php-mongoDB setupom (prakticno bez ikakve optimizacije) retko predje 0.2.
Utvara mi kaze da na http://newscurve.com/ oni teraju node.js + mongoDB i da to razbija koliko je brzo. Pominjao je neke stotine upita u sekundi, zaboravio sam tacnu cifru, ali secam se da je zvucalo kao jako puno :) Isto tako sve na obicnom hardware-u, nikakva zver... |
@squirll: Kako misliš write u mongo a read u mysql?
|
@jablane, pa u mongo ide write i tamo sumira podatke i onda taj sum jedna cron scripta prebaci u mysql...
sta dobijem s tim...pa umesto 1000insert query-a u mysql ide jedan, i ako pukne neka baza druga moze da nastavi sa radom normalno (znaci sajt ce biti delimicno aktivan) ili da sve prebacim u mongo?A posto radim u CI-u onda moram vijati i mongo classe... |
ima smisla koristiti 2 baze ako ocekujes jak traffic da ne bi opterecivao bazu select-ima (ne znam kako tacno radi locking u mongu, trebalo bi proveriti). Ali mozda ti je lakse da repliciras monga, postoji dobra podrska za to, a mogao bi i o shardingu da razmislis...
Sto se selecta tice, ako ti ne trebaju komplikovani join-ovi mongo je sasvim jednostavan i brz, tako da sa te strane nema razloga da ga izbegavas... |
Citat:
Citat:
|
ja sam vise mislio 2 baze generalno, nebitno koje, cisto da ne pises i citas iz iste, jer te operacije smetaju jedna drugoj, a replikacija to elegantno resi
ali svakako se slazem da noSQL ima i prednosti i mana u odnosu na relacione baze, mada mnogo tih mana moze da se resi i pametnim dizajnom scheme... ali treba uvek birati alat prema konkretnoj situaciji, naravno... |
Ja sam ipak odlucio da idem na Mysql i Mongo, na mongo ce ici write i nesto selecta (tipa dal je taj user vec bio na sajtu i sl), a na mysql ce ici drugi deo, koliko je ukupno korisnik bio, koliko je procitao stranica, registracije, banovi i sl ...
Tako da necu opteretiti niti jednu bazu previse a i u slucaju da jedna ispadne iz sistema druga moze da gura sama koliko toliko ... I mozda najvaznije stvar je sto neam pojma mongo tako da ce mi biti vatreno krstenje, i strah me da ceo sajt bude na mongo. No bice vec sledeceg meseca slicnih i vecih projekata tako da mozda neki buduci bude na jednoj bazi :) Jel ima neko neki artikal da mi preporuci tip quick mongo tips i sl? :) |
ja sam samo mongodb manual citao i sasvim je dovoljno (za osnovne operacije bar, ja samo trackujem neke bannere).. umesto sql-a u klijent konzoli koristis javascript, prilicno je prosto.. ako ces iz php-a da pristupas, mi smo koristili mongo extenziju sa PECL-a, lako se instalira i metode su skoro identicne kao one u mongo js konzoli, pa je prosto...
ako hoces mogu da obesim primere kako se cita i pise iz php-a? |
video sam i ja to, ima na njihovom sajtu lepa dokumentacija , ako se neko nadje u slicnoj situaciji kao ja evo par linkova da ne trazi previse
"Konvertovanje" SQL-a u noSql http://www.mongodb.org/display/DOCS/...+Mapping+Chart PHP instalacija (upotreba PHPa i Monga ima na php manual sajtu) http://www.mongodb.org/display/DOCS/PHP+Language+Center Alternative phpmyadmina za mongo naravno http://www.mongodb.org/display/DOCS/Admin+UIs CI za Mongo http://codeigniter.com/forums/viewthread/162420/#885550 Ja sam mislio jel ima par brzih trikova za optimizaciju i na sta treba obratiti paznju i sl ... |
nisam se udubljivao u optimizaciju, nije mi trebalo, sve mi je radilo super sa fabrickim podesavanjima za moje potrebe.
Jedna fora koja dobro dodje ako radis sa brojacima (a koliko sam razumeo radis), je sto u mongu mozes jednom komandom da insertuje record i updejtujes brojac (nesto kao INSERT .. ON DUPLICATE KEY UPDATE u mysql-u, stim sto se ovde gleda ceo record, ne samo index): PHP kôd:
|
Mongo je po mom iskustvu idealan za bas takav use-case koji si napomenuo jer su write-ovi bolesno brzi, a i selectovanje ako pravilno izaberes indekse tako da ti mozda i ne treba cron.
Ono sto je meni kad sam prvi put koristio "NoSQL" bilo najneprirodnije je sto je filozofija iza njih - best effort - dakle ti mu bacis gomilu podataka a on ce se sa time snaci, ili mozda nece, nemas pojma, a ako te zanima bas jako pogledaj logove. Nema exception, integrity, bla bla Tako da ako ces ga koristit "in production" na zivom sajtu - dobro osmisli monitoring. Citat:
|
ova mongodb biblioteka za CI nema upsert opciju(mozda je posle dodam) pa sam mislio prvo select pa ako ima taj ip onda update a ako nema onda insert...e sad me brine jel bi taj jedan vise SELECT mogao da stvori problema/opterecenje?
|
nije problem toliko u opterecenju, nego sto mongo koliko ja znam nema locking, tako da postoji mala, ali potencijano nezgodna situacija da ti to pukne: uradis select, drugi zahtev upise isti taj record, ti probas da ga insertujes, to ne uspe i nisi zabelezio taj record. Zato je upsert jako kul, jer on radi atomski.
ja bih ti savetovao da jednostavno ubacis svoju podrsku za upsert direktno i da radis sa njim... pogotovo ako su perorfmanse bitne uvek treba smanjiti broj wrappera... |
Izgleda da meni mongodb nece moci uraditi to sto mi treba....
Situacija, belezim ip posetioca, preko kojeg referrala je dosao, kad je dosao i dal je prvi put a ako nije koliko je puta dosao u 24H UPSERT ovde pada jer sta ako je IP isti ali drugi reff i sl.. u prevodu nikad nemam 100% iste podatke(teoretski a u praksi imam) Ok ajd to nije problem, raspodelim ja u vise collection-a U jednoj zapisujem samo IP i referral i koliko je puta posetio stranicu, a u drugi colection belezim ostale podatke... ALI tu nastaje drugi problem, kako da znam dal je uradio update ili insert... P.S ne mogu da IP ili referral stavim UNIQE jer dolazim na ono staro..sta ako je vec ip bio a reff nije isti... |
Ne znam sto bi morao da upisujes koliko je puta dosao u 24h.
Moj predlog ti je da sve posete "trpas" u collection, a da jedan script iz crona svakih xx minuta radi obradu tih podataka i snima statistiku u drugi collection. |
Mislim da je problem u tvojoj logici, da bi to trebalo da radis ovako:
Kôd:
db.test.log.update(Pogledaj obavezno dokumentaciju za UPDATE na MongoDB sajtu, tamo sve ovo pise... imas tamo objasnjeno i kako da proveris da li se desio update() ili insert() prilikom upserta, tako da samo RTFM ;) |
@squirll A jel postoji neki razlog zasto ne mozes da koristis cookie umesto IP-ja?
Elem mongo ce ti ako se ne varam matchovati i po vise kriterujama pa mozes u drugu liniju koda koji je ivanhoe napisao da ubacis i affiliate/refferal/kao kriterijum i onda ce upsert raditi samo ako se oba poklapaju. |
nisam pisao neko vreme jer nisam hteo biti dosadan :) elem skontao sam upsert kako radi (malo cudno, tj sto je ivanhoe rekao , logika u mojoj glavi se nije bas poklapala) napravio sam upsert bas tako da trazi po vise kriterijuma i sad je ok ..
A za cookies, da koristicu i cookie ali mora i IP ... nije to samo sto sam ja ovde napisao, mnogo du stvari se racuna/pamti/pise i moram sto vise podataka o korisniku da imam... |
| Vreme je GMT +2. Trenutno vreme je 12:03. |
Powered by vBulletin® Verzija 3.6.8
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
Copyright © DevProTalk. All Rights Reserved.