Sotware za statističku analizu (uglavnom vremenskih nizova)
Imam želju (ideju), za osobno potrebe, da napravim alat ili skup alata s kojima bih mogao analizirati i vizualno (uz pomoć raznih grafova) prikazivati podatke iz vremenskih nizova (jedan stupac je vrijeme, a drugi je nekakva vrijednost(uglavnom cijena)).
Moja prva ideja je bila da sve podatke strpam u tablicu (bazu) i pomoću SQL-a vadim sirove podatke (SELECT * FROM table). Uzmem Python (ili R) za obradu podataka, te poslje koristim neki alata za grafikone (npr. gnuplot) Od ove ideje sam odustao iz više razloga: - jer ne znam R, neznam ga kao jezik, a ni ne znam koliko bi bio dobar za moje potrebe - u Python bi trebao dosta pisati - vidio da i SQL mi može koristiti za nekakve statistike (npr. min, max, avg, cijena po mjesecu, godini... -> što bio više kodiranja u pythonu) U mom postu http://www.devprotalk.com/t10362-kak...a-u-mysql.html se vidi da sam tu već došao do nekakvih problema, ali je ipak nekako riješen. Onda sam htio izračunati MEDIAN, ali MySQL ga nema, ali ipak postoji http://mysql-udf.sourceforge.net/. Ali mučenje oko kompajliranje, mi se čini previše. Pogotovo jer bih htio računati i MOD i INTERKVARTILE, itd. A za to bi morao sam pisati svoje "User Defined Functions" i nekako mi se to čini kao prevelika muka. Ono što me zanima je da li mi netko može dati nekakav savjet kako da si malo život olakšam. Trenutno radim sa SQL (u kojem pišem upite), a BIRT (java eclipse) koristim za prikaz grafikona. Čak mi pada napamet da možda sa SQL-om vadim podatke, stavljam ih u excel, pa u excelu radim obrade i prikaz. Znači ako tko ima kakav savjet, dobrodošao je. Hvala |
Kako stojiš sa PHP-om? Pomoću njega možeš vrlo lako da radiš obradu a ima i jako lepe klase za pravljenje grafikona.
|
Citat:
- Baza -> tu se nalaze podaci - Neki programski jezik -> služi za obradu, transformaciju podataka - neka klasa, alat -> za prikaz na grafikon Meni nije problem da li će mi korak između biti PHP, Python, R ili neki drugi jezik. R sam spomenio jer sam čuo da je on baš za statističke analize dobar. Problem sa PHP (Pythonom, ili nešto treće) je sljedeća. Jednostavna stvar kao što je ova u SQL-u: Kôd:
SELECT U PHP ili nešto treće trebalo bi i po sat vremena. Jer bi morao proći kroz svaki red, pa imati logiku da kužim godine, mjesece, pa da ih grupiram, računa prosjek, pa brojač itd. Ono što bih ja želio je imati alate, kod kojih ću sa minimalno utrošenog vremena dobiti rezultat. SQL mi je ko super za te stvari (upit se napiše jako brzo), samo je mana što nema sve funkcije koje su mi potrebne. Možda bi mogao pisati storane procedure za te kompliciranje stvari ? |
Citat:
|
^ Da elaboriram i ujedno odgovorim na PP...
Citat:
Ako ti treba veća sloboda (po cenu više posla), uzmeš Python, on ima dobre numeričke (a verujem i statističke) biblioteke, proveren je jezik. PHP u celoj priči nema šta da traži, osim po principu "imam čekić, ergo sve oko mene je ekser". |
Bilo bi najbolje (u što sumljam da će se dogoditi), kada bi bio netko tko je ovakvo što već napravio, pa im on rekao radili smo tako i tako, i imali ovakve i ovakve probleme, da krećem iz početka uradio bi to i to.
Jer velika je razlika da li netko govori iz osobno, tuđeg ili onoga što je pročitao po netu. Zato sam te na PP pitao da li si imao iskustva sa R ili ne. Ja osobno znam samo jednu osobu koja ima nešto iskustva sa R. Kada sam ga pitao za savjet u vezi ovoga moga, on mi je odgovorio da dosta toga bi morao sam programirati, možda je bio u krivu. Kada sam ga pitao čemu on koristi taj R, rekao mi je za analizu ženinih menstrualnih ciklusa (toliko o tome koliko ga on ozbiljno koristi :1046: ) Citat:
Citat:
Pošto R zahtijeva vrijeme za učenje, a nisam ni siguran da li bi riješio moje zahtijeve, zato nisam bio voljan odmah uhvati knjigu u ruke i čitati. Iako mi se čini da ču krenuti tim putem. Citat:
Usput SQL upiti sa MySQL Workbench, pa malo wordpad 's/./,/g', pa copy/paste excel, pa malo izračun ručno, pa chart/pivot, nije tako loše, dobijem što mi treba. Mana je što mi za svaki izvještaj treba po 30 min, a ako hoću nešto promjeniti opet potrošiti 30 min, zato bih htio to sve napraviti automatski da samo unesem parametre i nakon par sekundi sve gotovo. |
Matlab, on je smisljen (izmedju ostalog) za to i imas 2 miliona statistickih boxova/funkcija koje samo treba da ukljucis... dok god nisi izmislio novi matematicki model, nego samo koristis nesto postojece, i naravno ako ne simuliras nastajanje kosmosa, matlab razbija...
|
Citat:
Python je jezik opšte namene, tako da je upoređivati ga sa R-om malo mešanje baba i žaba. A Matlab je, sa druge strane, moćan komercijalni paket, sigurno bi ti i on završio posao, ako ti odgovara taj ekosistem. |
Pozdrav Misko,
Ne treba Vam nista drugo do SPSS-a. R je dobar, ali zahteva programerski "pristup". I Access je odlican, ali cini mi se da ima ogranicenje na broj redova u bazi. Ja sam imao po 13M redova, i to Access nije mogao da odradi. Ali da je odlican za grafove - jeste. SPSS - topla preporuka. Samo ga probajte, necete se pokajati. Sto se web alata za analizu veceg broja podataka tice...to bi i ja voleo da vidim, pa ako nadjete nesto - javite. |
A i Excel ume da uradi jako puno toga
|
Vreme je GMT +2. Trenutno vreme je 01:37. |
Powered by vBulletin® Verzija 3.6.8
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
Copyright © DevProTalk. All Rights Reserved.