DevProTalk

Forumi IT profesionalaca
web development, web design, e-business, SEO


Idite nazad   DevProTalk > Web development i web aplikacije > Programiranje
Želite da se reklamirate ekskluzivno na ovoj poziciji? Javite se

Programiranje Java, Perl, VB, ASP, .NET, C, C++, Pascal, Delphi Sponzor: VIP izazov 3

Odgovori
 
Alati teme Način prikaza
Staro 15. 09. 2011.   #1
misko_
profesionalac
Qualified
 
Datum učlanjenja: 22.09.2007
Lokacija: Split
Poruke: 111
Hvala: 8
39 "Hvala" u 10 poruka
misko_ is on a distinguished road
Question Sotware za statističku analizu (uglavnom vremenskih nizova)

Imam želju (ideju), za osobno potrebe, da napravim alat ili skup alata s kojima bih mogao analizirati i vizualno (uz pomoć raznih grafova) prikazivati podatke iz vremenskih nizova (jedan stupac je vrijeme, a drugi je nekakva vrijednost(uglavnom cijena)).

Moja prva ideja je bila da sve podatke strpam u tablicu (bazu) i pomoću SQL-a vadim sirove podatke (SELECT * FROM table).
Uzmem Python (ili R) za obradu podataka, te poslje koristim neki alata za grafikone (npr. gnuplot)

Od ove ideje sam odustao iz više razloga:
- jer ne znam R, neznam ga kao jezik, a ni ne znam koliko bi bio dobar za moje potrebe
- u Python bi trebao dosta pisati
- vidio da i SQL mi može koristiti za nekakve statistike (npr. min, max, avg, cijena po mjesecu, godini... -> što bio više kodiranja u pythonu)

U mom postu http://www.devprotalk.com/t10362-kak...a-u-mysql.html se vidi da sam tu već došao do nekakvih problema, ali je ipak nekako riješen.

Onda sam htio izračunati MEDIAN, ali MySQL ga nema, ali ipak postoji http://mysql-udf.sourceforge.net/.
Ali mučenje oko kompajliranje, mi se čini previše. Pogotovo jer bih htio računati i MOD i INTERKVARTILE, itd.
A za to bi morao sam pisati svoje "User Defined Functions" i nekako mi se to čini kao prevelika muka.

Ono što me zanima je da li mi netko može dati nekakav savjet kako da si malo život olakšam.

Trenutno radim sa SQL (u kojem pišem upite), a BIRT (java eclipse) koristim za prikaz grafikona.

Čak mi pada napamet da možda sa SQL-om vadim podatke, stavljam ih u excel, pa u excelu radim obrade i prikaz.

Znači ako tko ima kakav savjet, dobrodošao je.

Hvala
misko_ je offline   Odgovorite uz citat
Staro 15. 09. 2011.   #2
JovanT
profesionalac
Qualified
 
Datum učlanjenja: 11.01.2006
Lokacija: Niš
Poruke: 100
Hvala: 66
11 "Hvala" u 9 poruka
JovanT is on a distinguished road
Default

Kako stojiš sa PHP-om? Pomoću njega možeš vrlo lako da radiš obradu a ima i jako lepe klase za pravljenje grafikona.
JovanT je offline   Odgovorite uz citat
Staro 15. 09. 2011.   #3
misko_
profesionalac
Qualified
 
Datum učlanjenja: 22.09.2007
Lokacija: Split
Poruke: 111
Hvala: 8
39 "Hvala" u 10 poruka
misko_ is on a distinguished road
Default

Citat:
Originalno napisao JovanT Pogledajte poruku
Kako stojiš sa PHP-om? Pomoću njega možeš vrlo lako da radiš obradu a ima i jako lepe klase za pravljenje grafikona.
Generalno moj prvi pristup je bio:
- Baza -> tu se nalaze podaci
- Neki programski jezik -> služi za obradu, transformaciju podataka
- neka klasa, alat -> za prikaz na grafikon

Meni nije problem da li će mi korak između biti PHP, Python, R ili neki drugi jezik.
R sam spomenio jer sam čuo da je on baš za statističke analize dobar.

Problem sa PHP (Pythonom, ili nešto treće) je sljedeća.
Jednostavna stvar kao što je ova u SQL-u:
Kôd:
SELECT 
CONCAT(MONTH(date),"-",YEAR(date)) as MM_YYYY, 
ROUND(AVG(eur_pm),2) as EUR_PM
FROM lbma_gold 
WHERE date BETWEEN '1999-1-1' AND NOW()
GROUP BY YEAR(date), MONTH(date);
Za koju i treba napisati i testirati max 3 minute.

U PHP ili nešto treće trebalo bi i po sat vremena.
Jer bi morao proći kroz svaki red, pa imati logiku da kužim godine, mjesece, pa da ih grupiram, računa prosjek, pa brojač itd.

Ono što bih ja želio je imati alate, kod kojih ću sa minimalno utrošenog vremena dobiti rezultat.

SQL mi je ko super za te stvari (upit se napiše jako brzo), samo je mana što nema sve funkcije koje su mi potrebne.

Možda bi mogao pisati storane procedure za te kompliciranje stvari ?
misko_ je offline   Odgovorite uz citat
Staro 15. 09. 2011.   #4
jablan
VD IT Direktora
Invented the damn thing
 
Avatar jablan
 
Datum učlanjenja: 08.06.2005
Lokacija: Beograd
Poruke: 2.118
Hvala: 503
1.307 "Hvala" u 282 poruka
jablan je pravi dragi kamenjablan je pravi dragi kamenjablan je pravi dragi kamenjablan je pravi dragi kamenjablan je pravi dragi kamenjablan je pravi dragi kamenjablan je pravi dragi kamenjablan je pravi dragi kamenjablan je pravi dragi kamenjablan je pravi dragi kamen
Default

Citat:
Originalno napisao misko_ Pogledajte poruku
Ono što me zanima je da li mi netko može dati nekakav savjet kako da si malo život olakšam.
Nauči R.
__________________
blog
jablan je offline   Odgovorite uz citat
Staro 15. 09. 2011.   #5
jablan
VD IT Direktora
Invented the damn thing
 
Avatar jablan
 
Datum učlanjenja: 08.06.2005
Lokacija: Beograd
Poruke: 2.118
Hvala: 503
1.307 "Hvala" u 282 poruka
jablan je pravi dragi kamenjablan je pravi dragi kamenjablan je pravi dragi kamenjablan je pravi dragi kamenjablan je pravi dragi kamenjablan je pravi dragi kamenjablan je pravi dragi kamenjablan je pravi dragi kamenjablan je pravi dragi kamenjablan je pravi dragi kamen
Default

^ Da elaboriram i ujedno odgovorim na PP...

Citat:
Imam želju (ideju), za osobno potrebe, da napravim alat ili skup alata s kojima bih mogao analizirati i vizualno (uz pomoć raznih grafova) prikazivati podatke iz vremenskih nizova (jedan stupac je vrijeme, a drugi je nekakva vrijednost(uglavnom cijena)).
Osim ako tvoj cilj nije usavršavanje u programiranju (što sumnjam, s obzirom da nisi načisto u kom pravcu da ideš), ili izrada komercijalne aplikacije (za šta ti treba dosta para/vremena), nema smisla izmišljati rupu u saksiji. R je specijalizovan jezik koji ljudi već koriste u praksi, dovlači podatke iz baze, ima grafičko predstavljanje itd. Meni lično nije jasno kako činjenica da ne znaš neki jezik uopšte može da bude kriterijum za eliminaciju?!

Ako ti treba veća sloboda (po cenu više posla), uzmeš Python, on ima dobre numeričke (a verujem i statističke) biblioteke, proveren je jezik.

PHP u celoj priči nema šta da traži, osim po principu "imam čekić, ergo sve oko mene je ekser".
__________________
blog

Poslednja izmena od jablan : 15. 09. 2011. u 13:24.
jablan je offline   Odgovorite uz citat
"Hvala" jablan za poruku:
Staro 15. 09. 2011.   #6
misko_
profesionalac
Qualified
 
Datum učlanjenja: 22.09.2007
Lokacija: Split
Poruke: 111
Hvala: 8
39 "Hvala" u 10 poruka
misko_ is on a distinguished road
Default

Bilo bi najbolje (u što sumljam da će se dogoditi), kada bi bio netko tko je ovakvo što već napravio, pa im on rekao radili smo tako i tako, i imali ovakve i ovakve probleme, da krećem iz početka uradio bi to i to.

Jer velika je razlika da li netko govori iz osobno, tuđeg ili onoga što je pročitao po netu.

Zato sam te na PP pitao da li si imao iskustva sa R ili ne.

Ja osobno znam samo jednu osobu koja ima nešto iskustva sa R.
Kada sam ga pitao za savjet u vezi ovoga moga, on mi je odgovorio da dosta toga bi morao sam programirati, možda je bio u krivu.

Kada sam ga pitao čemu on koristi taj R, rekao mi je za analizu ženinih menstrualnih ciklusa (toliko o tome koliko ga on ozbiljno koristi )

Citat:
Originalno napisao jablan Pogledajte poruku
^ Da elaboriram i ujedno odgovorim na PP...

Osim ako tvoj cilj nije usavršavanje u programiranju (što sumnjam, s obzirom da nisi načisto u kom pravcu da ideš), ili izrada komercijalne aplikacije (za šta ti treba dosta para/vremena), nema smisla izmišljati rupu u saksiji.
Izrada komercijalne mi nije u vidu, bar ne sada. Ja sam tražio da li se može kupiti kakav alat za ovo što me zanima, i ima ih dosta. Ali svi oni imaju predefinirane upite (izvještaje) koje možeš napraviti. I zbog toga sam krenuo sa izradom svoga alata (ili skupa alata).

Citat:
Originalno napisao jablan Pogledajte poruku
R je specijalizovan jezik koji ljudi već koriste u praksi, dovlači podatke iz baze, ima grafičko predstavljanje itd. Meni lično nije jasno kako činjenica da ne znaš neki jezik uopšte može da bude kriterijum za eliminaciju?!
Meni je bitno na što bolji način (tako da potrošim i sada i u budućnosti, što manje vremena) riješiti problem.
Pošto R zahtijeva vrijeme za učenje, a nisam ni siguran da li bi riješio moje zahtijeve, zato nisam bio voljan odmah uhvati knjigu u ruke i čitati.
Iako mi se čini da ču krenuti tim putem.

Citat:
Originalno napisao jablan Pogledajte poruku
Ako ti treba veća sloboda (po cenu više posla), uzmeš Python, on ima dobre numeričke (a verujem i statističke) biblioteke, proveren je jezik.
.
Ja sam po blogovima čitao da za statistiku zaboravi Python (i numpy) bolje uzmi R. Ali opet to je što sam čitao nije osobno iskustvo.

Usput SQL upiti sa MySQL Workbench, pa malo wordpad 's/./,/g', pa copy/paste excel, pa malo izračun ručno, pa chart/pivot, nije tako loše, dobijem što mi treba.
Mana je što mi za svaki izvještaj treba po 30 min, a ako hoću nešto promjeniti opet potrošiti 30 min, zato bih htio to sve napraviti automatski da samo unesem parametre i nakon par sekundi sve gotovo.
misko_ je offline   Odgovorite uz citat
Staro 15. 09. 2011.   #7
jablan
VD IT Direktora
Invented the damn thing
 
Avatar jablan
 
Datum učlanjenja: 08.06.2005
Lokacija: Beograd
Poruke: 2.118
Hvala: 503
1.307 "Hvala" u 282 poruka
jablan je pravi dragi kamenjablan je pravi dragi kamenjablan je pravi dragi kamenjablan je pravi dragi kamenjablan je pravi dragi kamenjablan je pravi dragi kamenjablan je pravi dragi kamenjablan je pravi dragi kamenjablan je pravi dragi kamenjablan je pravi dragi kamen
Default

Citat:
Originalno napisao misko_ Pogledajte poruku
Kada sam ga pitao čemu on koristi taj R, rekao mi je za analizu ženinih menstrualnih ciklusa (toliko o tome koliko ga on ozbiljno koristi )
Ja lično nisam, ali ovi u mojoj firmi ga koriste i to za prilično ozbiljne stvari. Mislim, na kraju krajeva, imaš masu primera po netu, možeš da vidiš da li ti odgovara bez da ga učiš.

Python je jezik opšte namene, tako da je upoređivati ga sa R-om malo mešanje baba i žaba.

A Matlab je, sa druge strane, moćan komercijalni paket, sigurno bi ti i on završio posao, ako ti odgovara taj ekosistem.
__________________
blog
jablan je offline   Odgovorite uz citat
Staro 15. 09. 2011.   #8
ivanhoe
Ivan Dilber
Sir Write-a-Lot
 
Avatar ivanhoe
 
Datum učlanjenja: 18.10.2005
Lokacija: Bgd
Poruke: 5.320
Hvala: 104
2.344 "Hvala" u 583 poruka
ivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svima
Pošaljite poruku preko Skype™ za ivanhoe
Default

Matlab, on je smisljen (izmedju ostalog) za to i imas 2 miliona statistickih boxova/funkcija koje samo treba da ukljucis... dok god nisi izmislio novi matematicki model, nego samo koristis nesto postojece, i naravno ako ne simuliras nastajanje kosmosa, matlab razbija...
__________________
Leadership is the art of getting people to want to do what you know must be done.
ivanhoe je offline   Odgovorite uz citat
Staro 15. 09. 2011.   #9
M.S.
webpretraga.com
Na probnom radu
 
Datum učlanjenja: 02.08.2011
Lokacija: Beograd
Poruke: 12
Hvala: 0
3 "Hvala" u 3 poruka
M.S. is on a distinguished road
Default

Pozdrav Misko,

Ne treba Vam nista drugo do SPSS-a.

R je dobar, ali zahteva programerski "pristup".

I Access je odlican, ali cini mi se da ima ogranicenje na broj redova u bazi. Ja sam imao po 13M redova, i to Access nije mogao da odradi. Ali da je odlican za grafove - jeste.

SPSS - topla preporuka. Samo ga probajte, necete se pokajati. Sto se web alata za analizu veceg broja podataka tice...to bi i ja voleo da vidim, pa ako nadjete nesto - javite.
M.S. je offline   Odgovorite uz citat
Staro 15. 09. 2011.   #10
ivanhoe
Ivan Dilber
Sir Write-a-Lot
 
Avatar ivanhoe
 
Datum učlanjenja: 18.10.2005
Lokacija: Bgd
Poruke: 5.320
Hvala: 104
2.344 "Hvala" u 583 poruka
ivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svima
Pošaljite poruku preko Skype™ za ivanhoe
Default

A i Excel ume da uradi jako puno toga
__________________
Leadership is the art of getting people to want to do what you know must be done.
ivanhoe je offline   Odgovorite uz citat
Odgovori


Alati teme
Način prikaza

Pravila pisanja
Možete ne započinjati nove teme
Možete ne slati odgovore
Možete ne slati priloge
Možete ne izmeniti svoje poruke
vB kôd je Uključen
Smajliji su Uključen
[IMG] kod je Uključen
HTML kôd je Isključen
Pogledajte forum


Vreme je GMT +2. Trenutno vreme je 19:52.


Powered by vBulletin® Verzija 3.6.8
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
Copyright © DevProTalk. All Rights Reserved.
Mišljenja, saveti, izjave, ponude ili druge informacije ili sadržaji nastali na Sajtu su vlasništvo onoga ko ih je kreirao, a ne DevProTalk.com, tako da ne morate da se oslanjate na njih.
Autori poruka su jedini odgovorni za ovakve sadržaje. DevProTalk.com ne garantuje tačnost, kompletnost ili upotrebnu vrednost informacija, stavova, saveta ili datih izjava. Ne postoje uslovi pod kojima bi mi bili odgovorni za štetu ili gubitak koji je posledica bilo čijeg oslanjanja na nepouzdane informacije, ili bilo kakve informacije nastale kroz komunikaciju između registrovanih članova.
Web sajt može sadržavati linkove na druge web sajtove na Internetu ili neke druge sadržaje. Ne kontrolišemo niti podržavamo te druge web sajtove, niti smo pregledali bilo kakve sadržaje na takvim sajtovima. Mi nećemo biti odgovorni za legalnost, tačnost ili prikladnost bilo kog sadržaja, oglasa, proizvoda, usluga ili informacije lociranim na ili distribuiranih kroz druge web sajtove, niti za bilo kakvu štetu nastalu kao posledica takvih informacija. DevProTalk.com drži i čuva druga prava vlasništva na web sajtu. Web sajt sadrže materijale zaštićene copyright-om, zaštitne znakove i druge informacije o pravu vlasništva ili softver. Članovi mogu poslatu informacije zaštićene pravima vlasništva njihovih nosilaca i ona ostaju zaštićena bez obzira da li su oni koji prenose te informacije to naveli ili ne. Osim informacija koje su u javnom vlasništvu ili za koje dobijete dozvolu, nemate pravo da kopirate, modifikujete ili na bilo koji način menjate, objavljujete, prenosite, distribuirate, izvršavate, prikazujete ili prodajte bilo koju informaciju zaštićenu pravima vlasništva. Slanjem informacija ili sadržaja na bilo koji deo DevProTalk.com, Vi automatski dozvoljavate i predstavljate garanciju da imate pravo da dozvolite DevProTalk.com ili članovima DevProTalk.com bespovratnu, kontinualnu, neograničenu, globalnu dozvolu da koriste, kopiraju, izvršavaju, prikazuju i distribuiraju takve informacije i sadržaje i da iz takvih sadžaja koriste bilo koji deo u bilo koje svrhe, kao i pravo i dozvolu da koriste gore navedene sadržaje. Svi zaštitni znakovi (trademarks), logotipi, oznake usluga, firme ili imena proizvoda koji se pominju na ovom web sajtu su vlasništvo kojim raspolažu njihovi vlasnici.