3k i vise entrija na ~ svaka 2 minuta

mangia · 31. 10. 2007.

Jedno pitanjce...

Nisam neki extra programer i baze poznajem onoliko koliko mi je bilo potrebno. Sad cackam nesto ozbiljnije pa imam jednu nedoumicu...

Na svaka 2-3 minuta se generise fajl sa nekih 2-3k linija... ideja je da to trpam u bazu radi kasnijeg cackanja...

podaci u fajlu su tipa

IP adresa - IP adresa - broj (pri cemu je broj ne veci od x xxx xxx)

E sad ideja je da to jos malo pretresem ali kako bi se ponasao mysql sa ovako velikim tabelama... Ideja je takodje da se podaci ciste nakon 60 dana tj da se ostavi samo konacna suma u neku manju tabelicu....

Sve bi se vrtilo na malo jacem sistemu koji ne bi radio nista drugo osim toga...

skaarj · 31. 10. 2007.

Ako sam dobro izracunao to bi u najgorem slucaju bilo oko 2M inserta tokom 24h. To nije jako strasno za MySQL na dobroj masini. Ono sto bih ti savetovao je da tabele delis na manje jer je muka raditi sa tabelama koje imaju 10 ili 20M slogova.

To bi znacilo da kreiras novu tabelu svakih nekoliko dana i onda polako kako neki interval istice brises stare tabele.

Dejan Topalovic · 31. 10. 2007.

1. za tu svrhu mozes komotno koristiti LOAD naredbu (ukoliko format u datoteci nije neki nestandardan)
2. kreiraj jednu prihvatnu tabelu za te podatke iz fajlova
3. kreiraj jos jednu tabelu za summary podatke

Dovoljno informacija?

ivanhoe · 31. 10. 2007.

^^ dobri saveti... i razmisli o tome da se digne replika koja ce se koristiti za obradu podataka, znaci u master upisujes, a na replici radis komplikovane upite za analizu koji zahtevaju vremena..

misk0 · 31. 10. 2007.

2-3 min - 2-3K linija... znaci prosjek 1min - 1k linija?
dnevno 1440min = 1.44M redova.. 60 dana - 86.4M redova.

mangia · 31. 10. 2007.

Hvala svima na odovorima... Moja ideja je da se na nekih 10-ak minuta sirov sadrzaj trpa u jednu tabelu... Onda da se pokrece skripta koja ce sumirati podatke iz te tabele i na osnovu toga dodavati entrije u novu tabelu ...

Problem mi je sto se ovde radi o trenutnom stanju... Broj linija ce se povecavati a praviti nesto sto ce brzo udariti u plafon...

Sad se razmisljam o rrd-u ...

Nego vidim ovde dosta poznatih likova... A vi kako te...

misk0 · 31. 10. 2007.

u koji plafon?

mangia · 31. 10. 2007.

Nebo

Salim se... Radi se o podacima za izlaznih rutera a kako raste broj korisnika tako raste i kolicina podataka koja se loguje... Ideja je da pored klasicnog accounting-a koji radi uredno, logujem i ove podatke... Kasnije mogu da radim neke specijalne stvari sa njima... tipa jedna tarifa za promet unutar odredjenih IP opsega, druga tarifa za druge IP opsege itd.

jablan · 31. 10. 2007.

Pa jednom dnevno (ili na svaki sat recimo) možeš da pokrećeš skript koji će razvrstavati slogove i dodavati promet po kategorijama u neku sumarnu tabelu, posle možeš da obrišeš konkretne podatke.

ivanhoe · 31. 10. 2007.

pa sve zavisi sta ti sve treba od podataka, i koliko komplikovanu obradu planiras kasnije... RRD radi posao za dosta toga... ako je saobracaj bas velik mozes da radis i obican dump u log fajl, i onda da imas proces (tipa: tail -f log | parse.pl ) koji naknadno parsira to u bazu, tako da ne mora insert u bazu da bude u real time-u..

31. 10. 2007.	#1
mangia Pukovnik u penziji Grand Master Datum učlanjenja: 11.10.2006 Lokacija: Banjaluka, BiH Poruke: 941 Hvala: 209 585 "Hvala" u 137 poruka	3k i vise entrija na ~ svaka 2 minuta Jedno pitanjce... Nisam neki extra programer i baze poznajem onoliko koliko mi je bilo potrebno. Sad cackam nesto ozbiljnije pa imam jednu nedoumicu... Na svaka 2-3 minuta se generise fajl sa nekih 2-3k linija... ideja je da to trpam u bazu radi kasnijeg cackanja... podaci u fajlu su tipa IP adresa - IP adresa - broj (pri cemu je broj ne veci od x xxx xxx) E sad ideja je da to jos malo pretresem ali kako bi se ponasao mysql sa ovako velikim tabelama... Ideja je takodje da se podaci ciste nakon 60 dana tj da se ostavi samo konacna suma u neku manju tabelicu.... Sve bi se vrtilo na malo jacem sistemu koji ne bi radio nista drugo osim toga...

31. 10. 2007.	#3
Dejan Topalovic old school Professional Datum učlanjenja: 15.02.2006 Lokacija: Wien, Austria Poruke: 304 Hvala: 121 47 "Hvala" u 26 poruka	1. za tu svrhu mozes komotno koristiti LOAD naredbu (ukoliko format u datoteci nije neki nestandardan) 2. kreiraj jednu prihvatnu tabelu za te podatke iz fajlova 3. kreiraj jos jednu tabelu za summary podatke Dovoljno informacija? __________________ Blog: Baze podataka ------------------------ Oracle OCP DBA Oracle OCE SQL Expert Oracle OCP Developer Certified MySQL DBA

31. 10. 2007.	#4
ivanhoe Ivan Dilber Sir Write-a-Lot Datum učlanjenja: 18.10.2005 Lokacija: Bgd Poruke: 5.320 Hvala: 104 2.344 "Hvala" u 583 poruka	^^ dobri saveti... i razmisli o tome da se digne replika koja ce se koristiti za obradu podataka, znaci u master upisujes, a na replici radis komplikovane upite za analizu koji zahtevaju vremena.. __________________ Leadership is the art of getting people to want to do what you know must be done.

31. 10. 2007.	#10
ivanhoe Ivan Dilber Sir Write-a-Lot Datum učlanjenja: 18.10.2005 Lokacija: Bgd Poruke: 5.320 Hvala: 104 2.344 "Hvala" u 583 poruka	pa sve zavisi sta ti sve treba od podataka, i koliko komplikovanu obradu planiras kasnije... RRD radi posao za dosta toga... ako je saobracaj bas velik mozes da radis i obican dump u log fajl, i onda da imas proces (tipa: tail -f log \| parse.pl ) koji naknadno parsira to u bazu, tako da ne mora insert u bazu da bude u real time-u.. __________________ Leadership is the art of getting people to want to do what you know must be done.

Alati teme
Pogledajte verziju za štampanje Pošaljite email-om ovu stranu
Način prikaza
Prebacite u linearni prikaz Hibridni prikaz Prebacite u prikaz po temama

31. 10. 2007.	#2
skaarj profesionalac Qualified Datum učlanjenja: 15.09.2006 Lokacija: Zemlja cuda Poruke: 114 Hvala: 11 3 "Hvala" u 3 poruka	Ako sam dobro izracunao to bi u najgorem slucaju bilo oko 2M inserta tokom 24h. To nije jako strasno za MySQL na dobroj masini. Ono sto bih ti savetovao je da tabele delis na manje jer je muka raditi sa tabelama koje imaju 10 ili 20M slogova. To bi znacilo da kreiras novu tabelu svakih nekoliko dana i onda polako kako neki interval istice brises stare tabele.

31. 10. 2007.	#5
misk0 majstor Wrote a book Datum učlanjenja: 30.01.2006 Lokacija: Lugano - Switzerland Poruke: 1.251 Hvala: 219 106 "Hvala" u 67 poruka	2-3 min - 2-3K linija... znaci prosjek 1min - 1k linija? dnevno 1440min = 1.44M redova.. 60 dana - 86.4M redova.

31. 10. 2007.	#8
mangia Pukovnik u penziji Grand Master Datum učlanjenja: 11.10.2006 Lokacija: Banjaluka, BiH Poruke: 941 Hvala: 209 585 "Hvala" u 137 poruka	Nebo Salim se... Radi se o podacima za izlaznih rutera a kako raste broj korisnika tako raste i kolicina podataka koja se loguje... Ideja je da pored klasicnog accounting-a koji radi uredno, logujem i ove podatke... Kasnije mogu da radim neke specijalne stvari sa njima... tipa jedna tarifa za promet unutar odredjenih IP opsega, druga tarifa za druge IP opsege itd.

31. 10. 2007.	#9
jablan VD IT Direktora Invented the damn thing Datum učlanjenja: 08.06.2005 Lokacija: Beograd Poruke: 2.118 Hvala: 503 1.307 "Hvala" u 282 poruka	Pa jednom dnevno (ili na svaki sat recimo) možeš da pokrećeš skript koji će razvrstavati slogove i dodavati promet po kategorijama u neku sumarnu tabelu, posle možeš da obrišeš konkretne podatke.

Slične teme
Tema	Početna poruka teme	Forum	Odgovori	Poslednja poruka
Minushi, 90 minuta animirani film 100% uradjen u flashu	MrSteel	Flash	1	11. 08. 2007. 11:40
Instant mrsavljenje - 30 kilograma manje za 3.5 minuta	drdrksa	Opušteno	2	17. 05. 2007. 08:58
E svaka mu čast	Ilija Studen	Opušteno	2	29. 01. 2007. 14:12