Optimizacija baze - neki savet

[etelteam]

Radim neku aplikaciju i zelim sto bolje da je testiram...
Zato sam ubacio 220 miliona unosa.

Upit se izvrsava samo nad jednom tabelom.

Pre toga stavio sam indeks na polje po kome se vrsi pretraga ono koje je u WHERE.
To polje je VARCHAR.
E sad.. Prvi put kada trazim nesto rezultat mi vrati za nekih 3 min. A svaki sledeci upit izvrsava za 0.04 sec i slicno... Mislio sam da ovaj index da ce ubrza i prvi put vracanje podataka...

Jel ima neko savet, ili link na netu kako da optimizujem bazu, tj tabelu da mi uvek vrati za sto krace vreme..


Pored dodeljivanja Index-a koloni, uradio sam i optimizaciju na sledeci nacin
OPTIMIZE TABLE `tabela`

Zanima me sta jos mogu da ucinim?

[ivanhoe]

to sto je drugi upit brzi je zbog cache-iranja, nema veze sa indexima...

Dodaj EXPLAIN ispred tvog sql upita da bi dobio vise podataka o tome kako se izvrsava upit i da li zaista koristi index ili ne. Nesto vise od toga tesko da mogu da ti pomognem posto nisi napisao koji je upit u pitanju

[jablan]

Originalno napisao ivanhoe

to sto je drugi upit brzi je zbog cache-iranja, nema veze sa indexima...

Pa ima veze i sa indexima. Index je znatno lakše i brže iskeširati nego celu tabelu, a i manji je tako da je veća verovatnoća da će biti keširan prilikom idućih upita.

[tasmaniski]

Ukoliko planiras da ti korisnici rade pretragu na 22m redova, zaboravi na bazu.

Ja koristim Search Lucene i odlican je http://lucene.apache.org/core/
Postoji klasa skoro za sve jezike.

[etelteam]

I dalje pitanje oko optimizacije baze... Pretraga i iscitavanje podataka iz tabele koja se updejtuje na 2-3 min...

Imam tabelu sa 2 miliona unosa.
Neka se zove tabela 1. Takodje imam i tabelu arhiva, u kojoj preko crona stavljam podatke starije od 6 meseci.

U ovoj prvoj znaci imam 2 miliona unosa.
I sada imam neki module u kome radim statistiku. Pretrazivanje vrsim po jednom polju koji je primarni kljuc i index.
Napomena : tabela se updejtuje na 2-3 min.

Kada izaberem statistiku za danasnji dan (imam danasnji dan, nedelja, mesec, 6 meseci) ucitavanje traje oko 40 sekunde. I grupa korisnika bi trebalo da gleda statistiku.
Jedno od resenja je bilo i sql particije ali su one u WHERE upit podrzane od verzije 5.6, koja je u razvojnoj fazi.

http://lucene.apache.org/core/ -> ovo resenje je u razmatranje za sada. Vise me zanima dal moze jos nesto da se ucini po pitanju baze i pretrage.

[robi-bobi]

Originalno napisao etelteam

Kada izaberem statistiku za danasnji dan (imam danasnji dan, nedelja, mesec, 6 meseci) ucitavanje traje oko 40 sekunde.

pre nekoliko godina sam imao slican problem, pa sam stavljao po jedan index na dan, na mesec i na godinu (sve delovi datetime polja) kako bih mogao da imam upit sa recimo: prikazi podatke iz tekuceg meseca

kolega, koji je tad bio mnogo iskusniji, mi rece da ovo nije dobar pristup
medjutim - statistika radi i dan danas

inace, razmotri i neke druge baze, mislim da postgre ima particije

[ivanhoe]

^ @jablane: ovo o cemu on prica (prvi upit spor, drugi brz) je mysql query cache, naprosto se kesira rezultat upita i kad postavis isti taj upit ponovo, on ti ga vrati iz memorije.. (koliko ja znam) nema veze sa tim jel indexirana pretraga ili ne..

a posto mu pretaga traje 3 min. u lokalu verovatno upit ni ne koristi indexe ili je index prevelik da stane u cache

[webarto]

http://dev.mysql.com/doc/refman/5.1/...-defaults.html my-huge.cnf

Probaj sa http://dev.mysql.com/doc/refman/5.1/...in-select.html znači...

SELECT SQL_NO_CACHE id, ime FROM tabela;

I mislim da neće vratiti tako brzo

Postavi query koji koristiš, i postavi output od EXPLAIN EXTENDED...

[mileusna]

Čak i da je isključen query keš, kada se isti upit ponovi dva puta zaredom, drugi upit će u većini slučajeva biti brži nego prvi. Fora je što i sam sql povuče neke ključeve i tabele u memoriju, i file system nešto pomalo kešira itd. itd. i rezultat obično uvek bude brži nego prvog puta.

[jablan]

^ Da, na ovo sam ja mislio (keširanje indexa), zaboravio sam na keširanje rezultata.