DevProTalk

Forumi IT profesionalaca
web development, web design, e-business, SEO


Idite nazad   DevProTalk > Web development i web aplikacije > SQL baze podataka - Sponzor: Baze-Podataka.net
Želite da se reklamirate ekskluzivno na ovoj poziciji? Javite se

SQL baze podataka - Sponzor: Baze-Podataka.net MySQL, MSSQL, Oracle, Access, ODBC. Ako imate problem brže i preciznije ćete dobiti odgovor ako priložite strukturu tabela ili skript koji kreira tabele i puni ih test podacima umesto što to problem opisujete samo rečima. Sponzor: Baze-Podataka.net - Blog o bazama podataka

Odgovori
 
Alati teme Način prikaza
Staro 13. 08. 2009.   #1
mb_sa
profesionalac
Qualified
 
Datum učlanjenja: 19.05.2007
Poruke: 123
Hvala: 13
3 "Hvala" u 3 poruka
mb_sa is on a distinguished road
Default [MySQL] Optimizacija upita, indexi

Pozdrav.

http://rapidshare.com/files/26687315...v.sql.zip.html

Sa linka iznad mozete skinuti SQL fajl sa bazom i 3 tabele (njihova struktura i testni podaci).

Dakle, 3 tabele u kojima se čuvaju informacje o vijestima, kategorijama i autorima. Princip news sistema.

Napisao sam upit koji ispisuje 5 vijesti iz odredjene kategorija koja ima svoje potkategorije. Vijesti su soritrane po pozijama i vremenu objave ukoliko ne bude dovoljno vijesti kojima su označene pozicije, jer upit treba da vrati uvijek 5 redova.

Upit je ispod.
Kôd:
SELECT v.id, v.naslov, a.ime_prezime, v.mala_slika, v.uvod
FROM vijesti v, kategorije k, administratori a
WHERE k.kategorija_id = v.kategorija
AND v.autor = a.id
AND v.tip =1
AND v.media =0
AND v.pozicija
IN (
'5', '6', '7', '8', '9', '1000'
)
AND k.parent_id
IN ( 4, 5 )
AND v.id NOT
IN ( 22083, 22075, 22077, 22070 )
AND v.datum_objave <= '2009-08-13 10:58:00'
ORDER BY v.pozicija, v.datum_objave DESC
LIMIT 5
// ako je pozicija 1000, to znači da nema pozicije

Na bazu od 20.000 reedova upit se izvrsava u prosjeku nekih 0.3s sto mi je puno jer ovakih upita imam oko 10-tak na naslovnici (razlciite pozicije (v.pozicija) i kategorija (k.parent_id)).

EXPLAIN upita vraca: http://www.imagesforme.com/show.php/636527_explain.jpg

Ja sam stavio odredjne indexe (vidjećete kada ako pogledate sturkturu tabela iz priloga) koje MySQL i korsiti, tako da je kolona Rows u EXPLAIN tabele sasvim OK. Problem je očigledno kod onog što je napisano u EXTRA koloni.

Mislim da bi se ovaj upit trebao brze zvrsavati, no za to mi je potrebna vasa pomoć? Imate li prijedloga kako da podesim indexe?

Nadam se da nisam nista propustio spomenuti.

Hvala unaprijed.

Poslednja izmena od mb_sa : 13. 08. 2009. u 13:23. Razlog: tipfeleri
mb_sa je offline   Odgovorite uz citat
Staro 13. 08. 2009.   #2
DejanVesic
old school
Professional
 
Avatar DejanVesic
 
Datum učlanjenja: 15.06.2005
Lokacija: Novi Beograd
Poruke: 448
Hvala: 21
70 "Hvala" u 46 poruka
DejanVesic će postati "faca" uskoro
Default

Kandidati za indeks su: (tim redom):

- vesti.kategorija
- vesti.datum_objave
- vesti.pozicija

pa dodaj jedan po jedan, testiraj i vidi da li se nešto menja.
__________________
http://www.vesic.org | Blog: http://www.vesic.org/blog/ | Fina kolekcija programa: http://www.vesic.org/programi/
DejanVesic je offline   Odgovorite uz citat
Staro 13. 08. 2009.   #3
mb_sa
profesionalac
Qualified
 
Datum učlanjenja: 19.05.2007
Poruke: 123
Hvala: 13
3 "Hvala" u 3 poruka
mb_sa is on a distinguished road
Default

@DejanVesic

EXPLAIN vraca iste rezultate. Vrijeme izvrsavanja takodjer isto.

Ne znam da li si zapazio ali kolona 'pozicija' je pobrojani tip (ENUM) i negdje sam pročitao da za njih nije potrebno stavljati indexe, a takodjer ona sadrzai vrijenodsti od 1-16, te 1000, od cega je 99,99 posto vrijednost 1000, nije li i to premala kardinalost? Ispravi me ako grijesim? Hvala.

------

I dalje imam prolbem, ali primjetio sam da su bolja vremena izvrsavanja bez ijednog indexa. U tom slucaju nema kreiranja temp tabele (Using temporary).

lijep pozdrav.
mb_sa je offline   Odgovorite uz citat
Staro 13. 08. 2009.   #4
DejanVesic
old school
Professional
 
Avatar DejanVesic
 
Datum učlanjenja: 15.06.2005
Lokacija: Novi Beograd
Poruke: 448
Hvala: 21
70 "Hvala" u 46 poruka
DejanVesic će postati "faca" uskoro
Default

Nisam MySQL ekspert, ali recimo na Oracle / SQL sistemima se indeksi vrlo često ne koriste ako je kardinalnost tabela ispod nekog limita - prosto je jednostavnije učitati celu tabelu u memoriju no juriti po b-stablima od indeksa. Zato i stoji da za jako male skupove indeks i ne treba.

Što se tiče enuma - moguće je da se pravi implicitni indeks (ali ovo debelo treba proveriti dokumentaciju). U suštini, ako je rezultujući set pre primene tog uslova dovoljno mali, onda će se filtriranje po poziciji raditi prostim upoređivanjem (indeks ne treba).

Ako je veliki, onda definitivno treba da postoji neki način da nađe slogove koji zadovoljavaju uslov.

Za veliku količinu podataka neki od indeksa će definitivno pomoći.
__________________
http://www.vesic.org | Blog: http://www.vesic.org/blog/ | Fina kolekcija programa: http://www.vesic.org/programi/
DejanVesic je offline   Odgovorite uz citat
Staro 14. 08. 2009.   #5
mb_sa
profesionalac
Qualified
 
Datum učlanjenja: 19.05.2007
Poruke: 123
Hvala: 13
3 "Hvala" u 3 poruka
mb_sa is on a distinguished road
Default

Hvala na odgovoru.

U MySQL dokumentaciji pise da neće korstiti index za order by ako se mixaju ASC i DESC, mada sam ja stavljao ORDER BY v.pozicija DESC, v.datum_objave DESC, ali opet ista situacija.

Nisam pametan
mb_sa je offline   Odgovorite uz citat
Staro 14. 08. 2009.   #6
jablan
VD IT Direktora
Invented the damn thing
 
Avatar jablan
 
Datum učlanjenja: 08.06.2005
Lokacija: Beograd
Poruke: 2.118
Hvala: 503
1.307 "Hvala" u 282 poruka
jablan je pravi dragi kamenjablan je pravi dragi kamenjablan je pravi dragi kamenjablan je pravi dragi kamenjablan je pravi dragi kamenjablan je pravi dragi kamenjablan je pravi dragi kamenjablan je pravi dragi kamenjablan je pravi dragi kamenjablan je pravi dragi kamen
Default

Nemam mysql da probam, ali me živo zanima da li se menja execution plan ako se upit napiše pomoću JOIN-ova:
Kôd:
SELECT v.id, v.naslov, a.ime_prezime, v.mala_slika, v.uvod
FROM vijesti v
left join kategorije k on k.kategorija_id = v.kategorija
left join administratori a v.autor = a.id
WHERE 
v.tip =1
AND v.media =0
AND v.pozicija
IN (
'5', '6', '7', '8', '9', '1000'
)
AND k.parent_id
IN ( 4, 5 )
AND v.id NOT
IN ( 22083, 22075, 22077, 22070 )
AND v.datum_objave <= '2009-08-13 10:58:00'
ORDER BY v.pozicija, v.datum_objave DESC
LIMIT 5
BTW, možeš li da keširaš rezultate?
jablan je offline   Odgovorite uz citat
Staro 14. 08. 2009.   #7
mb_sa
profesionalac
Qualified
 
Datum učlanjenja: 19.05.2007
Poruke: 123
Hvala: 13
3 "Hvala" u 3 poruka
mb_sa is on a distinguished road
Default

Citat:
Originalno napisao jablan Pogledajte poruku
Nemam mysql da probam, ali me živo zanima da li se menja execution plan ako se upit napiše pomoću JOIN-ova:
Kôd:
SELECT v.id, v.naslov, a.ime_prezime, v.mala_slika, v.uvod
FROM vijesti v
left join kategorije k on k.kategorija_id = v.kategorija
left join administratori a v.autor = a.id
WHERE 
v.tip =1
AND v.media =0
AND v.pozicija
IN (
'5', '6', '7', '8', '9', '1000'
)
AND k.parent_id
IN ( 4, 5 )
AND v.id NOT
IN ( 22083, 22075, 22077, 22070 )
AND v.datum_objave <= '2009-08-13 10:58:00'
ORDER BY v.pozicija, v.datum_objave DESC
LIMIT 5
BTW, možeš li da keširaš rezultate?
Nažalost ne mijenja nista.

I mysql ih sam cache-ira, ali sto znate nakon update nad tabelom, cache je uništen.

Planirao sam da neke cache-iram preko PAER cache-lite (lifetime bi mogao da bude 5 minuta), ali ne mogu ih sve.
mb_sa je offline   Odgovorite uz citat
Staro 30. 08. 2009.   #8
mb_sa
profesionalac
Qualified
 
Datum učlanjenja: 19.05.2007
Poruke: 123
Hvala: 13
3 "Hvala" u 3 poruka
mb_sa is on a distinguished road
Default

Citat:
Originalno napisao mb_sa Pogledajte poruku
U MySQL dokumentaciji pise da neće korstiti index za order by ako se mixaju ASC i DESC, mada sam ja stavljao ORDER BY v.pozicija DESC, v.datum_objave DESC, ali opet ista situacija.

Nisam pametan
Evo da javim sta se je desilo, vjerujm da ce i drugima biti od pomoci.

Povecanje sort i key buffera je pomoglo, ali problem ovog upita je bio "ORDER by pozicija, datum_objave DESC".

Dakle, mysql ne zna da korsiti index ukoliko miksamo ASC i DESC, što je bio kod mene slučaj. Promjena upita na ORDER by pozicija DESC, datum_objave DESC uz kreiran index (pozicija,datum) jer radila dalekoooo brze (reda 0.0010s).

Mejdutim, prolbem je sto vo ne vraca željene rezultate. U tabelu sam dodao pozicija_reverse koja je sadrzava suprotne vrijednosti, tako da sam mogao da sortiram po principu pozicjija DESC, datum_obajve DESC. Naravno kreiran je index za (pozicija_reverse,datum_obajve) i upit se izvrsava za 0.0010.

Povecanje key buffer size sort buffer size je pomoglo da korsiti index (pozicija,datum) tako da je pomoglo i kod ovog upita i generlano kod upita koji su imali samo sortiranje po datumu.

Hvala na pomoci i usescu!
mb_sa je offline   Odgovorite uz citat
"Hvala" mb_sa za poruku:
Staro 14. 08. 2009.   #9
miks
član
Certified
 
Datum učlanjenja: 24.02.2009
Poruke: 55
Hvala: 0
11 "Hvala" u 7 poruka
miks is on a distinguished road
Default

Probaj da stavis index na kategorije u redosledu (parent_id, kategorija_id)
miks je offline   Odgovorite uz citat
Staro 14. 08. 2009.   #10
mb_sa
profesionalac
Qualified
 
Datum učlanjenja: 19.05.2007
Poruke: 123
Hvala: 13
3 "Hvala" u 3 poruka
mb_sa is on a distinguished road
Default

Citat:
Originalno napisao miks Pogledajte poruku
Probaj da stavis index na kategorije u redosledu (parent_id, kategorija_id)
Ne pomaze.

Pozdrav.
mb_sa je offline   Odgovorite uz citat
Odgovori


Alati teme
Način prikaza

Pravila pisanja
Možete ne započinjati nove teme
Možete ne slati odgovore
Možete ne slati priloge
Možete ne izmeniti svoje poruke
vB kôd je Uključen
Smajliji su Uključen
[IMG] kod je Uključen
HTML kôd je Isključen
Pogledajte forum

Slične teme
Tema Početna poruka teme Forum Odgovori Poslednja poruka
kako rezultate mysql upita najlakse smjestiti u tabelu..? dejan86 PHP 8 16. 09. 2009. 01:15
MySQL optimizacija bluesman SQL baze podataka - Sponzor: Baze-Podataka.net 2 27. 02. 2009. 16:47
MySQL - Optimizacija querija dinke SQL baze podataka - Sponzor: Baze-Podataka.net 12 18. 06. 2007. 23:39
MySQL import - više upita iz fajla ili stringa Ilija Studen PHP 6 09. 07. 2006. 17:07
potrebna pomoc oko SQL upita ivanhoe SQL baze podataka - Sponzor: Baze-Podataka.net 4 10. 02. 2006. 18:09


Vreme je GMT +2. Trenutno vreme je 20:12.


Powered by vBulletin® Verzija 3.6.8
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
Copyright © DevProTalk. All Rights Reserved.
Mišljenja, saveti, izjave, ponude ili druge informacije ili sadržaji nastali na Sajtu su vlasništvo onoga ko ih je kreirao, a ne DevProTalk.com, tako da ne morate da se oslanjate na njih.
Autori poruka su jedini odgovorni za ovakve sadržaje. DevProTalk.com ne garantuje tačnost, kompletnost ili upotrebnu vrednost informacija, stavova, saveta ili datih izjava. Ne postoje uslovi pod kojima bi mi bili odgovorni za štetu ili gubitak koji je posledica bilo čijeg oslanjanja na nepouzdane informacije, ili bilo kakve informacije nastale kroz komunikaciju između registrovanih članova.
Web sajt može sadržavati linkove na druge web sajtove na Internetu ili neke druge sadržaje. Ne kontrolišemo niti podržavamo te druge web sajtove, niti smo pregledali bilo kakve sadržaje na takvim sajtovima. Mi nećemo biti odgovorni za legalnost, tačnost ili prikladnost bilo kog sadržaja, oglasa, proizvoda, usluga ili informacije lociranim na ili distribuiranih kroz druge web sajtove, niti za bilo kakvu štetu nastalu kao posledica takvih informacija. DevProTalk.com drži i čuva druga prava vlasništva na web sajtu. Web sajt sadrže materijale zaštićene copyright-om, zaštitne znakove i druge informacije o pravu vlasništva ili softver. Članovi mogu poslatu informacije zaštićene pravima vlasništva njihovih nosilaca i ona ostaju zaštićena bez obzira da li su oni koji prenose te informacije to naveli ili ne. Osim informacija koje su u javnom vlasništvu ili za koje dobijete dozvolu, nemate pravo da kopirate, modifikujete ili na bilo koji način menjate, objavljujete, prenosite, distribuirate, izvršavate, prikazujete ili prodajte bilo koju informaciju zaštićenu pravima vlasništva. Slanjem informacija ili sadržaja na bilo koji deo DevProTalk.com, Vi automatski dozvoljavate i predstavljate garanciju da imate pravo da dozvolite DevProTalk.com ili članovima DevProTalk.com bespovratnu, kontinualnu, neograničenu, globalnu dozvolu da koriste, kopiraju, izvršavaju, prikazuju i distribuiraju takve informacije i sadržaje i da iz takvih sadžaja koriste bilo koji deo u bilo koje svrhe, kao i pravo i dozvolu da koriste gore navedene sadržaje. Svi zaštitni znakovi (trademarks), logotipi, oznake usluga, firme ili imena proizvoda koji se pominju na ovom web sajtu su vlasništvo kojim raspolažu njihovi vlasnici.