DevProTalk

Forumi IT profesionalaca
web development, web design, e-business, SEO


Idite nazad   DevProTalk > Web development i web aplikacije > SQL baze podataka - Sponzor: Baze-Podataka.net
Želite da se reklamirate ekskluzivno na ovoj poziciji? Javite se

SQL baze podataka - Sponzor: Baze-Podataka.net MySQL, MSSQL, Oracle, Access, ODBC. Ako imate problem brže i preciznije ćete dobiti odgovor ako priložite strukturu tabela ili skript koji kreira tabele i puni ih test podacima umesto što to problem opisujete samo rečima. Sponzor: Baze-Podataka.net - Blog o bazama podataka

Odgovori
 
Alati teme Način prikaza
Staro 03. 12. 2012.   #1
etelteam
novi član
Na probnom radu
 
Datum učlanjenja: 17.05.2012
Poruke: 18
Hvala: 4
0 "Hvala" u 0 poruka
etelteam is on a distinguished road
Default Optimizacija baze - neki savet

Radim neku aplikaciju i zelim sto bolje da je testiram...
Zato sam ubacio 220 miliona unosa.

Upit se izvrsava samo nad jednom tabelom.

Pre toga stavio sam indeks na polje po kome se vrsi pretraga ono koje je u WHERE.
To polje je VARCHAR.
E sad.. Prvi put kada trazim nesto rezultat mi vrati za nekih 3 min. A svaki sledeci upit izvrsava za 0.04 sec i slicno... Mislio sam da ovaj index da ce ubrza i prvi put vracanje podataka...

Jel ima neko savet, ili link na netu kako da optimizujem bazu, tj tabelu da mi uvek vrati za sto krace vreme..


Pored dodeljivanja Index-a koloni, uradio sam i optimizaciju na sledeci nacin
OPTIMIZE TABLE `tabela`

Zanima me sta jos mogu da ucinim?

Poslednja izmena od etelteam : 03. 12. 2012. u 14:20.
etelteam je offline   Odgovorite uz citat
Staro 03. 12. 2012.   #2
ivanhoe
Ivan Dilber
Sir Write-a-Lot
 
Avatar ivanhoe
 
Datum učlanjenja: 18.10.2005
Lokacija: Bgd
Poruke: 5.320
Hvala: 104
2.344 "Hvala" u 583 poruka
ivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svima
Pošaljite poruku preko Skype™ za ivanhoe
Default

to sto je drugi upit brzi je zbog cache-iranja, nema veze sa indexima...

Dodaj EXPLAIN ispred tvog sql upita da bi dobio vise podataka o tome kako se izvrsava upit i da li zaista koristi index ili ne. Nesto vise od toga tesko da mogu da ti pomognem posto nisi napisao koji je upit u pitanju
__________________
Leadership is the art of getting people to want to do what you know must be done.
ivanhoe je offline   Odgovorite uz citat
Staro 03. 12. 2012.   #3
jablan
VD IT Direktora
Invented the damn thing
 
Avatar jablan
 
Datum učlanjenja: 08.06.2005
Lokacija: Beograd
Poruke: 2.118
Hvala: 503
1.307 "Hvala" u 282 poruka
jablan je pravi dragi kamenjablan je pravi dragi kamenjablan je pravi dragi kamenjablan je pravi dragi kamenjablan je pravi dragi kamenjablan je pravi dragi kamenjablan je pravi dragi kamenjablan je pravi dragi kamenjablan je pravi dragi kamenjablan je pravi dragi kamen
Default

Citat:
Originalno napisao ivanhoe Pogledajte poruku
to sto je drugi upit brzi je zbog cache-iranja, nema veze sa indexima...
Pa ima veze i sa indexima. Index je znatno lakše i brže iskeširati nego celu tabelu, a i manji je tako da je veća verovatnoća da će biti keširan prilikom idućih upita.
__________________
blog
jablan je offline   Odgovorite uz citat
Staro 03. 12. 2012.   #4
tasmaniski
profesionalac
Professional
 
Datum učlanjenja: 08.11.2010
Poruke: 211
Hvala: 68
78 "Hvala" u 32 poruka
tasmaniski is on a distinguished road
Default

Ukoliko planiras da ti korisnici rade pretragu na 22m redova, zaboravi na bazu.

Ja koristim Search Lucene i odlican je http://lucene.apache.org/core/
Postoji klasa skoro za sve jezike.

Poslednja izmena od tasmaniski : 03. 12. 2012. u 14:34.
tasmaniski je offline   Odgovorite uz citat
Staro 14. 01. 2013.   #5
etelteam
novi član
Na probnom radu
 
Datum učlanjenja: 17.05.2012
Poruke: 18
Hvala: 4
0 "Hvala" u 0 poruka
etelteam is on a distinguished road
Default

I dalje pitanje oko optimizacije baze... Pretraga i iscitavanje podataka iz tabele koja se updejtuje na 2-3 min...

Imam tabelu sa 2 miliona unosa.
Neka se zove tabela 1. Takodje imam i tabelu arhiva, u kojoj preko crona stavljam podatke starije od 6 meseci.

U ovoj prvoj znaci imam 2 miliona unosa.
I sada imam neki module u kome radim statistiku. Pretrazivanje vrsim po jednom polju koji je primarni kljuc i index.
Napomena : tabela se updejtuje na 2-3 min.

Kada izaberem statistiku za danasnji dan (imam danasnji dan, nedelja, mesec, 6 meseci) ucitavanje traje oko 40 sekunde. I grupa korisnika bi trebalo da gleda statistiku.
Jedno od resenja je bilo i sql particije ali su one u WHERE upit podrzane od verzije 5.6, koja je u razvojnoj fazi.

http://lucene.apache.org/core/ -> ovo resenje je u razmatranje za sada. Vise me zanima dal moze jos nesto da se ucini po pitanju baze i pretrage.
etelteam je offline   Odgovorite uz citat
Staro 14. 01. 2013.   #6
robi-bobi
expert
Grand Master
 
Avatar robi-bobi
 
Datum učlanjenja: 05.10.2005
Lokacija: Sofia, Bulgaria
Poruke: 805
Hvala: 222
958 "Hvala" u 68 poruka
robi-bobi ima spektakularnu aururobi-bobi ima spektakularnu aururobi-bobi ima spektakularnu aururobi-bobi ima spektakularnu aururobi-bobi ima spektakularnu aururobi-bobi ima spektakularnu aururobi-bobi ima spektakularnu aururobi-bobi ima spektakularnu auru
Pošaljite poruku preko Skype™ za robi-bobi
Default

Citat:
Originalno napisao etelteam Pogledajte poruku
Kada izaberem statistiku za danasnji dan (imam danasnji dan, nedelja, mesec, 6 meseci) ucitavanje traje oko 40 sekunde.
pre nekoliko godina sam imao slican problem, pa sam stavljao po jedan index na dan, na mesec i na godinu (sve delovi datetime polja) kako bih mogao da imam upit sa recimo: prikazi podatke iz tekuceg meseca

kolega, koji je tad bio mnogo iskusniji, mi rece da ovo nije dobar pristup
medjutim - statistika radi i dan danas

inace, razmotri i neke druge baze, mislim da postgre ima particije
robi-bobi je offline   Odgovorite uz citat
Staro 03. 12. 2012.   #7
ivanhoe
Ivan Dilber
Sir Write-a-Lot
 
Avatar ivanhoe
 
Datum učlanjenja: 18.10.2005
Lokacija: Bgd
Poruke: 5.320
Hvala: 104
2.344 "Hvala" u 583 poruka
ivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svima
Pošaljite poruku preko Skype™ za ivanhoe
Default

^ @jablane: ovo o cemu on prica (prvi upit spor, drugi brz) je mysql query cache, naprosto se kesira rezultat upita i kad postavis isti taj upit ponovo, on ti ga vrati iz memorije.. (koliko ja znam) nema veze sa tim jel indexirana pretraga ili ne..

a posto mu pretaga traje 3 min. u lokalu verovatno upit ni ne koristi indexe ili je index prevelik da stane u cache
__________________
Leadership is the art of getting people to want to do what you know must be done.

Poslednja izmena od ivanhoe : 03. 12. 2012. u 17:40.
ivanhoe je offline   Odgovorite uz citat
Staro 03. 12. 2012.   #8
webarto
expert
Grand Master
 
Avatar webarto
 
Datum učlanjenja: 11.04.2010
Poruke: 998
Hvala: 141
959 "Hvala" u 153 poruka
webarto is on a distinguished roadwebarto is on a distinguished roadwebarto is on a distinguished roadwebarto is on a distinguished roadwebarto is on a distinguished roadwebarto is on a distinguished roadwebarto is on a distinguished roadwebarto is on a distinguished road
Default

http://dev.mysql.com/doc/refman/5.1/...-defaults.html my-huge.cnf

Probaj sa http://dev.mysql.com/doc/refman/5.1/...in-select.html znači...
Kôd:
SELECT SQL_NO_CACHE id, ime FROM tabela;
I mislim da neće vratiti tako brzo

Postavi query koji koristiš, i postavi output od EXPLAIN EXTENDED...
__________________
Github // LinkedIn // PHP // ZCE // Stackoverflow PHP // Site5 Web Hosting
webarto je offline   Odgovorite uz citat
Staro 03. 12. 2012.   #9
mileusna
Super Moderator
Knowledge base
 
Datum učlanjenja: 21.03.2006
Lokacija: Kragujevac
Poruke: 1.878
Hvala: 291
1.345 "Hvala" u 355 poruka
mileusna je jednostavno dobarmileusna je jednostavno dobarmileusna je jednostavno dobarmileusna je jednostavno dobarmileusna je jednostavno dobarmileusna je jednostavno dobarmileusna je jednostavno dobarmileusna je jednostavno dobarmileusna je jednostavno dobarmileusna je jednostavno dobar
Default

Čak i da je isključen query keš, kada se isti upit ponovi dva puta zaredom, drugi upit će u većini slučajeva biti brži nego prvi. Fora je što i sam sql povuče neke ključeve i tabele u memoriju, i file system nešto pomalo kešira itd. itd. i rezultat obično uvek bude brži nego prvog puta.
mileusna je offline   Odgovorite uz citat
Staro 04. 12. 2012.   #10
jablan
VD IT Direktora
Invented the damn thing
 
Avatar jablan
 
Datum učlanjenja: 08.06.2005
Lokacija: Beograd
Poruke: 2.118
Hvala: 503
1.307 "Hvala" u 282 poruka
jablan je pravi dragi kamenjablan je pravi dragi kamenjablan je pravi dragi kamenjablan je pravi dragi kamenjablan je pravi dragi kamenjablan je pravi dragi kamenjablan je pravi dragi kamenjablan je pravi dragi kamenjablan je pravi dragi kamenjablan je pravi dragi kamen
Default

^ Da, na ovo sam ja mislio (keširanje indexa), zaboravio sam na keširanje rezultata.
__________________
blog
jablan je offline   Odgovorite uz citat
Odgovori



Pravila pisanja
Možete ne započinjati nove teme
Možete ne slati odgovore
Možete ne slati priloge
Možete ne izmeniti svoje poruke
vB kôd je Uključen
Smajliji su Uključen
[IMG] kod je Uključen
HTML kôd je Isključen
Pogledajte forum


Vreme je GMT +2. Trenutno vreme je 01:31.


Powered by vBulletin® Verzija 3.6.8
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
Copyright © DevProTalk. All Rights Reserved.
Mišljenja, saveti, izjave, ponude ili druge informacije ili sadržaji nastali na Sajtu su vlasništvo onoga ko ih je kreirao, a ne DevProTalk.com, tako da ne morate da se oslanjate na njih.
Autori poruka su jedini odgovorni za ovakve sadržaje. DevProTalk.com ne garantuje tačnost, kompletnost ili upotrebnu vrednost informacija, stavova, saveta ili datih izjava. Ne postoje uslovi pod kojima bi mi bili odgovorni za štetu ili gubitak koji je posledica bilo čijeg oslanjanja na nepouzdane informacije, ili bilo kakve informacije nastale kroz komunikaciju između registrovanih članova.
Web sajt može sadržavati linkove na druge web sajtove na Internetu ili neke druge sadržaje. Ne kontrolišemo niti podržavamo te druge web sajtove, niti smo pregledali bilo kakve sadržaje na takvim sajtovima. Mi nećemo biti odgovorni za legalnost, tačnost ili prikladnost bilo kog sadržaja, oglasa, proizvoda, usluga ili informacije lociranim na ili distribuiranih kroz druge web sajtove, niti za bilo kakvu štetu nastalu kao posledica takvih informacija. DevProTalk.com drži i čuva druga prava vlasništva na web sajtu. Web sajt sadrže materijale zaštićene copyright-om, zaštitne znakove i druge informacije o pravu vlasništva ili softver. Članovi mogu poslatu informacije zaštićene pravima vlasništva njihovih nosilaca i ona ostaju zaštićena bez obzira da li su oni koji prenose te informacije to naveli ili ne. Osim informacija koje su u javnom vlasništvu ili za koje dobijete dozvolu, nemate pravo da kopirate, modifikujete ili na bilo koji način menjate, objavljujete, prenosite, distribuirate, izvršavate, prikazujete ili prodajte bilo koju informaciju zaštićenu pravima vlasništva. Slanjem informacija ili sadržaja na bilo koji deo DevProTalk.com, Vi automatski dozvoljavate i predstavljate garanciju da imate pravo da dozvolite DevProTalk.com ili članovima DevProTalk.com bespovratnu, kontinualnu, neograničenu, globalnu dozvolu da koriste, kopiraju, izvršavaju, prikazuju i distribuiraju takve informacije i sadržaje i da iz takvih sadžaja koriste bilo koji deo u bilo koje svrhe, kao i pravo i dozvolu da koriste gore navedene sadržaje. Svi zaštitni znakovi (trademarks), logotipi, oznake usluga, firme ili imena proizvoda koji se pominju na ovom web sajtu su vlasništvo kojim raspolažu njihovi vlasnici.