DevProTalk

Forumi IT profesionalaca
web development, web design, e-business, SEO


Idite nazad   DevProTalk > Web development i web aplikacije > SQL baze podataka - Sponzor: Baze-Podataka.net
Želite da se reklamirate ekskluzivno na ovoj poziciji? Javite se

SQL baze podataka - Sponzor: Baze-Podataka.net MySQL, MSSQL, Oracle, Access, ODBC. Ako imate problem brže i preciznije ćete dobiti odgovor ako priložite strukturu tabela ili skript koji kreira tabele i puni ih test podacima umesto što to problem opisujete samo rečima. Sponzor: Baze-Podataka.net - Blog o bazama podataka

Odgovori
 
Alati teme Način prikaza
Staro 07. 11. 2011.   #1
apash86
član
Na probnom radu
 
Datum učlanjenja: 08.07.2008
Lokacija: Jagodina
Poruke: 42
Hvala: 0
4 "Hvala" u 4 poruka
apash86 is on a distinguished road
Default uzasno spor obican select upit , tabela 1GB sa 700000 redova

vise ne znam sta da optimizujem kad obican select traje i vise od minut, server je sa 8gb ram, mysql 5.1.58

tabela ima 700000rows

npr ovaj upit
SELECT record_num,title FROM content ORDER BY record_num DESC LIMIT 668936,36

first time execution: 175sec!!!
Showing rows 0 - 29 ( 36 total, Query took 175.9067 sec)

second time is ok
Showing rows 0 - 29 ( 36 total, Query took 0.0003 sec)

svi ovi upiti se PRVI put uzasno sporo izvrsavaju, dok kad se refreshuju ili opet izvrsi ISTI upit onda sve bude normalno oko 1sec

SELECT record_num,title FROM content ORDER BY record_num DESC LIMIT 587456,36
SELECT record_num,title FROM content ORDER BY record_num DESC LIMIT 452369,36
SELECT record_num,title FROM content ORDER BY record_num DESC LIMIT 698745,36


isto se desava sa fulltext pretragom, prvi put katastrofa, dok sledeci put bolje

koristi se memcache na serveru, ali dzabe to kad se prvi put ceka ogromno vreme
.
svaka pomoc dobrodosla!


znam za resenje WHERE record_num >698745 AND record_num <698835

ali to ne mogu da odradim jer ima "rupa" medju record_num, a i da to odradim za select ne bih mogao za fulltext search
apash86 je offline   Odgovorite uz citat
Staro 07. 11. 2011.   #2
salebab
profesionalac
Qualified
 
Avatar salebab
 
Datum učlanjenja: 10.11.2006
Lokacija: Beograd
Poruke: 102
Hvala: 19
21 "Hvala" u 18 poruka
salebab is on a distinguished road
Pošaljite ICQ poruku za salebab Pošaljite poruku preko MSN za salebab
Default

A WHERE record_num > 698745 LIMIT 36 ?

Uvek za taj broj uzmeš poslednji row iz prethodnog upita...

Ili, da koristiš dodatnu tabelu, evo ti primer:
http://stackoverflow.com/questions/1...e-limit-clause
__________________
www.salebab.net

Poslednja izmena od salebab : 07. 11. 2011. u 22:15.
salebab je offline   Odgovorite uz citat
Staro 07. 11. 2011.   #3
apash86
član
Na probnom radu
 
Datum učlanjenja: 08.07.2008
Lokacija: Jagodina
Poruke: 42
Hvala: 0
4 "Hvala" u 4 poruka
apash86 is on a distinguished road
Default

moze i tako ali opet to samo malo skracuje vreme u zavisnosti gde je taj ID jel na pocetku ili pri kraju tabele

resio sam da cu ici ipak sa
WHERE record_num >698745 AND record_num <698835 , pa neka bude poneka rupa, nema ih vise od 400-500, a to je zanemarljivo

ali sad ostaje veci problem, sta sa fulltext pretragom?

Citat:
SELECT record_num,title, (MATCH (title,keywords) AGAINST ('interracial' IN BOOLEAN MODE)) as score FROM content WHERE MATCH (title, keywords) AGAINST ('interracial' IN BOOLEAN MODE) HAVING score > 0 ORDER BY content.record_num DESC LIMIT 456859,36
ovde moram koristiti LIMIT , ne znam kako drugacije?
apash86 je offline   Odgovorite uz citat
Staro 07. 11. 2011.   #4
dinke
Super Moderator
Invented the damn thing
 
Avatar dinke
 
Datum učlanjenja: 06.06.2005
Poruke: 2.371
Hvala: 370
701 "Hvala" u 194 poruka
dinke je pravi dragi kamendinke je pravi dragi kamendinke je pravi dragi kamendinke je pravi dragi kamendinke je pravi dragi kamendinke je pravi dragi kamendinke je pravi dragi kamen
Default

Index na record_num polju postoji?

Dalje, koliko se secam kad radis nesto ovako, MySQL "svlaci" prvih X slogova do setovanog offseta (prvi parametar u limitu) pa tek onda vrati slogove sa tog mesta.

Pogledaj ovaj link, mozda iskopas nesto korisno:

http://www.mysqlperformanceblog.com/...-optimization/
__________________
Caught in a Web|Blogodak
With great power comes great responsibility!
dinke je offline   Odgovorite uz citat
Staro 07. 11. 2011.   #5
ivanhoe
Ivan Dilber
Sir Write-a-Lot
 
Avatar ivanhoe
 
Datum učlanjenja: 18.10.2005
Lokacija: Bgd
Poruke: 5.320
Hvala: 104
2.344 "Hvala" u 583 poruka
ivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svima
Pošaljite poruku preko Skype™ za ivanhoe
Default

to ti je zbog ORDER BY, on mora uvek da prvo sortira svih 700K redova...

imas dva resenja, ili da smanjis broj redova kao sto kaze salebab, ili da optimizujes indexe na tabeli tako da se sortiranje radi na indexima direktno. Tu je takodje bitno i da mysql ima dovoljno memorije da mu ceo index stane u memoriju.

dodaj EXPLAIN ispred upita pa vidi sta ce da ti kaze... i procitaj ovo

EDIT: pretece me dinke

EDIT2: Da ne pravim novu poruku, za FULLTEXT ti je isti problem, jer sam full text search je jako brz, ali verovatno interracial (hmm, cime se ti to bavis? ) vrati previse rezultata...
__________________
Leadership is the art of getting people to want to do what you know must be done.

Poslednja izmena od ivanhoe : 07. 11. 2011. u 22:31.
ivanhoe je offline   Odgovorite uz citat
Staro 07. 11. 2011.   #6
apash86
član
Na probnom radu
 
Datum učlanjenja: 08.07.2008
Lokacija: Jagodina
Poruke: 42
Hvala: 0
4 "Hvala" u 4 poruka
apash86 is on a distinguished road
Default

orderby ne verujem da je problem, i bez njega je ista situacija

problem je kao sto kazete kada se koristi limit onda prodje kroz celu tabelu i uzme samo x zadnjih

explain SELECT record_num,title FROM content ORDER BY record_num DESC LIMIT 718745,36

Kôd:
id 	select_type 	table 	type 	possible_keys 	key 	key_len 	ref 	rows 	Extra
1 	SIMPLE 	content 	ALL 	NULL	NULL	NULL	NULL	702900 	Using filesort
explain SELECT record_num,title FROM content WHERE record_num>718745 AND record_num<718845 ORDER BY record_num DESC

Kôd:
id 	select_type 	table 	type 	possible_keys 	key 	key_len 	ref 	rows 	Extra
1 	SIMPLE 	content 	range 	PRIMARY 	PRIMARY 	8 	NULL	1 	Using where

recimo da je ovaj problem sa select resen na ovaj nacin, ostaje veci problem sa fulltext pretragom gde moram koristiti LIMIT ?


Citat:
EDIT2: Da ne pravim novu poruku, za FULLTEXT ti je isti problem, jer sam full text search je jako brz, ali verovatno interracial (hmm, cime se ti to bavis? ) vrati previse rezultata...
a da li postoji nekako nacin da ogranicim fulltext pretragu da pretrazuje samo dok ne skupi npr 10000 pogodaka, ili nesto slicno?

radim sa nekim adult spajderima, sve je bilo dobro dok poseta i baza nije bila velika, sad je problem to optimizovati, a klijent je spreman uzeti i poseban server za mysql ali opet mislim da ovo i nije nesto velika baza pa da ne moze izdrzati..


pogledacu ove linkove, ali mislim da sam ih vec sigurno prosao jer vec 2-3 dana samo to gledam
apash86 je offline   Odgovorite uz citat
Staro 07. 11. 2011.   #7
apash86
član
Na probnom radu
 
Datum učlanjenja: 08.07.2008
Lokacija: Jagodina
Poruke: 42
Hvala: 0
4 "Hvala" u 4 poruka
apash86 is on a distinguished road
Default

pogledao sam one linkove, ali to recimo da je reseno, dajte neku literaturu za
fulltext + big table + LIMIT + orderby , google mi nista korisno nije dao
apash86 je offline   Odgovorite uz citat
Staro 07. 11. 2011.   #8
agvozden
profesionalac
Qualified
 
Datum učlanjenja: 16.02.2006
Poruke: 129
Hvala: 25
15 "Hvala" u 14 poruka
agvozden is on a distinguished road
Pošaljite poruku preko Skype™ za agvozden
Default

Mozes li da postavis Create Table da bi videli kako je kreirana tabela i indeksi?
__________________
moj blog | moj veb sajt | moj gradic | moj region
agvozden je offline   Odgovorite uz citat
Staro 07. 11. 2011.   #9
apash86
član
Na probnom radu
 
Datum učlanjenja: 08.07.2008
Lokacija: Jagodina
Poruke: 42
Hvala: 0
4 "Hvala" u 4 poruka
apash86 is on a distinguished road
Default

testiram samo sa ovim jednim osnovnim poljem, tako da druga ne bi trebala ni da uticu ni na sta

Citat:
CREATE TABLE IF NOT EXISTS `content` (
`title` varchar(255) NOT NULL DEFAULT '',
`filename` varchar(255) NOT NULL DEFAULT '',
`orig_filename` varchar(255) NOT NULL,
`thumbnail` varchar(255) NOT NULL DEFAULT '',
`embed` text NOT NULL,
`description` text NOT NULL,
`paysite` int(11) NOT NULL DEFAULT '0',
`keywords` varchar(255) NOT NULL,
`pornstars` varchar(255) NOT NULL DEFAULT '',
`scheduled_date` date NOT NULL DEFAULT '0000-00-00',
`date_added` datetime NOT NULL DEFAULT '0000-00-00 00:00:00',
`encoded_date` datetime NOT NULL,
`rating` varchar(5) NOT NULL DEFAULT '0',
`length` int(11) NOT NULL DEFAULT '0',
`submitter` int(11) NOT NULL DEFAULT '0',
`ip` varchar(15) NOT NULL,
`approved` int(11) NOT NULL DEFAULT '0',
`hotlinked` varchar(255) NOT NULL DEFAULT '0',
`enabled` int(11) NOT NULL DEFAULT '0',
`main_thumb` int(11) NOT NULL DEFAULT '3',
`xml` varchar(32) NOT NULL,
`photos` int(11) NOT NULL DEFAULT '0',
`record_num` bigint(11) NOT NULL AUTO_INCREMENT,
`source` varchar(200) NOT NULL,
`source_url` varchar(250) NOT NULL,
`video_hash` varchar(250) NOT NULL,
`duration` varchar(100) NOT NULL,
`cdate` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,
`seo_url` varchar(250) NOT NULL,
`source_thumb` varchar(250) NOT NULL,
`pornstar` varchar(250) NOT NULL,
`img_exist` int(1) NOT NULL,
`temp` varchar(50) NOT NULL,
`views` bigint(20) NOT NULL,
`niche` int(11) NOT NULL,
PRIMARY KEY (`record_num`),
KEY `rating` (`rating`),
KEY `length` (`length`),
KEY `approved` (`approved`),
KEY `enabled` (`enabled`),
KEY `source` (`source`),
KEY `video_hash` (`video_hash`),
KEY `duration` (`duration`),
KEY `views` (`views`),
KEY `niche` (`niche`),
FULLTEXT KEY `title` (`title`,`keywords`)
) ENGINE=MyISAM DEFAULT CHARSET=latin1 AUTO_INCREMENT=715228 ;
apash86 je offline   Odgovorite uz citat
Staro 08. 11. 2011.   #10
ivanhoe
Ivan Dilber
Sir Write-a-Lot
 
Avatar ivanhoe
 
Datum učlanjenja: 18.10.2005
Lokacija: Bgd
Poruke: 5.320
Hvala: 104
2.344 "Hvala" u 583 poruka
ivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svima
Pošaljite poruku preko Skype™ za ivanhoe
Default

Koliko ja znam, boolean fulltext ne bi trebalo da automatski sortira rezultate po relevance, sto znaci da bi trebalo da radi jako brzo. Ja imam u jednoj firmi foto-arhivu sa 2M rekorda i to radi pristojno brzo...

znaci mora da bude problem ili sa necim drugim u upitu ili sa samom bazom (da je index prevelik, pa ne staje u memoriju)

Najbolji izvor informacija ti je mysql dokumentacija i stackoverflow.com

EDIT: Nama treba chat ovde, prebrzo idu odgovori

EDIT 2: probaj da koristis ORDER BY score, pa vidi jel onda brze...
__________________
Leadership is the art of getting people to want to do what you know must be done.

Poslednja izmena od ivanhoe : 08. 11. 2011. u 00:11.
ivanhoe je offline   Odgovorite uz citat
Odgovori


Alati teme
Način prikaza

Pravila pisanja
Možete ne započinjati nove teme
Možete ne slati odgovore
Možete ne slati priloge
Možete ne izmeniti svoje poruke
vB kôd je Uključen
Smajliji su Uključen
[IMG] kod je Uključen
HTML kôd je Isključen
Pogledajte forum


Vreme je GMT +2. Trenutno vreme je 00:43.


Powered by vBulletin® Verzija 3.6.8
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
Copyright © DevProTalk. All Rights Reserved.
Mišljenja, saveti, izjave, ponude ili druge informacije ili sadržaji nastali na Sajtu su vlasništvo onoga ko ih je kreirao, a ne DevProTalk.com, tako da ne morate da se oslanjate na njih.
Autori poruka su jedini odgovorni za ovakve sadržaje. DevProTalk.com ne garantuje tačnost, kompletnost ili upotrebnu vrednost informacija, stavova, saveta ili datih izjava. Ne postoje uslovi pod kojima bi mi bili odgovorni za štetu ili gubitak koji je posledica bilo čijeg oslanjanja na nepouzdane informacije, ili bilo kakve informacije nastale kroz komunikaciju između registrovanih članova.
Web sajt može sadržavati linkove na druge web sajtove na Internetu ili neke druge sadržaje. Ne kontrolišemo niti podržavamo te druge web sajtove, niti smo pregledali bilo kakve sadržaje na takvim sajtovima. Mi nećemo biti odgovorni za legalnost, tačnost ili prikladnost bilo kog sadržaja, oglasa, proizvoda, usluga ili informacije lociranim na ili distribuiranih kroz druge web sajtove, niti za bilo kakvu štetu nastalu kao posledica takvih informacija. DevProTalk.com drži i čuva druga prava vlasništva na web sajtu. Web sajt sadrže materijale zaštićene copyright-om, zaštitne znakove i druge informacije o pravu vlasništva ili softver. Članovi mogu poslatu informacije zaštićene pravima vlasništva njihovih nosilaca i ona ostaju zaštićena bez obzira da li su oni koji prenose te informacije to naveli ili ne. Osim informacija koje su u javnom vlasništvu ili za koje dobijete dozvolu, nemate pravo da kopirate, modifikujete ili na bilo koji način menjate, objavljujete, prenosite, distribuirate, izvršavate, prikazujete ili prodajte bilo koju informaciju zaštićenu pravima vlasništva. Slanjem informacija ili sadržaja na bilo koji deo DevProTalk.com, Vi automatski dozvoljavate i predstavljate garanciju da imate pravo da dozvolite DevProTalk.com ili članovima DevProTalk.com bespovratnu, kontinualnu, neograničenu, globalnu dozvolu da koriste, kopiraju, izvršavaju, prikazuju i distribuiraju takve informacije i sadržaje i da iz takvih sadžaja koriste bilo koji deo u bilo koje svrhe, kao i pravo i dozvolu da koriste gore navedene sadržaje. Svi zaštitni znakovi (trademarks), logotipi, oznake usluga, firme ili imena proizvoda koji se pominju na ovom web sajtu su vlasništvo kojim raspolažu njihovi vlasnici.