uzasno spor obican select upit , tabela 1GB sa 700000 redova

[apash86]

vise ne znam sta da optimizujem kad obican select traje i vise od minut, server je sa 8gb ram, mysql 5.1.58

tabela ima 700000rows

npr ovaj upit
SELECT record_num,title FROM content ORDER BY record_num DESC LIMIT 668936,36

first time execution: 175sec!!!
Showing rows 0 - 29 ( 36 total, Query took 175.9067 sec)

second time is ok
Showing rows 0 - 29 ( 36 total, Query took 0.0003 sec)

svi ovi upiti se PRVI put uzasno sporo izvrsavaju, dok kad se refreshuju ili opet izvrsi ISTI upit onda sve bude normalno oko 1sec

SELECT record_num,title FROM content ORDER BY record_num DESC LIMIT 587456,36
SELECT record_num,title FROM content ORDER BY record_num DESC LIMIT 452369,36
SELECT record_num,title FROM content ORDER BY record_num DESC LIMIT 698745,36


isto se desava sa fulltext pretragom, prvi put katastrofa, dok sledeci put bolje

koristi se memcache na serveru, ali dzabe to kad se prvi put ceka ogromno vreme
.
svaka pomoc dobrodosla!


znam za resenje WHERE record_num >698745 AND record_num <698835

ali to ne mogu da odradim jer ima "rupa" medju record_num, a i da to odradim za select ne bih mogao za fulltext search

[salebab]

A WHERE record_num > 698745 LIMIT 36 ?

Uvek za taj broj uzmeš poslednji row iz prethodnog upita...

Ili, da koristiš dodatnu tabelu, evo ti primer:
http://stackoverflow.com/questions/1...e-limit-clause

[apash86]

moze i tako ali opet to samo malo skracuje vreme u zavisnosti gde je taj ID jel na pocetku ili pri kraju tabele

resio sam da cu ici ipak sa
WHERE record_num >698745 AND record_num <698835 , pa neka bude poneka rupa, nema ih vise od 400-500, a to je zanemarljivo

ali sad ostaje veci problem, sta sa fulltext pretragom?

SELECT record_num,title, (MATCH (title,keywords) AGAINST ('interracial' IN BOOLEAN MODE)) as score FROM content WHERE MATCH (title, keywords) AGAINST ('interracial' IN BOOLEAN MODE) HAVING score > 0 ORDER BY content.record_num DESC LIMIT 456859,36

ovde moram koristiti LIMIT , ne znam kako drugacije?

[dinke]

Index na record_num polju postoji?

Dalje, koliko se secam kad radis nesto ovako, MySQL "svlaci" prvih X slogova do setovanog offseta (prvi parametar u limitu) pa tek onda vrati slogove sa tog mesta.

Pogledaj ovaj link, mozda iskopas nesto korisno:

http://www.mysqlperformanceblog.com/...-optimization/

[ivanhoe]

to ti je zbog ORDER BY, on mora uvek da prvo sortira svih 700K redova...

imas dva resenja, ili da smanjis broj redova kao sto kaze salebab, ili da optimizujes indexe na tabeli tako da se sortiranje radi na indexima direktno. Tu je takodje bitno i da mysql ima dovoljno memorije da mu ceo index stane u memoriju.

dodaj EXPLAIN ispred upita pa vidi sta ce da ti kaze... i procitaj ovo

EDIT: pretece me dinke

EDIT2: Da ne pravim novu poruku, za FULLTEXT ti je isti problem, jer sam full text search je jako brz, ali verovatno interracial (hmm, cime se ti to bavis? ) vrati previse rezultata...

[apash86]

orderby ne verujem da je problem, i bez njega je ista situacija

problem je kao sto kazete kada se koristi limit onda prodje kroz celu tabelu i uzme samo x zadnjih

explain SELECT record_num,title FROM content ORDER BY record_num DESC LIMIT 718745,36

id 	select_type 	table 	type 	possible_keys 	key 	key_len 	ref 	rows 	Extra
1 	SIMPLE 	content 	ALL 	NULL	NULL	NULL	NULL	702900 	Using filesort

explain SELECT record_num,title FROM content WHERE record_num>718745 AND record_num<718845 ORDER BY record_num DESC

id 	select_type 	table 	type 	possible_keys 	key 	key_len 	ref 	rows 	Extra
1 	SIMPLE 	content 	range 	PRIMARY 	PRIMARY 	8 	NULL	1 	Using where

recimo da je ovaj problem sa select resen na ovaj nacin, ostaje veci problem sa fulltext pretragom gde moram koristiti LIMIT ?

EDIT2: Da ne pravim novu poruku, za FULLTEXT ti je isti problem, jer sam full text search je jako brz, ali verovatno interracial (hmm, cime se ti to bavis? ) vrati previse rezultata...

a da li postoji nekako nacin da ogranicim fulltext pretragu da pretrazuje samo dok ne skupi npr 10000 pogodaka, ili nesto slicno?

radim sa nekim adult spajderima, sve je bilo dobro dok poseta i baza nije bila velika, sad je problem to optimizovati, a klijent je spreman uzeti i poseban server za mysql ali opet mislim da ovo i nije nesto velika baza pa da ne moze izdrzati..


pogledacu ove linkove, ali mislim da sam ih vec sigurno prosao jer vec 2-3 dana samo to gledam

[apash86]

pogledao sam one linkove, ali to recimo da je reseno, dajte neku literaturu za
fulltext + big table + LIMIT + orderby , google mi nista korisno nije dao

[agvozden]

Mozes li da postavis Create Table da bi videli kako je kreirana tabela i indeksi?

[apash86]

testiram samo sa ovim jednim osnovnim poljem, tako da druga ne bi trebala ni da uticu ni na sta

CREATE TABLE IF NOT EXISTS `content` (
`title` varchar(255) NOT NULL DEFAULT '',
`filename` varchar(255) NOT NULL DEFAULT '',
`orig_filename` varchar(255) NOT NULL,
`thumbnail` varchar(255) NOT NULL DEFAULT '',
`embed` text NOT NULL,
`description` text NOT NULL,
`paysite` int(11) NOT NULL DEFAULT '0',
`keywords` varchar(255) NOT NULL,
`pornstars` varchar(255) NOT NULL DEFAULT '',
`scheduled_date` date NOT NULL DEFAULT '0000-00-00',
`date_added` datetime NOT NULL DEFAULT '0000-00-00 00:00:00',
`encoded_date` datetime NOT NULL,
`rating` varchar(5) NOT NULL DEFAULT '0',
`length` int(11) NOT NULL DEFAULT '0',
`submitter` int(11) NOT NULL DEFAULT '0',
`ip` varchar(15) NOT NULL,
`approved` int(11) NOT NULL DEFAULT '0',
`hotlinked` varchar(255) NOT NULL DEFAULT '0',
`enabled` int(11) NOT NULL DEFAULT '0',
`main_thumb` int(11) NOT NULL DEFAULT '3',
`xml` varchar(32) NOT NULL,
`photos` int(11) NOT NULL DEFAULT '0',
`record_num` bigint(11) NOT NULL AUTO_INCREMENT,
`source` varchar(200) NOT NULL,
`source_url` varchar(250) NOT NULL,
`video_hash` varchar(250) NOT NULL,
`duration` varchar(100) NOT NULL,
`cdate` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,
`seo_url` varchar(250) NOT NULL,
`source_thumb` varchar(250) NOT NULL,
`pornstar` varchar(250) NOT NULL,
`img_exist` int(1) NOT NULL,
`temp` varchar(50) NOT NULL,
`views` bigint(20) NOT NULL,
`niche` int(11) NOT NULL,
PRIMARY KEY (`record_num`),
KEY `rating` (`rating`),
KEY `length` (`length`),
KEY `approved` (`approved`),
KEY `enabled` (`enabled`),
KEY `source` (`source`),
KEY `video_hash` (`video_hash`),
KEY `duration` (`duration`),
KEY `views` (`views`),
KEY `niche` (`niche`),
FULLTEXT KEY `title` (`title`,`keywords`)
) ENGINE=MyISAM DEFAULT CHARSET=latin1 AUTO_INCREMENT=715228 ;

[ivanhoe]

Koliko ja znam, boolean fulltext ne bi trebalo da automatski sortira rezultate po relevance, sto znaci da bi trebalo da radi jako brzo. Ja imam u jednoj firmi foto-arhivu sa 2M rekorda i to radi pristojno brzo...

znaci mora da bude problem ili sa necim drugim u upitu ili sa samom bazom (da je index prevelik, pa ne staje u memoriju)

Najbolji izvor informacija ti je mysql dokumentacija i stackoverflow.com

EDIT: Nama treba chat ovde, prebrzo idu odgovori

EDIT 2: probaj da koristis ORDER BY score, pa vidi jel onda brze...