uzasno spor obican select upit , tabela 1GB sa 700000 redova

[apash86]

testiram samo sa ovim jednim osnovnim poljem, tako da druga ne bi trebala ni da uticu ni na sta

CREATE TABLE IF NOT EXISTS `content` (
`title` varchar(255) NOT NULL DEFAULT '',
`filename` varchar(255) NOT NULL DEFAULT '',
`orig_filename` varchar(255) NOT NULL,
`thumbnail` varchar(255) NOT NULL DEFAULT '',
`embed` text NOT NULL,
`description` text NOT NULL,
`paysite` int(11) NOT NULL DEFAULT '0',
`keywords` varchar(255) NOT NULL,
`pornstars` varchar(255) NOT NULL DEFAULT '',
`scheduled_date` date NOT NULL DEFAULT '0000-00-00',
`date_added` datetime NOT NULL DEFAULT '0000-00-00 00:00:00',
`encoded_date` datetime NOT NULL,
`rating` varchar(5) NOT NULL DEFAULT '0',
`length` int(11) NOT NULL DEFAULT '0',
`submitter` int(11) NOT NULL DEFAULT '0',
`ip` varchar(15) NOT NULL,
`approved` int(11) NOT NULL DEFAULT '0',
`hotlinked` varchar(255) NOT NULL DEFAULT '0',
`enabled` int(11) NOT NULL DEFAULT '0',
`main_thumb` int(11) NOT NULL DEFAULT '3',
`xml` varchar(32) NOT NULL,
`photos` int(11) NOT NULL DEFAULT '0',
`record_num` bigint(11) NOT NULL AUTO_INCREMENT,
`source` varchar(200) NOT NULL,
`source_url` varchar(250) NOT NULL,
`video_hash` varchar(250) NOT NULL,
`duration` varchar(100) NOT NULL,
`cdate` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,
`seo_url` varchar(250) NOT NULL,
`source_thumb` varchar(250) NOT NULL,
`pornstar` varchar(250) NOT NULL,
`img_exist` int(1) NOT NULL,
`temp` varchar(50) NOT NULL,
`views` bigint(20) NOT NULL,
`niche` int(11) NOT NULL,
PRIMARY KEY (`record_num`),
KEY `rating` (`rating`),
KEY `length` (`length`),
KEY `approved` (`approved`),
KEY `enabled` (`enabled`),
KEY `source` (`source`),
KEY `video_hash` (`video_hash`),
KEY `duration` (`duration`),
KEY `views` (`views`),
KEY `niche` (`niche`),
FULLTEXT KEY `title` (`title`,`keywords`)
) ENGINE=MyISAM DEFAULT CHARSET=latin1 AUTO_INCREMENT=715228 ;

[ivanhoe]

Koliko ja znam, boolean fulltext ne bi trebalo da automatski sortira rezultate po relevance, sto znaci da bi trebalo da radi jako brzo. Ja imam u jednoj firmi foto-arhivu sa 2M rekorda i to radi pristojno brzo...

znaci mora da bude problem ili sa necim drugim u upitu ili sa samom bazom (da je index prevelik, pa ne staje u memoriju)

Najbolji izvor informacija ti je mysql dokumentacija i stackoverflow.com

EDIT: Nama treba chat ovde, prebrzo idu odgovori

EDIT 2: probaj da koristis ORDER BY score, pa vidi jel onda brze...

[dinke]

Mozes da smanjis record_num polje sa big int na neki manji int, a ostala int polja ako da takodje korigujes u skladu sa vrednostima koje se trebaju unositi.

Takodje za order je neophodan index, tako da ga moras kreirati (record_num polje), trenutno ga nemas.

[apash86]

tu je index nego 10puta sam brisao sve indexe i optimizovao bazu. skratio sam bigint i ostale int/varchar/text polja na minimum ali opet sve isto, pvi put za upit treba i vise od 100sec, dok svaki sledeci radi ispod 1s

evo i config od mysql, mislim da je i on ok

[mysqld]
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock
user=mysql
tmpdir=/tmp_sql
max_connections=300
max_allowed_packet = 8000M
max_connections = 100
key_buffer_size = 1000M
myisam_sort_buffer_size = 72M
myisam_max_sort_file_size = 2048M
join_buffer_size = 3M
read_buffer_size = 2M
sort_buffer_size = 3M
table_cache = 10000
thread_cache_size = 384
wait_timeout = 30
interactive_timeout = 60
connect_timeout = 10
tmp_table_size = 128M
max_heap_table_size = 128M
max_allowed_packet = 128M
max_seeks_for_key = 1000
group_concat_max_len = 1024
net_buffer_length = 16384
max_connect_errors = 100000
concurrent_insert = 2
read_rnd_buffer_size = 786432
bulk_insert_buffer_size = 8M
query_cache_limit = 2M
query_cache_size = 64M
query_cache_type = 1
query_prealloc_size = 262144
query_alloc_block_size = 65536
range_alloc_block_size = 4096
transaction_alloc_block_size = 8192
transaction_prealloc_size = 4096
default-storage-engine = MyISAM
max_write_lock_count = 8
slow_query_log=1
long_query_time=30

# Disabling symbolic-links is recommended to prevent assorted security risks
symbolic-links=0

[mysqld_safe]
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid

instalirao sam sad sphinx pa cu videti da kroz njega ide pretraga, posto stvarno vise nemam ideju sta da radim

[nixa]

bolje probaj Apache Lucene ...

[apash86]

cini mi se da je lighttpd server

jedno brzinsko pitanje, ako je "record_num" primary key, onda on nema potrebe da se opet definise kao index?!

[dinke]

nema potrebe, sorry nisam video gore da ti je record_num zapravo primary key.

[cvele]

@dinke

Da li si siguran da definisana velicina polja u mysql-u (i vecini drugih db) ima bilo kakav uticaj na brzinu ?

Koliko sam ja upucen signed pretpostavlja vrednosti od -2147483648 do 2147483647, a unsigned 0 do 4294967295. Mozda gresim ali zar nije velicina polja tu samo radi validacije pri unosu i slicnih stvari ?

[webarto]

SELECT * FROM forum_posts ORDER BY pid DESC LIMIT 668936,36
Showing rows 0 - 29 ( 36 total, Query took 0.7483 sec) [pid: 201054 - 201011]

SELECT pid,post FROM forum_posts ORDER BY pid DESC LIMIT 668936,36
Showing rows 0 - 29 ( 36 total, Query took 0.1019 sec) [pid: 201054 - 201011]

Tabela slična, odnosno oko 1 000 000 redova i malo jače od 1GB...

[apash86]

Originalno napisao webarto

Tabela slična, odnosno oko 1 000 000 redova i malo jače od 1GB...

to su rezultati za prvi put kad se izvrsava upit?

tek sad mi nije jasno sto se onako sporo izvrsava, moracu da jurim sys admina da pogleda mysql