PHP brzi od MySQL-a u izvlacenju lookup vrednosti?!?!?

[Pedja]

Nesto diskutovah sa prijateljem i on mi na delu pokaza da je PHP brzi do MySQL-a u izvlacenju lookup vrednosti iz sifarnika.

Radi se o sledecem. Imamo dve tabele:

master (
master_id int(10) unsigned NOT NULL auto_increment,
category_id int(10) unsigned ,
PRIMARY KEY (master_id)

i

categories (
category_id int(10) unsigned NOT NULL DEFAULT '0' ,
description varchar(30) ,
PRIMARY KEY (category_id)


Tabela master ima veliki broj slogova, a potrebno je prikazati sve slogove tako da se umesto category_id prikazuje categories.description.

Ja sam zagovarao da to treba uraditi preko SQL JOIN a on da je bolje prvo pokupiti vrednosti iz categories u array, ond auraditi select iz master i priliom prikazivanaj svakog sloga, rucno iz array vaditi description i prikazivati ga.

Covek je napravio test i pokazao da stvarno PHP to radi znacajno brze nego SQL JOIN.

U prilogu je arhiva sa testom, tako da mozete i sami da probate.

Ja sve mislim da tu ima neka kvaka, mada mi nije jasno koja. Obratio sam paznju, i cak je zauzece memorije otprilike podjednako kada se radi na oba nacina, samo sto PHP to uradi brze.

U testu imate skript koji generise testne podatke, u jednom prolazu puni bazu sa 40000 slogova. Ako zelite vise slogova samo vise puta pokrenite taj skript.

Na vecem broju slogova PHP ispadne i do 25% brzi.

Moze li neko ovo da objasni?

[Srpko]

Originalno napisao Pedja

i cak je zauzece memorije otprilike podjednako kada se radi na oba nacina, samo sto PHP to uradi brze.

description u tabeli categories je varchar i otprilike zauzima 6 bajta po rekordu u ovom slucaju u totalu 6 kb, kada uradis join onda dobijas 40000 * 6 sto je 240 kb
Mislim da se ovde stvara razlika u brzini.
U ovom slucaju bi svakako izabrao php resenje ali mnogim drugim slucajevima left join je ipak elegantnije i brze resenje.

[zextra]

Sve i da je za nijansu sporije, opet je znacajno elegantnije, posebno kada je u pitanju vise od jednog joina.

[dinke]

Pa, kvaka je u tome da treba kreirati index za polje category_id u tabeli master. Nesto tipa:

alter table master add index category_id(category_id)

U protivnom, prilikom svakog spajanja mysql mora da prodje kroz celu tabelu sto je visestruko puta sporiji proces.

[ivanhoe]

mozda bi bilo dovoljno promeniti redosled tabela u joinu, jer ako se na svaki master dodaje description, onda nije potreban dodatni index, valjda ? Ako radi suprotno, onda je problem, mora ovo sto Dinke rece.. U svakom slucaju treba videti sa Explain zasto se to desava..

Problem sa tehnikom gde se to radi sa php-om je (pored ruznoce) ako imas puno rekorda, sto ti svi stoje u memoriji servera u asoc. nizu koji zauzima mnogo vise memorije nego sto ima elemenata (jer je to u stvari hash tabela). Plus ako se nesto kopira i slicno, pa zavrsis sa 3-4 verizje istih 400000+ podataka, mozes lako da lupis u memory limit... plus ako imas vise pristupa istovremeno toj skripti onda server gubi dragocenu memoriju...

[zextra]

Dodatni indeks na tabeli master nije potreban jer mysql automatski pravi relaciju one-to-many izmedju tabela categories i master, jer je polje category_id u tabeli categories primarni kljuc. Dakle problem ne lezi u tome...

mysql> explain select * from categories,master where categories.category_id=master.category_id;
+----+-------------+------------+--------+---------------+---------+---------+-------------------------+-------+-------+
| id | select_type | table      | type   | possible_keys | key     | key_len | ref                     | rows  | Extra |
+----+-------------+------------+--------+---------------+---------+---------+-------------------------+-------+-------+
|  1 | SIMPLE      | master     | ALL    | NULL          | NULL    | NULL    | NULL                    | 40000 |       |
|  1 | SIMPLE      | categories | eq_ref | PRIMARY       | PRIMARY | 4       | test.master.category_id |     1 |       |
+----+-------------+------------+--------+---------------+---------+---------+-------------------------+-------+-------+
2 rows in set (0.00 sec)

Dodatni indeksi ne mogu da poprave performanse upita, jer se i tako i tako citaju svi zapisi iz tabele master.

Mrzelo me da kreiram jos koju tabelu i da vidim sta se onda desava...

[dinke]

nisi u pravu jer:

mysql> explain SELECT m.*, c.description FROM master m
    -> LEFT JOIN categories c ON m.category_id = c.category_id;
+----+-------------+-------+--------+---------------+---------+---------+-----------------------+-------+-------+
| id | select_type | table | type   | possible_keys | key     | key_len | ref                | rows  | Extra |
+----+-------------+-------+--------+---------------+---------+---------+-----------------------+-------+-------+
|  1 | SIMPLE      | m     | ALL    | NULL          | NULL    |    NULL | NULL                  | 40427 |       |
|  1 | SIMPLE      | c     | eq_ref | PRIMARY       | PRIMARY |       4 | measure.m.category_id |     1 |       |
+----+-------------+-------+--------+---------------+---------+---------+-----------------------+-------+-------+
2 rows in set (0.00 sec)

mysql> alter table master add index category_id(category_id);
Query OK, 40000 rows affected (1.06 sec)
Records: 40000  Duplicates: 0  Warnings: 0

mysql> explain SELECT m.*, c.description FROM master m
    ->  LEFT JOIN categories c ON m.category_id = c.category_id;
+----+-------------+-------+--------+---------------+-------------+---------+-----------------------+-------+-------------+
| id | select_type | table | type   | possible_keys | key         | key_len | ref                   | rows  | Extra       |
+----+-------------+-------+--------+---------------+-------------+---------+-----------------------+-------+-------------+
|  1 | SIMPLE      | m     | index  | NULL          | category_id |       5 | NULL                  | 40715 | Using index |
|  1 | SIMPLE      | c     | eq_ref | PRIMARY       | PRIMARY     |       4 | measure.m.category_id |     1 |             |
+----+-------------+-------+--------+---------------+-------------+---------+-----------------------+-------+-------------+
2 rows in set (0.00 sec)

Dakle, nakon dodavanja index on se koristi (type kolona u explain outputu).

[ivanhoe]

moj mysql (4.1.9-max na windowsima) prikaze drugacije:

mysql> alter table master add index category_id(category_id);
Query OK, 177693 rows affected (1.80 sec)
Records: 177693  Duplicates: 0  Warnings: 0

mysql> explain SELECT m.*, c.description FROM master m, categories c WHERE m.category_id = c.category_id;
+----+-------------+-------+--------+---------------+---------+---------+-----------------------+--------+----
---+
| id | select_type | table | type   | possible_keys | key     | key_len | ref                   | rows   | Ext
ra |
+----+-------------+-------+--------+---------------+---------+---------+-----------------------+--------+----
---+
|  1 | SIMPLE      | m     | ALL    | category_id   | NULL    |    NULL | NULL                  | 177693 |
   |
|  1 | SIMPLE      | c     | eq_ref | PRIMARY       | PRIMARY |       4 | measure.m.category_id |      1 |
   |
+----+-------------+-------+--------+---------------+---------+---------+-----------------------+--------+----
---+
2 rows in set (0.00 sec)

mysql> explain SELECT m.*, c.description FROM master m LEFT JOIN categories c ON m.category_id = c.category_id
;
+----+-------------+-------+--------+---------------+---------+---------+-----------------------+--------+----
---+
| id | select_type | table | type   | possible_keys | key     | key_len | ref                   | rows   | Ext
ra |
+----+-------------+-------+--------+---------------+---------+---------+-----------------------+--------+----
---+
|  1 | SIMPLE      | m     | ALL    | NULL          | NULL    |    NULL | NULL                  | 177693 |
   |
|  1 | SIMPLE      | c     | eq_ref | PRIMARY       | PRIMARY |       4 | measure.m.category_id |      1 |
   |
+----+-------------+-------+--------+---------------+---------+---------+-----------------------+--------+----
---+
2 rows in set (0.00 sec)

Odnosno gledace sva polja tabele master, i za inner i za left join, bas kao i kad nema indexa.. sto se pokaze i kad se pusti ovaj Pedjin test, jer se dobije skoro isti rezultati...bar sa myisam tabelama, kasno je pa me mrzi da probam innoDB kako se ponasa...

[degojs]

I kod mene sa ili bez indexa daje rezultate kao kod ivanhoe sto i jeste za ocekivati jer kako zextra rece - ionako se gledaju svi zapisi iz master tabele.

Inace samo dodavanje indexa kako dinke rece kod mene nista nije ubrzalo upit.

Ali, ako se stavi index pa zatim uradi INNER JOIN, rezultati su bolji za oko 30%.

Interesantno, zar ne

[Pedja]

Koliko znam, samim tim sto postavis primarni kljuc tabele on predstavlja i indeks, tako da nema potrebe da se postavlja poseban index po istom polju.

No probao sam da stavim dodatne indekse i description polje sam promenio u CHAR umesto vARCHAR. Nema razlike. I dalje je PHP brzi.

Stoji da je SQL JOIN elegantniji samo me svrbi to sto je sporije, cisto iz principijelnih razloga. Do juce sam smeo da se zakunem da nista ne moze biti brze osim u specijalnim slucajevima.

Cini mi se da je ovde kvaka u asocijativnom nizu PHP-a posto to izgleda radi vraski brzo, bez obzira na poredjenje sa MySQL-om. Ne znam kako to radi interno, ali mi se nikako ne uklapa da je brze nego sto to radi MySQL.

Zanimljivo je da razlika u brzini opada kako raste broj slogova u master tabeli, odnosno ostaje priblizno ista u apsolutnoj vrednosti (kod mene je to oko jedne sekunde).

Bilo bi zanimljivo videti ovaj test pusten na nekom drugom serveru.

Inace, u realnnoj upotrebi ovakav upit je po pravilu ogranicen na izdvajanje svega desetak do pedeset slogova. Test vuce celu master tabelu zbog merenja. Tada razlika u iskoriscenju resursa postaje zanemarljiva ali je covek u stvari napravio odicno resenje, jer SQL upiti se generisu dinamicki i razdvajanjem lookup-a od osnovne tabele, covek je znatno pojednostavio stvar, resio se goleme bede oko uklapanja svih joinova, omogucio znatno vecu upotrebljivost lookup-a (post sada nije ogranicen JOIN-ovima moze da dozvoli da maksimalno parametrizuje upit koji daje lookup tabelu, ukljucujuci i mogucnost da se custom napise ceo SELECT), i jos, kao slag na tortu, dobio vecu brzinu.