random + mysql

[mega023]

Poznato je da order by rand() dosta spora fukcija, pa u zelji da je izbegnem trazim neko drugo resenje kako da iz tabele od par hiljada podataka, dobijem n random podataka (recimo da mi treba 20 random podataka).

R1
Prvo resenje koje se namece je da ucitam sve id-jeve u array, promesam ga i onda uzmem prvih (ili poslednjih) n i jedan po jedan izvucem iz baze. Ovo sve je n+1 upit (za gore pomenutih 20 podataka je 21 upit).

R2
sSledece resenje je da ovo gore (niz id-jeva) lepim sve sa "AND" u jedan upit koji ce imati recimo 20 "AND"-ova. Nikada nisam pravio neki test. Da li je ovakav upit sporiji od 20 pojedinacnih upita (select * from X where id=Y)?

R3
Sledece resenje je da da pomocu limita. Za ovo mi je potrebno da nema "rupa" (obrisanih podataka), ili da napravim drugo polje u tabeli koje ce biti "odrzavano" po brojevima (prilikom svakog brisanja da se numerise iz pocetka...). I ovo resenje takodje ima n+1 upta (odnosno 20+1 u nasem primeru, prvi da uzmemo max(id_2) i posle za svaki podatak posebno)

Postoji li neka (bolja) alternativa za rand() po mogucstvu da je brza i da vraca n radnom podataka u jednom upitu?

[cvele]

http://jan.kneschke.de/projects/mysql/order-by-rand

[mega023]

Na to resenje sam vec i naisao dok sam trazio resenje na google-u...
Delovalo mi je komplikovano ali izgleda da je jedino logicno resenje, pa cu morati da malo vremena posvetim tome da vidim kako to zaista radi...

[filmil]

Originalno napisao mega023

Poznato je da order by rand() dosta spora fukcija, pa u zelji da je izbegnem trazim neko drugo resenje kako da iz tabele od par hiljada podataka, dobijem n random podataka (recimo da mi treba 20 random podataka).

Постоји метода која захтева да се секвенцијално прочитају сви уноси у табелу, која се користи за јако велике скупове података (стотине милијарди мерења на пример), и која даје N случајно изабраних уноса, са тачно униформном расподелом.

Претпоставимо да имаш M уноса у табелу (рецимо M=100.000.000.000) и да ти треба N = 20 случајно (са униформном расподелом) изабраних уноса у табелу. Пошто је М јако велико, не долази у обзир прављење великог низа, већ читамо један по један елемент из табеле, обрадимо га и идемо даље.

Алгоритам је следећи:

1. Одвоји низ A од N елемената и крени редом да учитаваш податке из табеле
2. Првих N елемената ишчитаних из табеле само ископирај истим редом у низ
3. P = 1
4. Понављај док P не буде веће од M:
   1. Прочитај број P по реду из табеле.
   2. Генериши случајан цео B број са унифромном расподелом у интервалу 1..P.
   3. Ако је добијени број мањи или једнак N, елемент са редним бројем P убаци у низ А на позицију B. У супротном не убацуј елемент, већ га занемари.
   4. Увећај P за један.

Кога не мрзи може да докаже да је добијени низ изабран са тачно униформном расподелом (оно на шта се често мисли кад се каже „рандом“) од свих уноса из табеле.

Не знам сад колико је ово ефикасан приступ за базе података. Пошто се елементи генеришу секвенцијално, ако база података допушта читање слога са задатим редним бројем, онда може да се проврти петља која изабере 20-так случајних индекса па се онда прочитају редови у табели са тим индексима.

Посолити према укусу.

ф

[ivanhoe]

ovo pod R1 ti je 2 upita: prvim uzmes sve ID-jeve, drugim uzimas WHERE id IN (rnd_id1, rnd_id2, ... )

treba samo proveriti da li je brze da sam biras random id-je ili da prepustis bazi da ti odradi ORDER BY rand (posto se tu radi nad indexom, mozda je to brze, ne znam)

[salebab]

Promešati niz od par hiljada elemenata u phpu i zatim izvući prvih 20 i nije baš lepo rešenje... array_rand() je malo bolje, mada, čak i kada bi keširao prvi upit, opet trebaš od njega da napraviš niz (znači min 2000 x while, mada i to bi trebao da keširaš), a zatim izvući 20 komada koje ćeš opet smestiti nekom petljom u upit... Previše komplikacija zbog par hiljada redova... To nije nikakav problem za mysql

[mega023]

@filmil: nece biti bas milion podataka ali verovatno tu do 10.000. To je neka aplikacijica za internu upotrebu tako da nece biti previse podataka.

@ivanhoe: tako nesto sam i uradio, ucitao ID-jeve, odabrao random xx kom, WHERE IN (...) ORDER BY RAND(). Radi dosta brzo, probao sam jos par kombinacija i ova je do sada najbolja. Ako izbacim ORDER BY RAND() i ako je while in niz nije slozen vec random, mysql mi slozi output po rastucem redosledu pa ORDER BY RAND() mora da bih dobio rezultate u random rasporedu...

@salebab: da da koristio sam shuffle ali sam prepravio na array_rand... Verovatno je i brze, i koristi manje memorije, a i samo je jedan red

[dejanr]

ORDER BY RAND() radi jako sporo, skoro sam imao problema i izgleda da ovo resava random muke:

SELECT * FROM tablename
WHERE id >= FLOOR( RAND( ) * ( SELECT MAX( id ) FROM tablename ) )
ORDER BY id ASC
LIMIT 10

[mb_sa]

^ jesi siguran da vraca uvijek ok rezultate?

edit: obrati paznju na mali skup podataka, tj. redova.

[Croll]

A da razmotrite ovu opciju: http://devzone.zend.com/article/4571