DevProTalk

Forumi IT profesionalaca
web development, web design, e-business, SEO


Idite nazad   DevProTalk > Web development i web aplikacije > PHP
Želite da se reklamirate ekskluzivno na ovoj poziciji? Javite se

PHP PHP aplikacije, Smarty, PEAR

Odgovori
 
Alati teme Način prikaza
Staro 04. 03. 2009.   #1
mega023
član
Certified
 
Avatar mega023
 
Datum učlanjenja: 05.11.2005
Poruke: 82
Hvala: 7
1 "Hvala" u 1 poruci
mega023 is on a distinguished road
Question random + mysql

Poznato je da order by rand() dosta spora fukcija, pa u zelji da je izbegnem trazim neko drugo resenje kako da iz tabele od par hiljada podataka, dobijem n random podataka (recimo da mi treba 20 random podataka).

R1
Prvo resenje koje se namece je da ucitam sve id-jeve u array, promesam ga i onda uzmem prvih (ili poslednjih) n i jedan po jedan izvucem iz baze. Ovo sve je n+1 upit (za gore pomenutih 20 podataka je 21 upit).

R2
sSledece resenje je da ovo gore (niz id-jeva) lepim sve sa "AND" u jedan upit koji ce imati recimo 20 "AND"-ova. Nikada nisam pravio neki test. Da li je ovakav upit sporiji od 20 pojedinacnih upita (select * from X where id=Y)?

R3
Sledece resenje je da da pomocu limita. Za ovo mi je potrebno da nema "rupa" (obrisanih podataka), ili da napravim drugo polje u tabeli koje ce biti "odrzavano" po brojevima (prilikom svakog brisanja da se numerise iz pocetka...). I ovo resenje takodje ima n+1 upta (odnosno 20+1 u nasem primeru, prvi da uzmemo max(id_2) i posle za svaki podatak posebno)

Postoji li neka (bolja) alternativa za rand() po mogucstvu da je brza i da vraca n radnom podataka u jednom upitu?
mega023 je offline   Odgovorite uz citat
Staro 04. 03. 2009.   #2
cvele
Banned
Knowledge base
 
Avatar cvele
 
Datum učlanjenja: 01.07.2005
Poruke: 1.598
Hvala: 206
140 "Hvala" u 89 poruka
cvele ima spektakularnu aurucvele ima spektakularnu auru
Default

http://jan.kneschke.de/projects/mysql/order-by-rand
cvele je offline   Odgovorite uz citat
3 članova zahvaljuje cvele za poruku:
Staro 05. 03. 2009.   #3
mega023
član
Certified
 
Avatar mega023
 
Datum učlanjenja: 05.11.2005
Poruke: 82
Hvala: 7
1 "Hvala" u 1 poruci
mega023 is on a distinguished road
Default

Na to resenje sam vec i naisao dok sam trazio resenje na google-u...
Delovalo mi je komplikovano ali izgleda da je jedino logicno resenje, pa cu morati da malo vremena posvetim tome da vidim kako to zaista radi...
mega023 je offline   Odgovorite uz citat
Staro 06. 03. 2009.   #4
filmil
хардвераш
Qualified
 
Datum učlanjenja: 04.01.2007
Lokacija: Маунтин Вју, САД
Poruke: 117
Hvala: 4
25 "Hvala" u 10 poruka
filmil is on a distinguished road
Default

Citat:
Originalno napisao mega023 Pogledajte poruku
Poznato je da order by rand() dosta spora fukcija, pa u zelji da je izbegnem trazim neko drugo resenje kako da iz tabele od par hiljada podataka, dobijem n random podataka (recimo da mi treba 20 random podataka).
Постоји метода која захтева да се секвенцијално прочитају сви уноси у табелу, која се користи за јако велике скупове података (стотине милијарди мерења на пример), и која даје N случајно изабраних уноса, са тачно униформном расподелом.

Претпоставимо да имаш M уноса у табелу (рецимо M=100.000.000.000) и да ти треба N = 20 случајно (са униформном расподелом) изабраних уноса у табелу. Пошто је М јако велико, не долази у обзир прављење великог низа, већ читамо један по један елемент из табеле, обрадимо га и идемо даље.

Алгоритам је следећи:
  1. Одвоји низ A од N елемената и крени редом да учитаваш податке из табеле
  2. Првих N елемената ишчитаних из табеле само ископирај истим редом у низ
  3. P = 1
  4. Понављај док P не буде веће од M:
    1. Прочитај број P по реду из табеле.
    2. Генериши случајан цео B број са унифромном расподелом у интервалу 1..P.
    3. Ако је добијени број мањи или једнак N, елемент са редним бројем P убаци у низ А на позицију B. У супротном не убацуј елемент, већ га занемари.
    4. Увећај P за један.

Кога не мрзи може да докаже да је добијени низ изабран са тачно униформном расподелом (оно на шта се често мисли кад се каже „рандом“) од свих уноса из табеле.

Не знам сад колико је ово ефикасан приступ за базе података. Пошто се елементи генеришу секвенцијално, ако база података допушта читање слога са задатим редним бројем, онда може да се проврти петља која изабере 20-так случајних индекса па се онда прочитају редови у табели са тим индексима.

Посолити према укусу.

ф
__________________
Рад је створио човека. Рад ће га и уништити.
filmil je offline   Odgovorite uz citat
Staro 06. 03. 2009.   #5
ivanhoe
Ivan Dilber
Sir Write-a-Lot
 
Avatar ivanhoe
 
Datum učlanjenja: 18.10.2005
Lokacija: Bgd
Poruke: 5.320
Hvala: 104
2.344 "Hvala" u 583 poruka
ivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svima
Pošaljite poruku preko Skype™ za ivanhoe
Default

ovo pod R1 ti je 2 upita: prvim uzmes sve ID-jeve, drugim uzimas WHERE id IN (rnd_id1, rnd_id2, ... )

treba samo proveriti da li je brze da sam biras random id-je ili da prepustis bazi da ti odradi ORDER BY rand (posto se tu radi nad indexom, mozda je to brze, ne znam)
__________________
Leadership is the art of getting people to want to do what you know must be done.
ivanhoe je offline   Odgovorite uz citat
Staro 06. 03. 2009.   #6
salebab
profesionalac
Qualified
 
Avatar salebab
 
Datum učlanjenja: 10.11.2006
Lokacija: Beograd
Poruke: 102
Hvala: 19
21 "Hvala" u 18 poruka
salebab is on a distinguished road
Pošaljite ICQ poruku za salebab Pošaljite poruku preko MSN za salebab
Default

Promešati niz od par hiljada elemenata u phpu i zatim izvući prvih 20 i nije baš lepo rešenje... array_rand() je malo bolje, mada, čak i kada bi keširao prvi upit, opet trebaš od njega da napraviš niz (znači min 2000 x while, mada i to bi trebao da keširaš), a zatim izvući 20 komada koje ćeš opet smestiti nekom petljom u upit... Previše komplikacija zbog par hiljada redova... To nije nikakav problem za mysql
__________________
www.salebab.net
salebab je offline   Odgovorite uz citat
Staro 07. 03. 2009.   #7
mega023
član
Certified
 
Avatar mega023
 
Datum učlanjenja: 05.11.2005
Poruke: 82
Hvala: 7
1 "Hvala" u 1 poruci
mega023 is on a distinguished road
Default

@filmil: nece biti bas milion podataka ali verovatno tu do 10.000. To je neka aplikacijica za internu upotrebu tako da nece biti previse podataka.

@ivanhoe: tako nesto sam i uradio, ucitao ID-jeve, odabrao random xx kom, WHERE IN (...) ORDER BY RAND(). Radi dosta brzo, probao sam jos par kombinacija i ova je do sada najbolja. Ako izbacim ORDER BY RAND() i ako je while in niz nije slozen vec random, mysql mi slozi output po rastucem redosledu pa ORDER BY RAND() mora da bih dobio rezultate u random rasporedu...

@salebab: da da koristio sam shuffle ali sam prepravio na array_rand... Verovatno je i brze, i koristi manje memorije, a i samo je jedan red
mega023 je offline   Odgovorite uz citat
Staro 08. 03. 2010.   #8
dejanr
Dejan Ranisavljevic
Certified
 
Datum učlanjenja: 07.06.2005
Lokacija: Novi Sad
Poruke: 87
Hvala: 12
10 "Hvala" u 6 poruka
dejanr is on a distinguished road
Pošaljite ICQ poruku za dejanr Pošaljite poruku preko MSN za dejanr
Default

ORDER BY RAND() radi jako sporo, skoro sam imao problema i izgleda da ovo resava random muke:

SELECT * FROM tablename
WHERE id >= FLOOR( RAND( ) * ( SELECT MAX( id ) FROM tablename ) )
ORDER BY id ASC
LIMIT 10
dejanr je offline   Odgovorite uz citat
Staro 09. 03. 2010.   #9
mb_sa
profesionalac
Qualified
 
Datum učlanjenja: 19.05.2007
Poruke: 123
Hvala: 13
3 "Hvala" u 3 poruka
mb_sa is on a distinguished road
Default

^ jesi siguran da vraca uvijek ok rezultate?

edit: obrati paznju na mali skup podataka, tj. redova.

Poslednja izmena od mb_sa : 09. 03. 2010. u 11:17.
mb_sa je offline   Odgovorite uz citat
Staro 09. 03. 2010.   #10
Croll
član
Certified
 
Datum učlanjenja: 01.09.2006
Lokacija: Temerin
Poruke: 51
Hvala: 7
7 "Hvala" u 7 poruka
Croll is on a distinguished road
Pošaljite poruku preko Skype™ za Croll
Default

A da razmotrite ovu opciju: http://devzone.zend.com/article/4571
Croll je offline   Odgovorite uz citat
Odgovori


Alati teme
Način prikaza

Pravila pisanja
Možete ne započinjati nove teme
Možete ne slati odgovore
Možete ne slati priloge
Možete ne izmeniti svoje poruke
vB kôd je Uključen
Smajliji su Uključen
[IMG] kod je Uključen
HTML kôd je Isključen
Pogledajte forum

Slične teme
Tema Početna poruka teme Forum Odgovori Poslednja poruka
random select na velikoj tabeli kodi SQL baze podataka - Sponzor: Baze-Podataka.net 14 09. 04. 2008. 13:46
random koji favorizuje kodi Programiranje 16 29. 04. 2007. 22:09
java.util.Random security Ivan Programiranje 0 02. 01. 2007. 19:43
Generisanje random UNIQUE kodova bluesman Programiranje 54 25. 02. 2006. 15:05
Random image - preraditi za flash... headcutter (X)HTML, JavaScript, DHTML, XML, CSS 4 02. 09. 2005. 23:14


Vreme je GMT +2. Trenutno vreme je 13:20.


Powered by vBulletin® Verzija 3.6.8
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
Copyright © DevProTalk. All Rights Reserved.
Mišljenja, saveti, izjave, ponude ili druge informacije ili sadržaji nastali na Sajtu su vlasništvo onoga ko ih je kreirao, a ne DevProTalk.com, tako da ne morate da se oslanjate na njih.
Autori poruka su jedini odgovorni za ovakve sadržaje. DevProTalk.com ne garantuje tačnost, kompletnost ili upotrebnu vrednost informacija, stavova, saveta ili datih izjava. Ne postoje uslovi pod kojima bi mi bili odgovorni za štetu ili gubitak koji je posledica bilo čijeg oslanjanja na nepouzdane informacije, ili bilo kakve informacije nastale kroz komunikaciju između registrovanih članova.
Web sajt može sadržavati linkove na druge web sajtove na Internetu ili neke druge sadržaje. Ne kontrolišemo niti podržavamo te druge web sajtove, niti smo pregledali bilo kakve sadržaje na takvim sajtovima. Mi nećemo biti odgovorni za legalnost, tačnost ili prikladnost bilo kog sadržaja, oglasa, proizvoda, usluga ili informacije lociranim na ili distribuiranih kroz druge web sajtove, niti za bilo kakvu štetu nastalu kao posledica takvih informacija. DevProTalk.com drži i čuva druga prava vlasništva na web sajtu. Web sajt sadrže materijale zaštićene copyright-om, zaštitne znakove i druge informacije o pravu vlasništva ili softver. Članovi mogu poslatu informacije zaštićene pravima vlasništva njihovih nosilaca i ona ostaju zaštićena bez obzira da li su oni koji prenose te informacije to naveli ili ne. Osim informacija koje su u javnom vlasništvu ili za koje dobijete dozvolu, nemate pravo da kopirate, modifikujete ili na bilo koji način menjate, objavljujete, prenosite, distribuirate, izvršavate, prikazujete ili prodajte bilo koju informaciju zaštićenu pravima vlasništva. Slanjem informacija ili sadržaja na bilo koji deo DevProTalk.com, Vi automatski dozvoljavate i predstavljate garanciju da imate pravo da dozvolite DevProTalk.com ili članovima DevProTalk.com bespovratnu, kontinualnu, neograničenu, globalnu dozvolu da koriste, kopiraju, izvršavaju, prikazuju i distribuiraju takve informacije i sadržaje i da iz takvih sadžaja koriste bilo koji deo u bilo koje svrhe, kao i pravo i dozvolu da koriste gore navedene sadržaje. Svi zaštitni znakovi (trademarks), logotipi, oznake usluga, firme ili imena proizvoda koji se pominju na ovom web sajtu su vlasništvo kojim raspolažu njihovi vlasnici.