relevantnost mysql full text searcha

[ivanhoe]

Pravim sistem za pretragu koju radi full-text search po vise polja, i naleteo sam na sledeci problem:

Pretraga se vrsi po poljima keywords, title i description (postoji jedan full text index za ta polja).

Recimo da imam 2 rekorda:

ID TITLE DESCRIPTION
1 Ovo je naslov Ovo je neki opis
2 Ovo je neki naslov blabla


Ako neko uradi upit:

SELECT id, MATCH (keywords, title, description) AGAINST ('neki naslov') AS rel_kw_title
FROM data
WHERE status='published' AND MATCH (keywords, title, description) AGAINST ('neki naslov')
ORDER BY rel_kw_title DESC

dobice se da je red sa ID-jem 1 relevantniji iako on ima trazene reci odvojene. Probao sam i sa boolean searchom i onda se dobije isti relevance za oba (2 posto ima 2 matcha). Meni naravno treba da tamo gde je tacna fraza, nadje prvo nju, pa onda sve ostale.

Da li imate neku ideju kako ovo izbeci? Jedino sto 100% pomaze je da se stave navodnici oko svega, ali onda mi "Pera Peric" nece pronaci "Peric Pera" sto mi je takodje potrebno, tako da mi to nije dobro resenje.

[ivanhoe]

Smislio sam delimicno resenje da za svaki $query, upit formiram kao "$query" $query, npr:

MATCH (keywords, title, description) AGAINST ('"neki naslov" neki naslov')

sto resava deo problema. Palo mi je napamet i da radim to isto za razne kombinacije reci tipa:
'"neki naslov" "naslov neki" naslov neki'
ali cim imam vise od 2 reci to postaje besmisleno komplikovan upit..

Jel ima neko inteligentnije resenje za ovo? Mozda neki externi alat za full text search?

[BraMom]

Postoji Lucene (http://lucene.apache.org/java/docs/), vredi pogledati. Probao sam dot.net port Lucene.NET, doduše samo za internu upotrebu...

[bokacbl]

Ima i Spinx
http://www.sphinxsearch.com/

[nixa]

Zend ima php port.

[ivanhoe]

cuo sam za lucene, spinx, solr, xapian, ali nikad nisam probao nista od toga, jel pomazu oni kod ovog tipa problema, da se nadju kvalitetniji rezultati ?

Meni performanse nisu toliki problem jer imam 100.000 recorda, mysql radi super sa time, bitna mi je samo sto bolja relevantnost...

[srdjevic]

Da li se isto ponasa kad imas veci broj redova u tabeli? FULLTEXT je poznat po boljci da se ne snalazi bas najbolje kad ima mali broj redova u tabeli...

[LiquidBrain]

http://www.postgresql.org/docs/8.4/static/textsearch-controls.html#TEXTSEARCH-RANKING

Probaj da zamenish mysql sa postgresql-om...

[MorenoArdohain]

Search ranking i sort podesavanja imas i u Sphinxu, doduse, verovatno bi morao dosta da se igras sa tim.

[ivanhoe]

@srdjevic: ima oko 100.000 recorda, nije mi problem u 50% granici, nego u nacinu na koji se racuna relevantnost, izgleda se match fraze, odnosno proximity nadjenih reci ne boduje nista posebno, sem ako se bas insistira na odredjenoj fori pomocu boolean operatora... ima i to neke logike, ali tesko cu ja to da objasnim klijentu...:)

[bOkIcA]

A da probas sa svakim poljem posebno pa ukupni score?

SELECT id, (MATCH (keywords) AGAINST ('neki naslov') + MATCH (description) AGAINST ('neki naslov') + MATCH (description) AGAINST ('neki naslov')) AS score
FROM data
WHERE
...
ORDER BY score DESC

[mileusna]

Jedno vreme je moglo i ovako
SELECT id, MATCH (keywords, title, title, description) AGAINST ('neki naslov') AS

Ili u samom indekstu dva puta navedeš jedno polje i time mu daš veću težinu, mada mislim da to više ne može tako, ali nisam siguran, davno nisam radio sa fulltext indeksima. Mada to i dalje ne rešava tvoj problem relevantnosti za fraze.

[ivanhoe]

na kraju sam napravio varijantu koja napravi razne varijacije fraze:
"A B C" A B C
"A B" A B C
"B A" A B C
"B C" A B C
"C B" A B C

A gledajuci sta ljudi kucaju pokazalo se da nema potrebe varirati vise od 2 pojma, jer osim imena ljudi, korisnici obicno otkucaju frazu u pravom redosledu.

[ivanhoe]

Opet me izludjuje fulltext, pa da ne otvaram novu temu:

Kako da ga nateram da mi vrati samo rezultat koji sadrzi sve zadate reci? Deluje kao osnovna stvar, ali je neko tu glup, ili ja ili mysql...

Ako stavim AGAINST('+jedan +dva +tri' IN BOOLEAN MODE) dobicu rekorde koji sadrze sve 3 reci, ali i one koji sadrze samo jednu ili dve. Kako to izbeci?

Druga stvar: Ako stavim AGAINST('"neka fraza" +neka +fraza' IN BOOLEAN MODE) dobijam da recordi sa tacnom frazom imaju potpuno isti skor kao recordi koji samo sadrze te 2 reci razdvojene? Zar ne bi trebalo da ako matchuje tacnu frazu ima relevance score 3, jer su se matchovale i tacna fraza i pojedine reci?