relevantnost mysql full text searcha

[ivanhoe]

Pravim sistem za pretragu koju radi full-text search po vise polja, i naleteo sam na sledeci problem:

Pretraga se vrsi po poljima keywords, title i description (postoji jedan full text index za ta polja).

Recimo da imam 2 rekorda:

ID    TITLE                   DESCRIPTION
1     Ovo je naslov           Ovo je neki opis
2     Ovo je neki naslov      blabla

Ako neko uradi upit:

SELECT id, MATCH (keywords, title, description) AGAINST ('neki naslov') AS rel_kw_title
FROM data
WHERE status='published' AND MATCH (keywords, title, description) AGAINST ('neki naslov')
ORDER BY rel_kw_title DESC

dobice se da je red sa ID-jem 1 relevantniji iako on ima trazene reci odvojene. Probao sam i sa boolean searchom i onda se dobije isti relevance za oba (2 posto ima 2 matcha). Meni naravno treba da tamo gde je tacna fraza, nadje prvo nju, pa onda sve ostale.

Da li imate neku ideju kako ovo izbeci? Jedino sto 100% pomaze je da se stave navodnici oko svega, ali onda mi "Pera Peric" nece pronaci "Peric Pera" sto mi je takodje potrebno, tako da mi to nije dobro resenje.

[ivanhoe]

Smislio sam delimicno resenje da za svaki $query, upit formiram kao "$query" $query, npr:

MATCH (keywords, title, description) AGAINST ('"neki naslov" neki naslov')

sto resava deo problema. Palo mi je napamet i da radim to isto za razne kombinacije reci tipa:
'"neki naslov" "naslov neki" naslov neki'
ali cim imam vise od 2 reci to postaje besmisleno komplikovan upit..

Jel ima neko inteligentnije resenje za ovo? Mozda neki externi alat za full text search?

[BraMom]

Postoji Lucene, vredi pogledati. Probao sam dot.net port Lucene.NET, doduše samo za internu upotrebu...

[bokacbl]

Ima i Spinx
http://www.sphinxsearch.com/

[nixa]

Zend ima php port.

[ivanhoe]

cuo sam za lucene, spinx, solr, xapian, ali nikad nisam probao nista od toga, jel pomazu oni kod ovog tipa problema, da se nadju kvalitetniji rezultati ?

Meni performanse nisu toliki problem jer imam 100.000 recorda, mysql radi super sa time, bitna mi je samo sto bolja relevantnost...

[srdjevic]

Da li se isto ponasa kad imas veci broj redova u tabeli? FULLTEXT je poznat po boljci da se ne snalazi bas najbolje kad ima mali broj redova u tabeli...

[LiquidBrain]

http://www.postgresql.org/docs/8.4/s...SEARCH-RANKING

Probaj da zamenish mysql sa postgresql-om...

[MorenoArdohain]

Search ranking i sort podesavanja imas i u Sphinxu, doduse, verovatno bi morao dosta da se igras sa tim.

[ivanhoe]

@srdjevic: ima oko 100.000 recorda, nije mi problem u 50% granici, nego u nacinu na koji se racuna relevantnost, izgleda se match fraze, odnosno proximity nadjenih reci ne boduje nista posebno, sem ako se bas insistira na odredjenoj fori pomocu boolean operatora... ima i to neke logike, ali tesko cu ja to da objasnim klijentu...