15. 05. 2007. | #11 |
VD IT Direktora
Invented the damn thing
Datum učlanjenja: 08.06.2005
Lokacija: Beograd
Poruke: 2.118
Hvala: 503
1.307 "Hvala" u 282 poruka
|
Evo jedan laički algoritam:
Znači zadatak je da za svaki tekst izvučeš desetak tagova čijim upoređivanjem kasnije možeš da nađeš srodne tekstove. Izvučeš tabelu svih reči. Iz nje izbaciš reči koje se pojavljuju često na celom uzorku tekstova (tu su veznici, brojevi, prilozi, većina glagola itd), to jest "procediš". Onda za svaku preostalu reč uradiš jedan fulltext search i zapamtiš ID-jeve tekstova u kojima se pojavljuju i odgovarajući rank. Kad odradiš sve to za sve reči, za svaki tekst uzmeš deset reči sa najvišim rankom i to su tagovi. Isto možeš posle da ponoviš i za fraze od dve, tri itd. reči, s tim što računaš samo fraze čije se sve reči pojavljuju u "proceđenoj" tabeli. Tako bih ja radio i prilično sam ubeđen da bi šljakalo. |
15. 05. 2007. | #12 |
Knowledge base
Wrote a book
Datum učlanjenja: 16.06.2005
Lokacija: Novi Sad
Poruke: 1.437
Hvala: 37
131 "Hvala" u 82 poruka
|
A kako spojiti 'Posh' sa 'Victoria', 'Spice Girls' itd?
__________________
Năo quero mais seguir um só caminho |
15. 05. 2007. | #13 |
Siva eminencija
Grand Master
|
|
15. 05. 2007. | #14 |
VD IT Direktora
Invented the damn thing
Datum učlanjenja: 08.06.2005
Lokacija: Beograd
Poruke: 2.118
Hvala: 503
1.307 "Hvala" u 282 poruka
|
Na taj način što će verovatno barem dve od te tri fraze naći u istom tekstu (kao i "Dejvid Bekam", što je još jedna od fraza za povezivanje sa srodnim vestima).
Random primer (izvinjavam se čitaocima sa slabijim stomakom ): http://www.kurir-info.co.yu/Arhiva/2...16122005.shtml Poslednja izmena od jablan : 15. 05. 2007. u 01:19. |
15. 05. 2007. | #15 |
Knowledge base
Wrote a book
Datum učlanjenja: 16.06.2005
Lokacija: Novi Sad
Poruke: 1.437
Hvala: 37
131 "Hvala" u 82 poruka
|
Posh i Spajs se pominju samo jednom u tekstu, postoji velika verovatnoca da ne bi imali odgovarajucu tezinu za povezivanje sa Viktorijom Bekam, odnosno srodnim clancima.
__________________
Năo quero mais seguir um só caminho |
15. 05. 2007. | #16 |
VD IT Direktora
Invented the damn thing
Datum učlanjenja: 08.06.2005
Lokacija: Beograd
Poruke: 2.118
Hvala: 503
1.307 "Hvala" u 282 poruka
|
Pa cenim da bi Poš i Spajs upali u prvih 10-20 tagova za ovaj tekst, pogotovu ako se poveća težina reči sa velikim slovom (što je logično za tagove ovakvog tipa). Na kraju krajeva, dovoljno je da imaš ključne reči "Viktorija" i "Bekam" da bi je povezao sa srodnim člancima. Ja bih svakako probao ovaj algoritam pre nego ga otpišem.
|
15. 05. 2007. | #17 |
Knowledge base
Wrote a book
Datum učlanjenja: 16.06.2005
Lokacija: Novi Sad
Poruke: 1.437
Hvala: 37
131 "Hvala" u 82 poruka
|
Mislim da jedino bluesman moze da nam odgovori valja li algoritam
__________________
Năo quero mais seguir um só caminho |
15. 05. 2007. | #18 |
Vladan Zirojević
Grand Master
|
Jablene, u opstem slucaju hoce, ali u nekom procentu nece, pa to "verovatno" ce mu opet praviti false-positives kao i da radi obicni fulltext search, samo treba vidjeti sa kojim procentom greske.
Ne znam koliko je ta funkcionalnost vazna za Bluzmenov projekat, ako nije pretjerano, neki od ovdje navedenih algoritama ce ti zavristi posao. Ako jeste vazna/osnovna funkcionalnost, onda tu ima dosta posla... Jer nije samo pitanje da se izbace vijesti koje nisu dovoljno slicne, vec (ako je to bitna funkcionalnost) i ne preskoce vijesti koje su bitne i vrlo povezane, ali zbog upotrebe sinonima ili slicno nisu pogodjene obicnim poredjenjem sadrzaja teksta, koji je u ovome slucaju prilicno kratak (100 znakova). Mungos je upravo na ovome problemu zaustavio rad na Momentu, zato sto nije dobijao dovoljno kvalitetne srodne vijesti. |
15. 05. 2007. | #19 |
VD IT Direktora
Invented the damn thing
Datum učlanjenja: 08.06.2005
Lokacija: Beograd
Poruke: 2.118
Hvala: 503
1.307 "Hvala" u 282 poruka
|
Da, prevideo sam možda, 100 karaktera je stvarno malo. Kakve su to vesti uopšte?
|
15. 05. 2007. | #20 |
Knowledge base
Wrote a book
Datum učlanjenja: 16.06.2005
Lokacija: Novi Sad
Poruke: 1.437
Hvala: 37
131 "Hvala" u 82 poruka
|
Procenat greske se moze smanjiti ako se analiziraju i clanci sa proverenih izvora (primer: http://www.articlesbase.com, ima vise od 134 hiljade clanaka), pa se kreira neki sistem vezanih keyworda, a baza sinonima bi olaksala posao.
Svejedno, ima tu dosta posla, ako je kvalitet jako bitan, onda jedino rucno dodeljivanje tagova dolazi u obzir. Evo znam neke Indijce koji bi to radili za saku dolara
__________________
Năo quero mais seguir um só caminho |
|
|
Slične teme | ||||
Tema | Početna poruka teme | Forum | Odgovori | Poslednja poruka |
Budućnost Interneta | vidak | e-Business | 15 | 15. 03. 2011. 22:08 |
Etičnost u marketingu, again | mileusna | Marketing i SEO | 9 | 23. 02. 2008. 00:48 |