MySQL, UTF8 i sort po naški

[Pedja]

A koliki je to posao da se napravi collation? To je valdja samo tabela na osnovukoje se radi obrada.

[Dejan Topalovic]

Razgovarao sam ja sa Sinisom o srpskom collationu na cirilici i pitao ga zasto to nije uradjeno. Odgovorio mi je da su croatian collation uradili neki tipovi, koji nisu dio MySQL tima, a da se njemu srpski collation ne da raditi licno, posto je on sad Senior Support Manager i ne radi u developmentu kao ranije.

Dao mi je neka uputstva, gdje da nadjem informacije o tome i da pogledam neke primjere, pa sam ja kontao uraditi srpski collation za MySQL, ali nikako da uhvatim volje i vremena, da sjedem cestito i prionem na taj zadatak.

Mozda ako bismo ovdje svi zajedno pokusali, pa da iznjedrimo taj collation...

[ivanhoe]

ajde dajte nek linkove i informacije o pravljenju collation tabela, ono sto znate... cisto za pocetak, posto ja nikako da nadjem neke primere kako se to radi...

[zark0vac]

Unfortunately there is no documentation on how to create UTF8 collations.
But adding a new collation can be very easy. You need to edit these files:

strings/ctype-uca.c
mysys/charset-def.c

Use swedish as an example.

Also, note that:
1. Many languages are compatible with utf8_unicode_ci.
So you don't need to create separate collations for them.
For example German, French, Russian, Armenian, Greek.

2. Our Unicode Collation implementation have some limitations.
It is currently not possible to create real full featured collations for ALL languages.
For example, Hungarian have very complex contraction rules, i.e.
when a combination of several letters is treated as a single sorting element.

If you list all the languages you need, I could comment which of them can
be implemented easily, and which of them require additional coding.

http://forums.mysql.com/read.php?103...5093#msg-25093


Potrazicu clanke sa konkretnim uputstvima pa cu postaviti.

[Dejan Topalovic]

Slicne putokaze je i meni dao Sinisa, s tim da me uputio i na strings/ctype-utf8.c, konkretno na matrice MY_UNICASE_INFO, kao i na share/charsets XML datoteke.

Nazalost, nisam u praksi sa MySQL-om imao potrebu za cirilicom, pa tako ne mogu ni reci nesto iz licnog iskustva. Evo nabrzaka sam nesto testirao na cirilici koristeci cp1251_general_ci , pa cu sutra napisati vise o tome.

[zark0vac]

Cekamo rezultate Sad sam procitao da bi cp1251 (koji si koristio), koi8_ukr i win1251_ukr trebalo da podrzavaju cirilicu u potpunosti. Time will show. A sto se tice konkretnih uputstava za razvoj collationa slaba vajda, nigde nisam nasao.

Edit: http://downloads.mysql.com/docs/internals-en.pdf

[Dejan Topalovic]

Ne moze se koristiti cp1251 za collation.
Napravio sam par testova sa raznim collationima, pocevsi od
cp1251_general_ci, preko cp1251_ukrainian_ci, pa do cp1251_bulgarian_ci.

Kreirao sam jednostavnu tabelu sa dva polja:

CREATE TABLE IF NOT EXISTS `test_cp1251` (
`id` tinyint(3) unsigned NOT NULL auto_increment,
`ime` varchar(45) CHARACTER SET cp1251 COLLATE cp1251_ukrainian_ci NOT NULL,
PRIMARY KEY (`id`)
) ENGINE=MyISAM;

Imena sam unio pomocu PHP-a tako sto sam kreirao staticki array sa imenima na cirilici i potom ih sa shuffle() promijesao prije unosa.

Kada pokusam unesena imena sortirati, dobijem slijedeci rezultat:

SELECT ime FROM test_cp1251 ORDER BY ime;
 
ime
------------
Чубрило 
Синиша 
Радиша 
Жарко 
Душан 
Горан 
Вељко 
Бојан 
Александар 
Љубиша 
Ђорђе

Idemo dalje za iste pare.