DevProTalk - MySQL, UTF8 i sort po naški

DevProTalk (http://www.devprotalk.com/index.php)

- SQL baze podataka - Sponzor: Baze-Podataka.net (http://www.devprotalk.com/forumdisplay.php?f=10)

- - MySQL, UTF8 i sort po naški (http://www.devprotalk.com/showthread.php?t=1736)

ajde dajte nek linkove i informacije o pravljenju collation tabela, ono sto znate... cisto za pocetak, posto ja nikako da nadjem neke primere kako se to radi...

Unfortunately there is no documentation on how to create UTF8 collations.
But adding a new collation can be very easy. You need to edit these files:

strings/ctype-uca.c
mysys/charset-def.c

Use swedish as an example.

Also, note that:
1. Many languages are compatible with utf8_unicode_ci.
So you don't need to create separate collations for them.
For example German, French, Russian, Armenian, Greek.

2. Our Unicode Collation implementation have some limitations.
It is currently not possible to create real full featured collations for ALL languages.
For example, Hungarian have very complex contraction rules, i.e.
when a combination of several letters is treated as a single sorting element.

If you list all the languages you need, I could comment which of them can
be implemented easily, and which of them require additional coding.

http://forums.mysql.com/read.php?103...5093#msg-25093

Potrazicu clanke sa konkretnim uputstvima pa cu postaviti.

Slicne putokaze je i meni dao Sinisa, s tim da me uputio i na strings/ctype-utf8.c, konkretno na matrice MY_UNICASE_INFO, kao i na share/charsets XML datoteke.

Nazalost, nisam u praksi sa MySQL-om imao potrebu za cirilicom, pa tako ne mogu ni reci nesto iz licnog iskustva. Evo nabrzaka sam nesto testirao na cirilici koristeci cp1251_general_ci , pa cu sutra napisati vise o tome.

Cekamo rezultate :) Sad sam procitao da bi cp1251 (koji si koristio), koi8_ukr i win1251_ukr trebalo da podrzavaju cirilicu u potpunosti. Time will show. A sto se tice konkretnih uputstava za razvoj collationa slaba vajda, nigde nisam nasao.

Edit: http://downloads.mysql.com/docs/internals-en.pdf

Ne moze se koristiti cp1251 za collation. :(
Napravio sam par testova sa raznim collationima, pocevsi od
cp1251_general_ci, preko cp1251_ukrainian_ci, pa do cp1251_bulgarian_ci.

Kreirao sam jednostavnu tabelu sa dva polja:

Kôd:



CREATE TABLE IF NOT EXISTS `test_cp1251` (

`id` tinyint(3) unsigned NOT NULL auto_increment,

`ime` varchar(45) CHARACTER SET cp1251 COLLATE cp1251_ukrainian_ci NOT NULL,

PRIMARY KEY (`id`)

) ENGINE=MyISAM;

Imena sam unio pomocu PHP-a tako sto sam kreirao staticki array sa imenima na cirilici i potom ih sa shuffle() promijesao prije unosa.

Kada pokusam unesena imena sortirati, dobijem slijedeci rezultat:

Kôd:

SELECT ime FROM test_cp1251 ORDER BY ime;

 

ime

------------

Чубрило 

Синиша 

Радиша 

Жарко 

Душан 

Горан 

Вељко 

Бојан 

Александар 

Љубиша 

Ђорђе

Idemo dalje za iste pare. :)

Mozda ipak ima sanse? ;)

Kôd:

 

CREATE TABLE IF NOT EXISTS `test_utf8` (

`id` tinyint(3) unsigned NOT NULL auto_increment,

`ime` varchar(45) CHARACTER SET utf8 COLLATE utf8_unicode_ci NOT NULL,

PRIMARY KEY (`id`)

) ENGINE=MyISAM;

Imena sam kao i u prethodnom testu unio pomocu PHP skripte:

PHP kôd:


		
			
<?php

$conn = new mysqli('localhost', 'username', 'password');

$conn->select_db('dejan');

$conn->set_charset("utf8");

$conn->query("SET NAMES 'utf8'");

$array = 

array('Александар','Бојан','Вељко','Горан','Душан','Ђорђе'

,'Жарко','Љубиша','Радиша','Синиша','Чубрило');

 

shuffle($array);

 

foreach($array as $ime)

{

$insert = "INSERT INTO test_utf8 VALUES(NULL, 

'".$ime."')";

$result = $conn->query($insert);

if($result)

{

echo "Ime ".$ime." je uneseno!<br>";

}

}

$conn->close();

?>

Nakon pokretana skripte, ispisu se unesena imena:

Citat:

Ime Горан je uneseno!
Ime Чубрило je uneseno!
Ime Ђорђе je uneseno!
Ime Синиша je uneseno!
Ime Жарко je uneseno!
Ime Радиша je uneseno!
Ime Вељко je uneseno!
Ime Душан je uneseno!
Ime Бојан je uneseno!
Ime Љубиша je uneseno!
Ime Александар je uneseno!

Provjerimo da li su imena unesena:

Kôd:

 

SELECT * FROM test_utf8;

 

id ime 

1 Горан 

2 Чубрило 

3 Ђорђе 

4 Синиша 

5 Жарко 

6 Радиша 

7 Вељко 

8 Душан 

9 Бојан 

10 Љубиша 

11 Александар

I potom sortirano:

Kôd:

 

SELECT *

FROM test_utf8

ORDER BY ime;

 

id ime 

11 Александар 

9 Бојан 

7 Вељко 

1 Горан 

8 Душан 

3 Ђорђе 

5 Жарко 

10 Љубиша 

6 Радиша 

4 Синиша 

2 Чубрило

Moglo bi biti korisno...

Ako neko ima vremena i volje, nek testira dalje, da li se ovaj collation moze koristiti ili ne.

Osim toga, koga zanima ovaj collation, moze detaljniji redoslijed sortiranja pogledati ovdje:
http://d.udm.net/bar/~bar/charts/utf8_unicode_ci.html

Hm, pa ovaj redosled je sasvim u redu. Pitam se sta sam prevideo kada sam testirao utf_unicode_ci collation? U svakom slucaju, UTF8 cirilica vise nije problem :)

Ali i dalje ostaje pitanje, sta sa latinicom? ;)

I jos nezgodnije pitanje, sta ako su cirilica i latinica pomesani?

Citat:

Originalno napisao zextra

Za latinicu je preporucen hrvatski collation (latin2_croatian_ci).

@Pedja: Pa koliko vidim po redoslijedu, utf8_collation_ci bi trebao ispravno sortirati i kad je izmijesano, ali nisam siguran bez testiranja. Jebga, u zadnje vrijeme radim iskljucivo sa Oracleom, a jako malo sa MySQL-om, tako da iz prakse ne mogu nista reci...

Off Topic: Izvinjavam se što dižem temu iz mrtvih...

Maločas opet pogledah utf8_unicode_ci raspored, i primetih jednu stvar: u collationu se nalaze naša slova "dž", "lj" i "nj" kao jedno-karakterni simboli, i što je najbolje nalaze se na odgovarajućim mestima.

Ostaje pitanje: zašto Windows ne menja mapiranje tastera Q, W i X jedno-karakternim simbolima slova DŽ, NJ i LJ (verovatno sam omašio redosled respektivnih slova)? (Da nisam primetio da GNOME to radi, ne bih ni postavio ovo pitanje...) Sudeći po tom collationu, problem naših dvo-karakternih slova je rešen. Samo što retko ko može uopšte da koristi baš te znakove...

Jedine "zamerke" koje imam na collation je to što prilikom sortiranja, slova C, Č i Ć imaju istu težinu - tretiraju se jednako, baš kao i S i Š, Z i Ž), i to što ćirilična slova nisu uglavljena na odgovarajuće pozicije između latiničnih slova...