MySQL Charset problem

dinke · 16. 02. 2012.

Imam charset problem sa bazom na blogotku koji je ocigledno uzrokovan cinjenicom da nisu svi parametri prilikom upisivanja podataka bili utf8. Ranije mi taj problem nije smetao posto su se strane prikazivale okay ali sada prebacujem kod na CI tako da zelim da resim taj problem (pogadjate, sa CI-om nasi karakteri ne izgledaju kako treba).

Inace sve tabele u bazi su utf8 sa default collation-om (utf8_general_ci). Podaci se upisuju od strane feed parsera, prilikom upisa niti ispisa (web utf8) nije pokrenut "set names utf8" tako da su koliko vidim neki od connection parametara latin1.

Evo kako izgledaju variable na serveru sa default podesavanjima i utf8:

Kôd:

mysql> show variables like '%char%';
+--------------------------+----------------------------+
| Variable_name            | Value                      |
+--------------------------+----------------------------+
| character_set_client     | latin1                     | 
| character_set_connection | latin1                     | 
| character_set_database   | utf8                       | 
| character_set_filesystem | binary                     | 
| character_set_results    | latin1                     | 
| character_set_server     | latin1                     | 
| character_set_system     | utf8                       | 
| character_sets_dir       | /usr/share/mysql/charsets/ | 
+--------------------------+----------------------------+
8 rows in set (0.00 sec)

mysql> set names utf8;
Query OK, 0 rows affected (0.00 sec)

mysql> show variables like '%char%';
+--------------------------+----------------------------+
| Variable_name            | Value                      |
+--------------------------+----------------------------+
| character_set_client     | utf8                       | 
| character_set_connection | utf8                       | 
| character_set_database   | utf8                       | 
| character_set_filesystem | binary                     | 
| character_set_results    | utf8                       | 
| character_set_server     | latin1                     | 
| character_set_system     | utf8                       | 
| character_sets_dir       | /usr/share/mysql/charsets/ | 
+--------------------------+----------------------------+
8 rows in set (0.00 sec)

Svi saveti dobrodosli

MorenoArdohain · 16. 02. 2012.

Konverzija podataka u bazi ti ne gine. Probaj sa ovom skriptom:
http://daveyshafik.com/archives/166-...o-unicode.html

ili uradis dump podataka, pa sa iconv konvertujes sve i importujes nazad u tabele.

Milos Vukotic · 16. 02. 2012.

Možda ti nešto odavde može pomoć: http://www.mysql.rs/2010/07/smece-u-...-zna-koji-put/

dinke · 16. 02. 2012.

Citat:

Originalno napisao MorenoArdohain

Konverzija podataka u bazi ti ne gine. Probaj sa ovom skriptom:
http://daveyshafik.com/archives/166-...o-unicode.html

Ta scripta kreira tabelu sa identicnom stukturom samo utf (kod mene je vec utf8), kopira podatke u novu i switchuje imena. Probao u lokalu, bez promena

Citat:

Originalno napisao MorenoArdohain

ili uradis dump podataka, pa sa iconv konvertujes sve i importujes nazad u tabele.

Daj malo detalja na sta si tacno mislio. Kapiram da mogu da napravim script koji ce red po red da konvertuje sa php iconv (ili mb) f-jama, ali ne znam da li si mozda mislio na neki cli utility?

dinke · 16. 02. 2012.

Citat:

Originalno napisao Milos Vukotic

Možda ti nešto odavde može pomoć: http://www.mysql.rs/2010/07/smece-u-...-zna-koji-put/

Ovo je izgleda bas situacija koju sam ja imao. Najgore od svega sto sam ja bio svestan problema ali je sve radilo kako treba, neki postovi vec bili (pogresno) importovani i tako je radilo od 2006 do danas

MorenoArdohain · 16. 02. 2012.

Moja greska, mislio sam da script radi i konverziju podataka. Za iconv tehniku probaj:

iconv -f ISO8859-1 -t UTF-8 dump.sql > dump_utf8.sql
ili
iconv -f iso-8859-15 -t utf8 dump.sql > dump_utf8.sql

(ne znam koji od ta 2 radi)

mangia · 16. 02. 2012.

Citat:

Originalno napisao Milos Vukotic

Možda ti nešto odavde može pomoć: http://www.mysql.rs/2010/07/smece-u-...-zna-koji-put/

Bogdan je to u tančine objasnio... Ja sam neke stare tabele tako konvertovao i sve je prošlo Ok...

dinke · 16. 02. 2012.

^Da, sjajan post i apsolutno pogodjen problem, jedino sto resenje nece biti jednostavno implementirati posto neka polja imaju raznorazne kljuceve pa nije moguce jednostavno prebaciti u blob bez dropovanja kljuca, ali svejedno barem znam resenje

Hvala puno za odgovore.

Milos Vukotic · 16. 02. 2012.

A da napraviš kopiju baze, u njoj podesiš sve kako treba i napraviš php skript koji će "presuti" podatke iz jedne u drugu?

webarto · 16. 02. 2012.

PHP kôd:


			
mysql_set_charset('utf8');

Ja bih probao ovako da pogodim šta je ispravno a kasnije je manje više lako napraviti kopiju baze i ovo uraditi da li skriptom da li kroz SQL...

PHP kôd:


			
SELECT CONVERT(_latin1'Müller' USING utf8);

PHP kôd:


			
INSERT INTO utf8table (utf8column)

    SELECT CONVERT(latin1field USING utf8) FROM latin1table;

16. 02. 2012.	#2
MorenoArdohain Knowledge base Wrote a book Datum učlanjenja: 16.06.2005 Lokacija: Novi Sad Poruke: 1.437 Hvala: 37 131 "Hvala" u 82 poruka	Konverzija podataka u bazi ti ne gine. Probaj sa ovom skriptom: http://daveyshafik.com/archives/166-...o-unicode.html ili uradis dump podataka, pa sa iconv konvertujes sve i importujes nazad u tabele. __________________ Não quero mais seguir um só caminho

16. 02. 2012.	#3
Milos Vukotic Knowledge base Wrote a book Datum učlanjenja: 07.06.2005 Lokacija: Neđe ođe... Poruke: 1.198 Hvala: 339 688 "Hvala" u 178 poruka	Možda ti nešto odavde može pomoć: http://www.mysql.rs/2010/07/smece-u-...-zna-koji-put/ __________________ Чак Норис може да си ги врзе врвките на чевлите со стапалата.

16. 02. 2012.	#6
MorenoArdohain Knowledge base Wrote a book Datum učlanjenja: 16.06.2005 Lokacija: Novi Sad Poruke: 1.437 Hvala: 37 131 "Hvala" u 82 poruka	Moja greska, mislio sam da script radi i konverziju podataka. Za iconv tehniku probaj: iconv -f ISO8859-1 -t UTF-8 dump.sql > dump_utf8.sql ili iconv -f iso-8859-15 -t utf8 dump.sql > dump_utf8.sql (ne znam koji od ta 2 radi) __________________ Não quero mais seguir um só caminho

16. 02. 2012.	#8
dinke Super Moderator Invented the damn thing Datum učlanjenja: 06.06.2005 Poruke: 2.371 Hvala: 370 701 "Hvala" u 194 poruka	^Da, sjajan post i apsolutno pogodjen problem, jedino sto resenje nece biti jednostavno implementirati posto neka polja imaju raznorazne kljuceve pa nije moguce jednostavno prebaciti u blob bez dropovanja kljuca, ali svejedno barem znam resenje Hvala puno za odgovore. __________________ Caught in a Web\|Blogodak With great power comes great responsibility!

16. 02. 2012.	#9
Milos Vukotic Knowledge base Wrote a book Datum učlanjenja: 07.06.2005 Lokacija: Neđe ođe... Poruke: 1.198 Hvala: 339 688 "Hvala" u 178 poruka	A da napraviš kopiju baze, u njoj podesiš sve kako treba i napraviš php skript koji će "presuti" podatke iz jedne u drugu? __________________ Чак Норис може да си ги врзе врвките на чевлите со стапалата.

16. 02. 2012.	#10
webarto expert Grand Master Datum učlanjenja: 11.04.2010 Poruke: 998 Hvala: 141 959 "Hvala" u 153 poruka	PHP kôd: `mysql_set_charset('utf8');` Ja bih probao ovako da pogodim šta je ispravno a kasnije je manje više lako napraviti kopiju baze i ovo uraditi da li skriptom da li kroz SQL... PHP kôd: `SELECT CONVERT(_latin1'Müller' USING utf8);` PHP kôd: `INSERT INTO utf8table (utf8column) SELECT CONVERT(latin1field USING utf8) FROM latin1table;` __________________ Github // LinkedIn // PHP // ZCE // Stackoverflow PHP // Site5 Web Hosting