PHP/MySQL Charset Problem

[dinke]

Trenutno radim na projektu koji između ostalog importuje feedove sa raznih sajtova u bazu koji se posle mogu pregledati iz frontenda. Feedove importuje cli php script, charset feedova je utf8 što je takođe i charset kompletne baze i svih tabela u njoj. Na Web frontendu charset je takođe setovan na utf8 (<meta http-equiv="content-type" content="text/html; charset=utf-8" />) i sve izgleda sasvim ok.

Juče sam poželeo da prebacim kompletan sadržaj mysql tabela u lokal, odradio export sa mysql dumpom, međutim nakon importa u lokalu su naši karakteri (šđčćž) zeznuti. Probao sam da export odradim i sa phpmyadmin-om koji inače ne koristim, ali situacija je manje više ista. Na serveru je 5.0.24, u lokalu MySQL 4.1, a što se MySQL PHP-a API-a tiče (mada to verovatno nije bitno) koristi se PHP 5.1.x i MySQLi.

Nakon celodnevnog prčkanja provalio sam da su neka podešavanja MySQL-a (konekcija i sl) setovani na latin1.

mysql> show variables like 'char%';

+--------------------------+--------------------------------------------+
| Variable_name            | Value                                      |
+--------------------------+--------------------------------------------+
| character_set_client     | latin1                                     |
| character_set_connection | latin1                                     |
| character_set_database   | utf8                                       |
| character_set_filesystem | binary                                     |
| character_set_results    | latin1                                     |
| character_set_server     | latin1                                     |
| character_set_system     | utf8                                       |
| character_sets_dir       | /data/mysql/angelita/share/mysql/charsets/ |
+--------------------------+--------------------------------------------+
8 rows in set (0.45 sec)

Identično i kod mene u lokalu, međutim u lokalu slova ne izgledaju kako treba. Nakon daljeg prčkanja provalio sam da, ako se odmah nakon konekcije iz PHP-a odradi:

SET NAMES 'utf8';

query, isključivo u oba dela aplikacije (i import i frontend) sve bude kako treba i u lokalu i na serveru (koji je btw na Dream Hostu). Ako se recimo SET NAMES 'utf8' samo stavi na frontendu, sa postojećim podacima koji su već importovani, slova opet nisu kako treba.

E sad, interesuje me, ima li iko predstavu šta se desilo sa tim tekstom na serveru(pošto se on tamo lepo vidi) koji je već importovan. Nije mi frka da sad stavim i kod importa i kod frontenda set names utf8, ali problem je onda sa starim tekstovima pošto se oni onda ne vide kako treba (dobijam '?' umesto naših slova). Jasno mi je da je latin1 konekcija nekako napravila problem, ali pitam se kako sad to mogu da ispravim. Inače, odradio sam export/import na istom serveru(DreamHost), samo na drugom hostu i sve je izgledalo savrseno, jedino kod mene u lokalu problem ostaje (ostale servere nisam isprobavao).

Inače, nisam se nešto preterano bavio utf aplikacijama, ali ranije mi charset MySQL konekcije nije pravio problem(a niko koga sam sinoć kontaktirao preko ICQ-a takođe nije imao problem sa istim).

Hvala unapred na pomoći, nadam se da sam dovoljno dobro izložio problem, ako nešto nije jasno tu sam