我还不明白这一点,这让我很恼火,但也许一些解释会有所帮助。这是一个分为两个部分的问题,但希望这两个部分都是小的、直接相关的:
显示
最近,我们遇到了一个问题,内容将U+00a0 (非破缺空间)字符插入到带有latin1字符集的DB列中。只需执行SELECT,就可以在列中打印出“我不确定这是选择或展示的产物,但我相信这是前者。相反,SELECT BINARY col会打印出“$LANG = en_US.utf8”,而且它也应该打印出来,因为我的shell有$LANG = en_US.utf8。
一个更明显的例子是“-”和"™“
使用SELECT CONVERT(col USING utf8)仍然打印出“”和“-”--我不一定期望它会有不同的效果,但是问题的根源是什么呢?这是一个在存储时间发生的问题吗?是否有一种方法可以将UTF8显示从DB中取出,而不是依赖UI来正确显示它(如果这有意义的话)?
存储
为了自己重现这个问题,我做了以下工作:
CREATE TABLE chrs (
lat varchar(255) charset latin1,
utf varchar(255) charset utf8
);
INSERT INTO chrs VALUES ('™', '™');
INSERT INTO chrs VALUES (' ', ' '); -- U+00a0然而,这样做的结果是:
> SELECT * FROM chrs;
+------+------+
| lat | utf |
+------+------+
| ™ | ™ |
| | |
+------+------+我希望lat会显示“”和“-”,所以显然有些东西我不明白。
更重要的是:
> SELECT BINARY lat, BINARY utf FROM chrs;
+------------+------------+
| BINARY lat | BINARY utf |
+------------+------------+
| � | ™ |
| � | |
+------------+------------+这表明值存储不当(?)转化为lat。
我注意到SELECT @@character_set_client是utf8,所以我将它更改为latin1,并再次插入空格,但这会产生
| Â | Â |两列都是。SELECT BINARY lat正确地显示了空格,但是SELECT binary utf8仍然打印出“我希望utf8列能够更正确地工作。
概括地说:
charset实际上是做什么的?发布于 2013-04-25 17:47:32
简而言之,您的数据库似乎没有问题,除非您明确地告诉它通过将@@character_set_client从utf8更改为latin1来表现得很奇怪。否则,我认为你看到了在其他地方使用UTF-8和Windows-1252的软件组件之间的分歧的影响。
我们怎么知道发生了什么?
首先,我们回顾了在MySQL中,latin1实际上是指Windows1252,一种与“拉丁语-1”本身有点不同的编码,也称为ISO/IEC8859-1。
现在,让我们考虑以下有关商标标志和非破坏空间的数据:
事情出问题的各种方式:
似乎当您插入时,您的数据库将商标符号存储在"latin1“中作为十六进制字节8D,在"UTF-8”中存储为十六进制字节E2 A4 A2。它将非中断空间存储在"latin1“中作为十六进制字节" A0”,在UTF-8中存储为十六进制字节C2 A0。当您以交互方式进行正常选择时,"latin1“商标标志首先被翻译成Unicode点U+2122,然后被翻译成UTF-8十六进制字节E2 84 A2,这最终会被误解为它们是Windows1252字节。
在哪里可以找到上面显示的有关字符的数据:
发布于 2013-04-25 18:53:43
如果链中的每个字符切换都是UTF8 8感知的,则字符应以3个字节的形式存储在UTF8字段中,其十六进制为:
E284A2并且,在latan1字段中,作为1字节,其十六进制是:
99但是,您的客户端和连接在正确存储字符和显示字符( as-stored. )方面发挥着关键作用。
通过latin1连接与latin1客户端连接,创建和INSERTed两行。更改为utf8客户端/连接并重新插入。结果如下:
从我的latin1连接中选择:
mysql> select *, hex(lat), hex(utf) from chrs;
+------+------+----------+----------------+
| lat | utf | hex(lat) | hex(utf) |
+------+------+----------+----------------+
| ™ | ™ | E284A2 | C3A2E2809EC2A2 |
| | | 20 | 20 |
| ? | ? | 99 | E284A2 |
| | | 20 | 20 |
+------+------+----------+----------------+从我的utf8连接中选择:
mysql> select *, hex(lat), hex(utf) from chrs;
+---------+---------+----------+----------------+
| lat | utf | hex(lat) | hex(utf) |
+---------+---------+----------+----------------+
| â„¢ | â„¢ | E284A2 | C3A2E2809EC2A2 |
| | | 20 | 20 |
| ™ | ™ | 99 | E284A2 |
| | | 20 | 20 |
+---------+---------+----------+----------------+在我看来,这里最令人困惑的行为是C3A2E2809EC2A2在SELECTed来自latin1客户端和连接时以某种方式正确地呈现。但是,考虑到字段是UTF8,MySQL无疑是将每组3字节转换成相应的latin1字节进行传输,从而通过连接发送E284A2。而我的终端恰好将这三个字节解释为UTF8。(但是,这在某种程度上是猜测。我不完全确定在什么时候发生了“无意中正确”的转换。)
当然,MySQL对拉丁文99的处理方式也是类似的,但却相反。
https://stackoverflow.com/questions/16220903
复制相似问题