首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >对字符集如何影响存储/显示的解释

问对字符集如何影响存储/显示的解释
EN

Stack Overflow用户
提问于 2013-04-25 17:16:58
回答 2查看 611关注 0票数 5

我还不明白这一点,这让我很恼火,但也许一些解释会有所帮助。这是一个分为两个部分的问题,但希望这两个部分都是小的、直接相关的:

显示

最近,我们遇到了一个问题,内容将U+00a0 (非破缺空间)字符插入到带有latin1字符集的DB列中。只需执行SELECT,就可以在列中打印出“我不确定这是选择或展示的产物,但我相信这是前者。相反,SELECT BINARY col会打印出“$LANG = en_US.utf8”,而且它也应该打印出来,因为我的shell有$LANG = en_US.utf8。

一个更明显的例子是“-”和"™“

使用SELECT CONVERT(col USING utf8)仍然打印出“”和“-”--我不一定期望它会有不同的效果,但是问题的根源是什么呢?这是一个在存储时间发生的问题吗?是否有一种方法可以将UTF8显示从DB中取出,而不是依赖UI来正确显示它(如果这有意义的话)?

存储

为了自己重现这个问题,我做了以下工作:

代码语言:javascript
复制
CREATE TABLE chrs (
    lat varchar(255) charset latin1,
    utf varchar(255) charset utf8
);
INSERT INTO chrs VALUES ('™', '™');
INSERT INTO chrs VALUES (' ', ' '); -- U+00a0

然而,这样做的结果是:

代码语言:javascript
复制
> SELECT * FROM chrs;
+------+------+
| lat  | utf  |
+------+------+
| ™    | ™    |
|      |      |
+------+------+

我希望lat会显示“”和“-”,所以显然有些东西我不明白。

更重要的是:

代码语言:javascript
复制
 > SELECT BINARY lat, BINARY utf FROM chrs;
+------------+------------+
| BINARY lat | BINARY utf |
+------------+------------+
| �           | ™          |
| �           |            |
+------------+------------+

这表明值存储不当(?)转化为lat。

我注意到SELECT @@character_set_client是utf8,所以我将它更改为latin1,并再次插入空格,但这会产生

代码语言:javascript
复制
|     |     |

两列都是。SELECT BINARY lat正确地显示了空格,但是SELECT binary utf8仍然打印出“我希望utf8列能够更正确地工作。

概括地说:

  • 当您插入字符时,MySQL实际上会对它们做些什么?它取决于列字符集、客户端集、两者,还是其他什么?
  • 是否有可能因为上述不匹配而在插入时将数据搞砸?还是总是可以恢复原来插入的数据?
  • 对于存储/显示,列上的charset实际上是做什么的?
EN

回答 2

Stack Overflow用户

发布于 2013-04-25 17:47:32

简而言之,您的数据库似乎没有问题,除非您明确地告诉它通过将@@character_set_client从utf8更改为latin1来表现得很奇怪。否则,我认为你看到了在其他地方使用UTF-8和Windows-1252的软件组件之间的分歧的影响。

我们怎么知道发生了什么?

首先,我们回顾了在MySQL中,latin1实际上是指Windows1252,一种与“拉丁语-1”本身有点不同的编码,也称为ISO/IEC8859-1。

现在,让我们考虑以下有关商标标志和非破坏空间的数据:

  • 文字:“商标标志”
  • Unicode点: U+2122
  • UTF-8十六进制字节: E2 84 A2
  • 拉丁文-1 (ISO 8859-1)十六进制字节:此编码中没有此字符的代码。
  • Windows 1252十六进制字节: 8D
  • 人物:“不破空间”
  • Unicode点: U+00A0
  • UTF-8十六进制字节: C2 A0
  • 拉丁文-1 (ISO 8859-1)十六进制字节: A0
  • Windows 1252十六进制字节: A0

事情出问题的各种方式:

  • 将商标符号UTF-8十六进制字节解释为Windows1252字节:-“”的字符
    • “拉丁文小写字母a带旋折”,“双低-9引号”,“分号”。
    • 注意:拉丁文-1和Unicode对Windows-1252定义为“双低-9引号”的十六进制字节84根本没有解码。Unicode编码“双低-9引号”的代码点远离那里,U+201E。

​

  • 将非破缺空间UTF-8十六进制字节解释为Windows 1252字节所产生的字符:非破缺空间
    • “拉丁文大写字母a带旋曲”,“不破空格”。

​

  • 将商标符号Windows-1252十六进制字节解释为UTF-8字节的字符:无字符:平台的缺失字符标记显示,通常是问号符号上的变化

似乎当您插入时,您的数据库将商标符号存储在"latin1“中作为十六进制字节8D,在"UTF-8”中存储为十六进制字节E2 A4 A2。它将非中断空间存储在"latin1“中作为十六进制字节" A0”,在UTF-8中存储为十六进制字节C2 A0。当您以交互方式进行正常选择时,"latin1“商标标志首先被翻译成Unicode点U+2122,然后被翻译成UTF-8十六进制字节E2 84 A2,这最终会被误解为它们是Windows1252字节。

在哪里可以找到上面显示的有关字符的数据:

票数 3
EN

Stack Overflow用户

发布于 2013-04-25 18:53:43

如果链中的每个字符切换都是UTF8 8感知的,则字符应以3个字节的形式存储在UTF8字段中,其十六进制为:

代码语言:javascript
复制
E284A2

并且,在latan1字段中,作为1字节,其十六进制是:

代码语言:javascript
复制
99

但是,您的客户端和连接在正确存储字符和显示字符( as-stored. )方面发挥着关键作用。

通过latin1连接与latin1客户端连接,创建和INSERTed两行。更改为utf8客户端/连接并重新插入。结果如下:

从我的latin1连接中选择:

代码语言:javascript
复制
mysql> select *, hex(lat), hex(utf) from chrs;
+------+------+----------+----------------+
| lat  | utf  | hex(lat) | hex(utf)       |
+------+------+----------+----------------+
| ™  | ™  | E284A2   | C3A2E2809EC2A2 |
|      |      | 20       | 20             |
| ?    | ?    | 99       | E284A2         |
|      |      | 20       | 20             |
+------+------+----------+----------------+

从我的utf8连接中选择:

代码语言:javascript
复制
mysql> select *, hex(lat), hex(utf) from chrs;
+---------+---------+----------+----------------+
| lat     | utf     | hex(lat) | hex(utf)       |
+---------+---------+----------+----------------+
| â„¢     | â„¢     | E284A2   | C3A2E2809EC2A2 |
|         |         | 20       | 20             |
| ™       | ™       | 99       | E284A2         |
|         |         | 20       | 20             |
+---------+---------+----------+----------------+

在我看来,这里最令人困惑的行为是C3A2E2809EC2A2在SELECTed来自latin1客户端和连接时以某种方式正确地呈现。但是,考虑到字段是UTF8,MySQL无疑是将每组3字节转换成相应的latin1字节进行传输,从而通过连接发送E284A2。而我的终端恰好将这三个字节解释为UTF8。(但是,这在某种程度上是猜测。我不完全确定在什么时候发生了“无意中正确”的转换。)

当然,MySQL对拉丁文99的处理方式也是类似的,但却相反。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/16220903

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档