我在维基百科上查看中文字符的编码,我很难弄清楚他们使用的是什么。例如,"的“被编码为"%E7%9A%84”(see here)。这是三个字节,但是on this page描述的编码中没有一个使用三个字节来表示中文字符。例如,UTF-8使用2个字节。
我基本上是在尝试将这三个字节与实际字符进行匹配。有什么建议是什么编码吗?
发布于 2011-04-10 13:49:06
>>> c='\xe7\x9a\x84'.decode('utf8')
>>> c
u'\u7684'
>>> print c
的
虽然Unicode以16位编码,但utf8将其分解为3个字节。
发布于 2011-04-10 13:53:41
维基百科页面的页眉包括以下内容:
<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />所以这个页面是UTF-8。
发布于 2014-12-01 07:08:12
您给出的示例是一个IRI。
IRIs使用UTF8编码。UTF8实现unicode,在unicode中,每个字符都有一个码点,所有中文字符的码点都在0x4E00到0x9FFF (2字节)之间。
但是UTF8不会仅仅通过存储字符的代码点来编码字符(UTF32可以做到这一点)。相反,它使用more complex standard,使所有中文表意文字的长度为2或3字节。
https://stackoverflow.com/questions/5610021
复制相似问题