如何在Python中将\xXY编码字符转换为UTF-8？

Question

我有一个文本，其中包含诸如"\xaf“、"\xbe”之类的字符，据我在this question中的理解，这些字符是ASCII码字符。

我想将它们在Python中转换为UTF-8等效项。通常的string.encode("utf-8")会抛出UnicodeDecodeError。有没有更好的方法，例如，使用codecs标准库？

示例200 characters here。

Answer 1

您的文件已经是UTF-8编码文件。

# saved encoding-sample to /tmp/encoding-sample
import codecs
fp= codecs.open("/tmp/encoding-sample", "r", "utf8")
data= fp.read()

import unicodedata as ud

chars= sorted(set(data))
for char in chars:
    try:
        charname= ud.name(char)
    except ValueError:
        charname= "<unknown>"
    sys.stdout.write("char U%04x %s\n" % (ord(char), charname))

并手动填写未知名称：

字符U000a换行符

字符U001e信息分隔符2

char U001f信息分隔符1

Answer 2

.encode用于将Unicode字符串( 2.x中的unicode，3.x中的str )转换为字节字符串( 2.x中的str，3.x中的bytes )。

在2.x中，在str对象上调用.encode是合法的。Python首先隐式地将字符串解码为Unicode：s.encode(e)的工作方式就像您编写了s.decode(sys.getdefaultencoding()).encode(e)一样。

问题是默认编码是"ascii"，而您的字符串包含非ASCII字符。您可以通过显式指定正确的编码来解决此问题。

>>> '\xAF \xBE'.decode('ISO-8859-1').encode('UTF-8')
'\xc2\xaf \xc2\xbe'

Answer 3

它不是ASCII码(ASCII码只有127；\xaf是175)。您首先需要找出正确的编码，对其进行解码，然后以UTF-8重新编码。

你能提供一个实际的字符串样本吗？然后，我们可能可以猜测当前的编码。