Python编解码模块

Question

我正在尝试将保存为UTF-8的文件加载到python (ver2.6.6)中，其中包含14种不同的语言。我使用python模块来解码txt文件。

import codecs
f = open('C:/temp/list_test.txt', 'r')
    for lines in f:
        line=filter_str(lines.decode("utf-8")

这一切都很好。我解析整个文件，然后导出14个不同的语言文件。我无法理解的问题是：

输出使用以下代码：

malangout = codecs.open("C:/temp/'polish.txt",'w','utf-8','surrogateescape')
    for item in lang_dic['English']:
         temp = lang_dic[lang1][item]
         malangout.write(temp + '\n')
    malangout.close() 

示例：

Polish

• Expected

• 语言：输出: Dziennik zakłóceń
• Actual输出: Dziennik zak，óceƒ

字符串按如下方式存储：

u'Dziennik zak\u201a\xf3ce\u0192'

我尝试过从python文档中进行许多编码(7.8码)。在这一点上，任何信息都会有所帮助。

Answer 1

字符串按如下方式存储：

U‘’Dziennik\u201a\xf3ce\u0192‘

嗯，这是个问题，因为

In [25]: print(u'Dziennik zak\u201a\xf3ce\u0192')
Dziennik zak‚óceƒ

与

In [26]: print(u'Dziennik zak\u0142\xf3ce\u0144')
Dziennik zakłóceń

所以看起来你存储的unicode是不正确的。你确定在C:/temp/list_test.txt中它是正确的吗？也就是说，list_test.txt是否包含

In [28]: u'Dziennik zak\u201a\xf3ce\u0192'.encode('utf-8')
Out[28]: 'Dziennik zak\xe2\x80\x9a\xc3\xb3ce\xc6\x92'

或

In [27]: u'Dziennik zak\u0142\xf3ce\u0144'.encode('utf-8')
Out[27]: 'Dziennik zak\xc5\x82\xc3\xb3ce\xc5\x84'

PS。你可能想要改变

temp + '\n'

至

temp + u'\n'

为了说明清楚，您将两个unicode相加在一起，形成一个unicode。上述两行在Python2中的结果相同，但在Python3中，将unicode和str相加将引发TypeError。即使在Python3中，'\n'是unicode，我认为向Python3过渡的挑战将是改变一个人对混合unicode和str的心理态度。在Python2中，它是为您默默尝试的，而在Python3中，它是不允许的。