在python中打印希伯来语可以在eclipse中使用，但不能在shell中使用

Question

我有一些代码，可以将希伯来语文本文件的Unicode表示形式转换为希伯来语以供显示

例如：

f = open(sys.argv[1])
for line in f:
    print eval('u"' + line +'"')

当我在PyDev (eclipse)中运行它时，这很有趣，但是当我从命令行运行它时，我得到

UnicodeEncodeError: 'latin-1' codec can't encode characters in position 9-10: ordinal not in range(256)

输入文件中的一个示例行是：

\u05d9\u05d5\u05dd

有什么问题吗？我该如何解决这个问题呢？

Answer 1

不要使用eval()；而是使用unicode_escape编解码器来解释该数据：

for line in f:
    line = line.decode('unicode_escape')

unicode_escape编码解释\uabcd字符序列的方式与解析源代码中的unicode文本时的方式相同：

>>> '\u05d9\u05d5\u05dd'.decode('unicode_escape')
u'\u05d9\u05d5\u05dd'

但是，您看到的异常不是由eval()语句引起的；我怀疑它是由尝试打印结果引起的。Python将尝试自动对unicode值进行编码，并将检测当前终端使用的编码。

您的Eclipse输出窗口使用与您的终端不同的编码；如果后者被配置为支持拉丁文-1，那么您将看到确切的异常，因为Python试图将希伯来语代码点编码为不支持这些编码的编码：

>>> u'\u05d9\u05d5\u05dd'.encode('latin1')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeEncodeError: 'latin-1' codec can't encode characters in position 0-2: ordinal not in range(256)

解决方案是重新配置您的终端(UTF-8将是一个很好的选择)，或者不打印带有不能编码为unicode -1的代码点的拉丁值。

如果将输出从Python重定向到文件，则Python无法自动确定输出编码。在这种情况下，您可以使用PYTHONIOENCODING environment variable告诉Python对标准I/O使用哪种编码：

PYTHONIOENCODING=utf-8 python yourscript.py > outputfile.txt

Answer 2

谢谢，这解决了我的问题。

line.decode('unicode_escape')

成功了。

Followup -现在可以工作了，但是如果我尝试将输出发送到一个文件：

python myScript.py > textfile.txt

文件本身具有以下错误：

'ascii' codec can't encode characters in position 42-44: ordinal not in range(128)