Python 3.4.2
我正在使用Scrapinghub的客户端接口,在这里可以找到:
https://github.com/scrapinghub/python-scrapinghub
我刮了一个网站,想要得到和打印的项目
for item in job.items():
print(item)在python解释器中,这很好,但是当我用脚本导出代码时(f.e )。“test.py”并使用“python3 test.py”运行它--发生了一个错误,即:
Traceback (most recent call last):
File "test.py", line 24, in <module>
print(insert_statement)
UnicodeEncodeError: 'ascii' codec can't encode character '\xdf' in position 247: ordinal not in range(128)第24行的案文如下:托拜厄斯·魏。
我已经运行‘dpkg-重新配置地区’,并将其设置为'de_DE.UTF-8 UTF-8‘,但它似乎不是问题。
对于每个结果,我是否必须将条目dict转换为utf8,还是有其他我看不到的解决方案。
from scrapinghub import Connection
conn = Connection('1234567890')
project = conn[123456]
jobs = project.jobs(state='finished')
for job in jobs:
if "consumed" not in job.info['tags']:
for item in job.items():
print(item)问候
发布于 2017-03-17 15:40:59
我找到了一个解决办法,这似乎是可行的。
在shell中,我必须键入:
export LC_ALL=C.UTF-8
export LANG=C.UTF-8另外,我还遵循了这里的指令:https://blog.scrapinghub.com/2016/08/17/introducing-scrapy-cloud-with-python-3-support/
在Python 3支持下引入Scrapy
无论如何,都要感谢所有的人!
https://stackoverflow.com/questions/42860780
复制相似问题