问网络爬虫无法从https://steemit.com/trending获取链接
EN

Stack Overflow用户

提问于 2017-05-17 09:33:00

回答 1查看 78关注 0票数 1

当我运行我的爬虫程序的主文件时，我得到这个'utf-8‘编解码器无法解码位置1中的字节0x8b :无效的起始字节。我会发布代码，但这是一个大程序，我不确定在哪里或什么问题。这个网站是硬核加密的，这会是问题所在吗？

发布于 2017-05-17 10:33:19

正如其他人所指出的那样，一个例子将会有很大的帮助。

但如果我必须在黑暗中进行一次有教养的刺杀...您遇到的具体问题是，您正在抓取的页面可能包含一些未编码就无法存储的unicode字符。所以..。尝试按如下方式对数据进行编码...

item['title'] = however_you_got_title.encode('utf-8')

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/44014067

复制

相似问题

问网络爬虫无法从https://steemit.com/trending获取链接EN