首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >Python Webscraping:解析中文字符时出现问题

问Python Webscraping:解析中文字符时出现问题
EN

Stack Overflow用户
提问于 2020-12-18 17:46:26
回答 1查看 183关注 0票数 0

我正在抓取一个中文网站,通常解析中文字符是没有问题的,我使用bs4中的pattern函数来查找特定的urls。然而,对于这个特定的中文网站,汤不能被正确地解析。下面是我用来设置soup的代码:

代码语言:javascript
复制
start = f'http://www.shuichan.cc/news_list.asp?action=&c_id=93&s_id=210&page={1}'
r = requests.get(start)
soup = bs(r.content, "html.parser")

下面是一个打印出来的汤的例子:

Current soup

注意:我不得不添加一张图片作为Stack,尽管它是垃圾邮件:)

上面的代码应该如下所示:

Proper soup

我想知道我是否必须在请求中指定某种编码,或者在汤中指定某种编码,但到目前为止,我还没有找到任何可以工作的东西。

提前感谢!

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2020-12-18 17:54:13

我不懂中文。这样做能得到预期的结果吗?

代码语言:javascript
复制
import requests
from bs4 import BeautifulSoup as bs

start = f'http://www.shuichan.cc/news_list.asp?action=&c_id=93&s_id=210&page={1}'
r = requests.get(start)
soup = bs(r.content.decode('GBK', 'ignore'), "html.parser")

print(soup)
票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/65354776

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档