我正在抓取一个中文网站,通常解析中文字符是没有问题的,我使用bs4中的pattern函数来查找特定的urls。然而,对于这个特定的中文网站,汤不能被正确地解析。下面是我用来设置soup的代码:
start = f'http://www.shuichan.cc/news_list.asp?action=&c_id=93&s_id=210&page={1}'
r = requests.get(start)
soup = bs(r.content, "html.parser")下面是一个打印出来的汤的例子:
注意:我不得不添加一张图片作为Stack,尽管它是垃圾邮件:)
上面的代码应该如下所示:
我想知道我是否必须在请求中指定某种编码,或者在汤中指定某种编码,但到目前为止,我还没有找到任何可以工作的东西。
提前感谢!
发布于 2020-12-18 17:54:13
我不懂中文。这样做能得到预期的结果吗?
import requests
from bs4 import BeautifulSoup as bs
start = f'http://www.shuichan.cc/news_list.asp?action=&c_id=93&s_id=210&page={1}'
r = requests.get(start)
soup = bs(r.content.decode('GBK', 'ignore'), "html.parser")
print(soup)https://stackoverflow.com/questions/65354776
复制相似问题