首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >浏览器中的Html与Python中请求的Html不同

问浏览器中的Html与Python中请求的Html不同
EN

Stack Overflow用户
提问于 2020-02-09 19:28:32
回答 2查看 54关注 0票数 0
代码语言:javascript
复制
import requests

user_agent = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.47 Safari/537.36'
headers = {'User-Agent': user_agent}
page = requests.get("https://sky.lea.moe/stats/PapaGordsmack/", headers=headers)
html_contents = page.text
print(html_contents)

我试图从特定用户的sky.lea.moe网站上抓取网页,但当我请求并打印html时,它与浏览器中显示的不同(在chrome上,查看页面源代码)。

我得到的一个是:https://pastebin.com/91zRw3vP分析这一个,它是关于检查浏览器和重定向的。你知道我该怎么做吗?

EN

回答 2

Stack Overflow用户

发布于 2020-02-09 19:57:39

浏览器实际上不仅仅是下载一个网页。他们还下载额外的资源,解析风格和类似的东西。要抓取网页,建议使用像Scrapy这样的抓取库,它可以为您做所有这些事情,并提供一个完整的库来轻松地从这些页面中提取信息。

票数 0
EN

Stack Overflow用户

发布于 2020-02-09 23:03:06

这是cloudflare的防dos防护,它可以有效地阻止抓取。JS脚本通常会在几秒钟后重定向。

像Selenium这样的工具可能是解决这个问题的最佳选择,不过您也可以抓取JS文件并获得要重定向的URL。你也可以试着欺骗你的推荐人是这个页面,这样它就会转到正确的页面。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/60136085

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档