import requests
user_agent = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.47 Safari/537.36'
headers = {'User-Agent': user_agent}
page = requests.get("https://sky.lea.moe/stats/PapaGordsmack/", headers=headers)
html_contents = page.text
print(html_contents)我试图从特定用户的sky.lea.moe网站上抓取网页,但当我请求并打印html时,它与浏览器中显示的不同(在chrome上,查看页面源代码)。
我得到的一个是:https://pastebin.com/91zRw3vP分析这一个,它是关于检查浏览器和重定向的。你知道我该怎么做吗?
发布于 2020-02-09 19:57:39
浏览器实际上不仅仅是下载一个网页。他们还下载额外的资源,解析风格和类似的东西。要抓取网页,建议使用像Scrapy这样的抓取库,它可以为您做所有这些事情,并提供一个完整的库来轻松地从这些页面中提取信息。
发布于 2020-02-09 23:03:06
这是cloudflare的防dos防护,它可以有效地阻止抓取。JS脚本通常会在几秒钟后重定向。
像Selenium这样的工具可能是解决这个问题的最佳选择,不过您也可以抓取JS文件并获得要重定向的URL。你也可以试着欺骗你的推荐人是这个页面,这样它就会转到正确的页面。
https://stackoverflow.com/questions/60136085
复制相似问题