首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何从动态生成的网页中检索html

问如何从动态生成的网页中检索html
EN

Stack Overflow用户
提问于 2018-03-11 22:41:54
回答 1查看 127关注 0票数 3

2年前,我搁置了一个工作的Ruby 刮板,它可以自动下载一周的电视电影节目单。今天又开始工作了,发现Ruby既不能访问显示的网页的控件,也不能访问网页的数据。

调试表明,脚本现在正在生成加载后续网页的文档。此外,初始脚本在运行时修改当前文档(删除链接)。任何url都使用相同的初始网页加载结果。

我正在寻找关于如何继续访问显示的网页中的数据的建议。我对javascript不是很了解,但是如果我有一个明确的计划要遵循,我就会去追求。我相信我找到了href来加载第二个网页,但它只是再次加载初始页面,因此其他机制也在发挥作用(即脚本中提到了cookie)。

要下载这些信息,至少需要28个网页,通常在下载电影信息时,需要处理数百个网页。

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2018-03-12 16:45:30

正如您已经发现的,您不能使用简单的HTTP请求来抓取动态内容的网页。您需要模拟实际使用的网页,以便Javascript运行并生成所需内容。这个教程可能会帮助您完成您想要完成的任务。

票数 5
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/49225889

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档