2年前,我搁置了一个工作的Ruby 刮板,它可以自动下载一周的电视电影节目单。今天又开始工作了,发现Ruby既不能访问显示的网页的控件,也不能访问网页的数据。
调试表明,脚本现在正在生成加载后续网页的文档。此外,初始脚本在运行时修改当前文档(删除链接)。任何url都使用相同的初始网页加载结果。
我正在寻找关于如何继续访问显示的网页中的数据的建议。我对javascript不是很了解,但是如果我有一个明确的计划要遵循,我就会去追求。我相信我找到了href来加载第二个网页,但它只是再次加载初始页面,因此其他机制也在发挥作用(即脚本中提到了cookie)。
要下载这些信息,至少需要28个网页,通常在下载电影信息时,需要处理数百个网页。
发布于 2018-03-12 16:45:30
正如您已经发现的,您不能使用简单的HTTP请求来抓取动态内容的网页。您需要模拟实际使用的网页,以便Javascript运行并生成所需内容。这个教程可能会帮助您完成您想要完成的任务。
https://stackoverflow.com/questions/49225889
复制相似问题