首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >JS执行后递归镜像网页

问JS执行后递归镜像网页
EN

Stack Overflow用户
提问于 2018-06-01 01:06:24
回答 1查看 292关注 0票数 0

我正在尝试递归镜像一个网页,例如在一个网页上获取所有页面。所有网页都在一个文件夹的子文件夹中,因此我可以使用wget轻松地镜像所有网页:

wget --mirror --recursive --page-requisites --adjust-extension --no-parent --convert-links https://www.example.com/

但是,在执行某些JS脚本之前会对页面进行镜像,而这些JS脚本不会被镜像。我也需要以某种方式镜像它们,因为它们改变了网页的DOM。另一种选择是等待站点完成加载和镜像已加载的网页(该任务不是时间紧迫的)。

我已经尝试过用PhantomJS来镜像网页,但是我不能使用PhantomJS来使用递归,或者至少我不知道该怎么做。我还仔细查看了wget手册页,但找不到任何对应的选项。

有没有可能这样做呢?提前谢谢。

EN

回答 1

Stack Overflow用户

发布于 2018-10-09 14:53:41

wget不执行任何javascript。您可能需要通过像splash这样的代理。我以前在scrapy spider中使用过splash,但从未在wget中使用过。不过,值得一试

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/50629447

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档