我正在尝试递归镜像一个网页,例如在一个网页上获取所有页面。所有网页都在一个文件夹的子文件夹中,因此我可以使用wget轻松地镜像所有网页:
wget --mirror --recursive --page-requisites --adjust-extension --no-parent --convert-links https://www.example.com/
但是,在执行某些JS脚本之前会对页面进行镜像,而这些JS脚本不会被镜像。我也需要以某种方式镜像它们,因为它们改变了网页的DOM。另一种选择是等待站点完成加载和镜像已加载的网页(该任务不是时间紧迫的)。
我已经尝试过用PhantomJS来镜像网页,但是我不能使用PhantomJS来使用递归,或者至少我不知道该怎么做。我还仔细查看了wget手册页,但找不到任何对应的选项。
有没有可能这样做呢?提前谢谢。
发布于 2018-10-09 14:53:41
wget不执行任何javascript。您可能需要通过像splash这样的代理。我以前在scrapy spider中使用过splash,但从未在wget中使用过。不过,值得一试
https://stackoverflow.com/questions/50629447
复制相似问题