问有没有办法使用机器人加载/访问完整的网页(所有子页面)？
EN

Stack Overflow用户

提问于 2017-03-03 03:03:11

回答 1查看 42关注 0票数 0

目前我有一个网页，它与清漆缓存工作。但是，要使此缓存工作，必须先访问页面，然后才能开始从缓存加载。我的问题是，我在这个网站上有数千个页面，我不能一个接一个地访问它们，因为这会花费很多时间。有没有网络爬虫或类似的东西来做这个任务？只是为了访问页面，因为访问页面会生成缓存文件，然后它的工作速度会更快。

发布于 2017-03-03 03:27:57

只需生成一个带有在线网站地图生成器的网站地图，它将抓取所有网站

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/42563818

复制

相似问题

问有没有办法使用机器人加载/访问完整的网页(所有子页面)？EN