问有没有办法不用下载所有的HTML就能运行Rcrawler？
EN

Stack Overflow用户

提问于 2019-05-27 21:09:37

回答 1查看 124关注 0票数 0

我在一个非常大的网站上运行爬虫，所以它需要很长的时间(默认页面深度的3+天)。有没有办法不下载所有的超文本标记语言让这个过程更快？

我只需要存储在索引中的URL。或者有人能推荐另一种让Rcrawler运行得更快的方法吗？

我试过用较小的页面深度(5)运行它，但它仍然需要花费很长时间。

发布于 2019-06-03 18:03:13

我也在处理同样的问题。根据源代码的不同，在某些情况下，我甚至以深度1运行。

最佳，Janusz

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/56326780

复制

相似问题

问有没有办法不用下载所有的HTML就能运行Rcrawler？EN