我想用scrapy抓取相当大的网站。在某些情况下,我已经有了抓取的链接,而在其他情况下,我需要提取(抓取)它们。我还需要在运行时访问数据库两次。一次是为了确定是否需要抓取url (蜘蛛中间件),一次是为了存储所提取的信息(项目流水线)。理想情况下,我可以运行并发或分布式爬行,以加快速度。使用scrapy运行并发或分布式爬网的推荐方式是什么?
发布于 2017-04-26 23:29:25
你应该检查一下scrapy_redis。
它的实现非常简单。您scheduler和duplicate filter将存储在redis队列中。所有的蜘蛛都会同时工作,你应该加快你的爬行时间。
希望这能有所帮助。
发布于 2019-01-30 21:48:13
Scrapy Cluster文档包含一个page,其中列出了许多现有的基于Scrapy的分布式爬虫解决方案。
https://stackoverflow.com/questions/30488519
复制相似问题