首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >抓取并发或分布式爬网

问抓取并发或分布式爬网
EN

Stack Overflow用户
提问于 2015-05-28 00:45:04
回答 2查看 1.1K关注 0票数 4

我想用scrapy抓取相当大的网站。在某些情况下,我已经有了抓取的链接,而在其他情况下,我需要提取(抓取)它们。我还需要在运行时访问数据库两次。一次是为了确定是否需要抓取url (蜘蛛中间件),一次是为了存储所提取的信息(项目流水线)。理想情况下,我可以运行并发或分布式爬行,以加快速度。使用scrapy运行并发或分布式爬网的推荐方式是什么?

EN

回答 2

Stack Overflow用户

发布于 2017-04-26 23:29:25

你应该检查一下scrapy_redis。

它的实现非常简单。您scheduler和duplicate filter将存储在redis队列中。所有的蜘蛛都会同时工作,你应该加快你的爬行时间。

希望这能有所帮助。

票数 0
EN

Stack Overflow用户

发布于 2019-01-30 21:48:13

Scrapy Cluster文档包含一个page,其中列出了许多现有的基于Scrapy的分布式爬虫解决方案。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/30488519

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档