问一只一只地跑多只蜘蛛
EN

Stack Overflow用户

提问于 2014-02-11 06:07:34

回答 1查看 540关注 0票数 0

我正在使用Scrapy框架让蜘蛛爬过一些网页。基本上，我想要的是刮网页并将它们保存到数据库中。我每个网页都有一只蜘蛛。但是我很难同时运行这些蜘蛛，以至于一只蜘蛛在另一只蜘蛛完成爬行后才开始爬行。如何才能做到这一点？刮伤是解决办法吗？

回答已采纳

发布于 2014-02-11 06:17:28

scrapyd确实是一个很好的方法，可以使用流程或cpu配置来限制并行spdiers的数量，然后使用scrapyd的日程安排蜘蛛，如：

$ curl http://localhost:6800/schedule.json -d project=myproject -d spider=somespider

票数 1

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/21694386

复制

相似问题

问一只一只地跑多只蜘蛛EN