运行刮除蜘蛛的多个进程

Question

我有一个Scrapy项目，它从数据库中读取100万个产品ID，然后根据一个网站的ID开始刮取产品详细信息。

我的蜘蛛已经完全工作了。

我想运行10个Spider实例，每个实例分配相同数量的产品ID。

我可以这样做，

SELECT COUNT(*) FROM product_ids，然后除以10，然后执行

SELECT * FROM product_ids LIMIT 0, N等等

我有一个想法，我可以在终端中通过在刮擦命令中传递LIMIT，比如scrapy crawl my_spider scrape=1000等等。

但是我想在蜘蛛里做，所以我只运行了一次蜘蛛，然后它在蜘蛛体内运行了10个相同的蜘蛛。

Answer 1

一种方法是使用CrawlerProcess助手类或CrawlerRunner类。

import scrapy
from scrapy.crawler import CrawlerProcess

class Spider1(scrapy.Spider):
   # Your first spider definition

process = CrawlerProcess()
process.crawl(Spider1)
process.crawl(Spider1)
process.start() 

它是在同一个进程中运行多个蜘蛛，而不是多个进程。