当指定了一个spider_idle时，会调用DOWNLOAD_DELAY吗？

Question

我正在写一个蜘蛛，用于从一个汽车共享网站https://fr.be.getaround.com/上抓取有关汽车的数据。目的是把我的蜘蛛分成两部分。首先，它收集可用汽车的数据，并将不可用的汽车放在一边。第二，一旦所有关于可用汽车的信息都被刮掉，因此在过程结束时，蜘蛛就会为不可用的汽车抓取额外的信息。对于第二部分，我在蜘蛛中添加了spider_idle方法。这样，一旦等待名单上没有可用的汽车，就应该叫它。但是，我已经添加了一个DOWNLOAD_DELAY (5秒)并启用了自动节流阀。我想知道，在每个请求之间的等待时间内(在5秒内)，是否会调用spider_idle？

Answer 1

不是的。

只有在没有进一步处理请求时才调用spider_idle信号。如果没有请求正在进行，则不会调用它，因为下一个请求需要等待给定的时间才能通过。