Scrapyd:如何设置scrapyd任务优先级？

Question

我有几个小项目。我用剪贴纸把它们都部署好了。有些蜘蛛速度慢，而另一些蜘蛛速度快。现在，我想先跑快蜘蛛。怎么做？

Answer 1

我遇到了同样的问题。但是我读了scrapyd的源代码，似乎scrapyd可以处理它。然而，这并没有被记录在案。

您需要添加一个名为priority的参数，该参数具有所需的值。默认优先级为0。

例如：

curl http://localhost:6800/schedule.json -d project=myproject -d spider=somespider -d priority=1