Scrapyd与Windows任务计划程序

Question

我想在Azure虚拟机上运行一小群Scrapy蜘蛛。我在找一个自动化解决方案。目前看来，将完成在一个vm实例上运行3-5个蜘蛛的工作。我唯一关心的是我能不能让这几只蜘蛛并行运行？

如果任务调度程序已经可以并行运行蜘蛛，那么使用Scrapyd来实现这个任务有什么更长远的优势呢?例如，如果范围内有100只蜘蛛？作为另一种选择，也许在每个虚拟机上都有一个任务调度程序的虚拟机也会完成这项工作。由于Windows上的其他开发，我试图远离Linux，此外，我还看到了将Scrapyd与Windows一起使用的一些担忧。

Answer 1

我在试图在Windows上安装Scrapyd时遇到了一些问题，特别是Scrapyd。我联系了运行它的开发人员，他们提到了用于Windows的Scrapyd服务器不是项目的一部分。有趣的是，因为我实际上成功地运行它，没有具体的问题，有一个pip安装，我只是没有成功地开始与Scrapyd客户端。SOF上的一些人声称能够在Windows上运行Scrapyd，但是Linux在这个工具方面处于领先地位，所以我不会反对当前的做法。

Scrapy是一个很好的工具，但是让Scrapyd使用Windows (至少对我来说)不是我所期望的体验，所以我将使用一个基本的选项。