python中的分布式任务调度器？

Question

我想要建立一个应用程序，它可以调用定期任务在规定的间隔- cron替换类似，但没有产卵过程。我会有很多任务，大约每分钟10000件。

• 我应该能够动态地将任务添加到调度程序中，例如使用RPC。
• 任务应该存储在某个中心位置，比如数据库。
• 它应该是可伸缩的，这意味着我可以运行类似于将处理计划任务的worker实例--如果一个工作人员已经承受了沉重的负载，另一个就开始处理预定的任务。

目前，我已经研究了这些选择：

• 芹菜-可以作为一个分布式系统工作，但它并不是真正的调度器。你不能动态地安排新的工作。
• APScheduler -任务可以动态添加，可以将任务存储在数据库中，但它不是分布式的。

我可能可以单独运行ap调度程序实例，但是每个实例都有不同的作业存储(mysql数据库或表)。此外，我还需要手动确定应该向哪个实例作业提交。故障转移和可伸缩性也很困难。

对于这个问题，是否有任何现有的python或非python解决方案？

Answer 1

看看https://github.com/pditommaso/awesome-pipeline。这有一大串工作流管理工具，其中一个很可能满足您的需求。

例如：DoIt和JobLib，它们宣称自己是具有并行执行能力的简单任务系统。

它们中的许多都会对你的需求造成太重的负担，而有些则更专业(生物信息学)。

作为管理过程运行的较重任务系统的示例：罗吉、辛劳、气流，气流和弹球。

较重的那些将有一个学习曲线，但将允许您集中管理任务。