Apache气流或Argoproj在kubernetes上的长时间运行和DAGs任务

Question

我们在k8s中有很多长时间运行的内存/cpu密集型作业，它们都是在google平台上的kubernetes上与芹菜一起运行的。然而，我们在交付的scaling/retrying/monitoring/alerting/guarantee方面有很大的问题。我们想从芹菜转向更先进的框架。

有一个比较：https://github.com/argoproj/argo/issues/849，但这还不够。

气流：

• 具有较好的支持社区~400 vs ~12标签SO，13k星vs ~3.5k星
• python定义流的方式比使用yamls更好
• 作为产品的GCP支持:云编写器
• 更好的仪表板
• 一些不错的操作员，比如电子邮件操作员

Argoproj：

• 对Kubernetes的本地支持(我认为这在某种程度上更好)
• 支持将来可能有用的CI/CD/事件
• (可能)更好地支持将结果从一个作业传递到另一个作业(在气流xcom机制中)

我们的DAG没那么复杂。我们应该选择哪一个框架？

Answer 1

习惯性气流本身并不能执行长期运行的任务。相反，气流是作为启动另一个服务中的计算作业的促进者(这是通过操作符完成的)，同时监视给定计算作业的状态(这是用传感器完成的)。

考虑到您的示例，在气流中所需的任何计算任务都将由所使用的给定服务的适当操作员启动(气流具有GCP挂钩来简化此操作)，而适当的传感器将确定任务何时完成，不再阻塞依赖于该操作的下游任务。

虽然对Argoproj的细节不太熟悉，但它似乎不是像气流那样的“调度系统”，而是用来编排和实际执行大部分计算的系统。