AWS管理Apache气流(MWAA)或AWS批处理用于简单的批处理作业流程

Question

我有一个简单的工作流来设计，其中将有4个批处理作业一个接一个地运行，每个作业在多节点主从架构中运行。

我的问题是AWS批处理可以使用作业队列管理简单的工作流，也可以管理多节点并行作业。现在，我应该使用AWS批次还是气流？

有了气流，我可以使用KubernetesPodOperator和作业将运行在Kubernetes集群。但气流本身并不支持多节点并行作业。

注意:批处理作业是用java编写的，使用支持主/从架构的Spring远程分区框架。

Answer 1

AWS批处理将更好地满足您的要求。

气流是一种工作流编排工具，它用于托管多个任务的作业，每个任务都是轻松处理的。它最常见的用途是ETL，但在您的用例中，只需一个任务就有一个完整的气流生态系统，除非您手动将其分解为较小的任务，否则不会运行多线程。

另一方面，AWS批处理用于批处理，您可以更精细地优化希望在其上执行代码的服务器/节点。我认为在你的用例中，它也会比气流更便宜。