如何最好地集成AWS、MWAA和Docker？

Question

我们的数据管道设置目前使用运行在EC2实例上的Docker容器和Airflow作为编排工具。由于与托管服务相关的优势(可伸缩性、维护、调度程序监视等)，我们试图转向MWAA。我的问题是，什么是最好的方式集成码头与MWAA？目前我们通过气流上的DockerOperator运行我们的服务/应用程序。我们需要在MWAA环境上运行Docker吗？如有任何建议，将不胜感激。

Answer 1

我建议继续使用ECS或ECS Fargate，并在那里运行您的码头集装箱。

MWAA支持与Fargate和其他服务的开放源代码集成，因此可以很容易地与气流集成来编排。