可以在没有调度器的情况下使用Apache Airflow进行编排任务吗？

Question

我正在尝试使用Apache Airflow框架开发一个编排架构，但我不希望DAG以预定的方式运行。

我读到Apache Airflow框架可以用于服务编排。但我不需要任何调度，我只需要框架来获得工作流节点之间的编排。

可以在没有调度程序的情况下使用Apache Airflow吗？有没有其他框架(Java或Python)可以推荐给我呢？

谢谢！:)

Answer 1

您当然可以创建未计划的DAG

schedule_interval=None

不过，您必须运行调度程序才能执行任务，如下所示：

airflow trigger_dag my-dag

至于其他选择，我想这完全取决于你试图实现的目标。大多数大型编排解决方案都在运行时内置了一些调度。Apache Beam不支持，但它更专门用于数据转换和流处理。

最近的可能是luigi：https://github.com/spotify/luigi。这是一个python项目，允许您编排像AirFlow这样的任务。它似乎没有调度程序。它的用户界面似乎也要简单得多。

Answer 2

Uber Cadence Workflow非常适合服务编排场景。This answer提供了更多信息。