动态生成DAG运行气流过程中的DAG

Question

我想知道您是否可以在DAG运行中轻松、动态地生成DAG，例如：

DAG A将是：

1. 做一些数据计算
2. 根据前面的结果生成DAG
3. 将DAG加载到气流DagBag中
4. DAG的TriggerDagRunOperator
5. 上一个DAG任务的ExternalTaskSensor。

干杯,

Answer 1

这是可能的。您将需要生成一个文件，当解析生成DAG时，您不能仅仅作为DAG的一部分生成DAG对象。您将需要对所有气流组件(调度器、when服务器和工作人员)的DagBag文件夹进行写访问。此外，在使用TriggerDagRun操作符触发DAG文件之前，请允许有一些时间对其进行解析。

这一切都有点烦人。AIP-42正在进行工作，这将允许根据其他结果修改DAG中的任务，我认为这将帮助您获得预期的效果。