我有一个控制程序,它会触发另外两个dag。这两个dags应该按顺序运行,而不是并行运行。我试着像这样解决问题:
TriggerDag (using BashOp) -> ExternalDagSensor -> TriggerDag (using BashOp) -> ExternalDagSensor.我的问题是,触发的DAG确实得到一个特定的execution_date (特定到秒,而不是00:00分和秒)。DagSensor现在使用控件守护进程的execution_time来戳到依赖的守护进程,因此传感器永远不会被触发,因为依赖的守护进程有一个不同的execution_time。
我的问题:
Trigger->Sensor->Trigger->Sensor模式是顺序触发DAG的正确方法吗?execution_date (然后可以作为参数传递给传感器)。
或
b)依赖DAG的execution_date与控制DAG相同如果可能的话,我不希望查询元数据数据库以获得依赖的DAG运行的execution_time。
发布于 2018-07-24 15:47:03
有几个选项可能更简单一些。
https://stackoverflow.com/questions/51386333
复制相似问题