首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >等待触发DAG

等待触发DAG
EN

Stack Overflow用户
提问于 2018-07-17 16:33:15
回答 1查看 1.3K关注 0票数 1

我有一个控制程序,它会触发另外两个dag。这两个dags应该按顺序运行,而不是并行运行。我试着像这样解决问题:

代码语言:javascript
复制
TriggerDag (using BashOp) -> ExternalDagSensor -> TriggerDag (using BashOp) -> ExternalDagSensor.

我的问题是,触发的DAG确实得到一个特定的execution_date (特定到秒,而不是00:00分和秒)。DagSensor现在使用控件守护进程的execution_time来戳到依赖的守护进程,因此传感器永远不会被触发,因为依赖的守护进程有一个不同的execution_time

我的问题:

  1. Trigger->Sensor->Trigger->Sensor模式是顺序触发DAG的正确方法吗?
  2. 如果是,我怎样才能得到 ( a)由控制器DAG触发的依赖DAG的execution_date (然后可以作为参数传递给传感器)。 或 b)依赖DAG的execution_date与控制DAG相同

如果可能的话,我不希望查询元数据数据库以获得依赖的DAG运行的execution_time。

EN

回答 1

Stack Overflow用户

发布于 2018-07-24 15:47:03

有几个选项可能更简单一些。

  1. 您可以通过合并它们的任务或将它们与SubDagOperator组合成单个DAG吗?
  2. 如果您确实必须将两个DAG分开,那么尝试消除控制DAG,将两个DAG放在同一个start_date和schedule_interval上,让第二个DAG使用一个ExternalTasksSensor作为它的第一个任务。由于DAG的时间表相同,因此依赖DAG的execution_date将与依赖方的相同。
票数 2
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/51386333

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档