首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >那天DAG A完成后,气流DAG多次运行

那天DAG A完成后,气流DAG多次运行
EN

Stack Overflow用户
提问于 2018-06-29 19:15:21
回答 2查看 2.9K关注 0票数 2

达格A的时间表是'0 6** *‘。

DAG B有时间表'*/5 ** *‘。

但是,DAG只应在DAG完成当天之后才开始运行该天。

我已经和SubDags和ExternalTaskSensor玩过了,但是还没有找到一个令人满意的解决方案,我肯定我错过了一些好的东西。建议?

编辑:说DAG是我的ETL。DAG有一些任务可以查询我的数据库,并要求这些数据是最新的.DAG全天运行,但只有ETL完成后才能运行。

例如,我可以看到使用ShortCircuitOperator,并且条件是“今天运行的DAG已经完成”。但我怎么能写出这个条件呢?

EN

回答 2

Stack Overflow用户

发布于 2018-06-29 21:41:03

这个问题不是一个完全重复的问题,但类似于另一个已经有三个好答案的问题:Scheduling dag runs in Airflow

我建议阅读所有这些内容,但是为了总结答案中的信息,对于DAG的用例,有几个可行的选项可以依赖于另一个DAG:

  • TriggerDagRunOperator
  • BranchPythonOperator
  • ShortCircuitOperator
  • SubDagOperator /子
  • 使用这些选项中的任何一个,您可能希望尝试使用触发器规则。
  • 外部触发器(可能与用例不太相关)

如果您能够在您想要完成的用例中添加更多的细节,我也可以给出更具体的指导。

票数 3
EN

Stack Overflow用户

发布于 2018-06-29 20:19:06

使用TriggerDagRunOperator调用DAG以后面运行。请参阅此question。恐怕我不能提供一个令人满意的例子,因为我还没有使用它。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/51108105

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档