气流depends_on_past解释

Question

根据官方气流文档，直接从task上游的task instances需要处于成功状态。此外，如果设置了depends_on_past=True，则前面的任务实例需要成功(除非它是该任务的第一次运行)。

众所周知，任务是“实例化和参数化”操作符。

这就是让我困惑的地方。例如：

DAG: {op_1} -> {op_2} -> {op_3}

{op_2}是一个简单的PythonOperator，它从{op_1}获取1个参数并执行操作；

据我理解，op_2(param_1)和op_2(param_2)被认为是两个不同的任务。

如果depends_on_past设置为True，那么：

1. 如果op_2(param_1)仍在运行；op_2(param_2)能否运行？
2. 如果op_2(param_1)在上一次运行中失败；op_2(param_1)能否在当前运行中运行？

Answer 1

从官方的文档中获取触发器规则：

depends_on_past (布尔值)设置为True时，如果任务的上一次调度没有成功，则不会触发任务。

因此，除非您的DAG上一次运行失败，否则depends_on_past不应该是一个因素，如果上一次运行成功地执行了任务，它将根本不会影响当前运行。