气流按普通id或params分组

Question

在气流中，大多数管道由一组DAG组成，每个DAG包含紧密相关的任务。气流是否有某种可以将DAG组合在一起的结构/对象？这样我们才能追踪整个输油管道的成败？

就像图片里的那样：

​

​

Answer 1

为了在两个独立的dag之间创建关系，气流提供了ExternalTaskSensor来向另一个dag中的任务添加依赖项。使用此传感器时，可以访问<AIRFLOW_SERVER_URI>/dag-dependencies上可用的DAG依赖关系图。

此外，气流提供了基于OpenLineage的实验性谱系支持，允许您使用外部血统平台(例如: Marquez)。通过使用血统工具，您可以定义不同airfow dags之间的依赖关系，从而创建更大的业务/功能dags，并跟踪整个管道的成败。