DAG正在阻止其他较小的DAG任务启动。

Question

我有一个很大的DAG，大约有400个任务，从8:00开始，运行大约2.5小时。

有些较小的DAG需要在9:00启动，它们是计划好的，但在第一个DAG完成之前无法启动。

我减少了concurrency=6，DAG只运行6个并行任务，但这并不能解决其他DAG中的其他任务没有启动的问题。

没有其他全局配置来限制运行任务的数量，其他较小的dags通常并行运行。

这里有什么问题吗？

Ariflow版本:2.1withLocalExecutor，带有Postgres后端，运行在20核心服务器上。

活动DAG的任务未启动

Answer 1

我认为这与并发无关。这可能与使用小型调度器的气流有关。

当任务完成时，任务主管进程执行一个“小型调度程序”，试图调度同一DAG的更多任务。这意味着DAG将更快地完成，因为下游任务直接设置为Scheduled模式，但是它的副作用之一是，在某些情况下它可能会导致其他DAG的饥饿。像您这样的情况下，您有一个非常大的DAG，它需要很长时间才能完成，并且在较小的DAG之前就开始了。

尝试在schedule_after_task_execution = False中设置airflow.cfg，它可以解决您的问题。

Answer 2

为什么不使用该选项在上一项任务完成后调用该任务？在第一个DAG中，插入对下一个DAG的调用如下：

    trigger_new_dag = TriggerDagRunOperator(
    task_id=[task name],
    trigger_dag_id=[trigered dag],
    dag=dag
    )

这个操作符将在执行上一个DAG之后启动一个新的DAG。

文档：dagrun/index.html