气流- BashOperator:获得"Dag运行陷入僵局的DAG：.“错误

Question

非常喜欢气流工作流调度程序，但是遇到了运行简单DAG："{jobs.py:538} error - Dag运行为DAG: TEST_SCHEDULER_DAG时陷入僵局“的错误。

这是一个新的气流安装(v1.7.1.3)，我已经能够运行其他排定的守护文件了。我的环境是Linux (ubuntu16.04)、python2.7.12 (anaconda)、PostgreSQL9.5.5和使用LocalExecutor。

我获得死锁错误的DAG是：

from airflow import DAG
from airflow.operators import BashOperator
from datetime import datetime, timedelta

default_args = {
    'owner': 'owner.name',
    'depends_on_past': True,
    'start_date': datetime(2016, 11, 30, 8, 0, 0),
    'retries': 0,
    'retry_delay': timedelta(seconds=60),
}

tst_dag = DAG(dag_id='TEST_SCHEDULER_DAG',
              default_args=default_args,
              schedule_interval='10 * * * *')

t1 = BashOperator(
    task_id='task_1',
    bash_command='sleep 10',
    dag=tst_dag)

t2 = BashOperator(
    task_id='task_2',
    bash_command='sleep 10',                  
    dag=tst_dag)

t2.set_upstream(t1)

同样，第一次执行运行良好，但所有后续执行(DagRun)都显示为“失败”，我在控制台上看到了“死锁”错误。

谢谢!

Answer 1

@Gergely的回答帮助了我。我试图运行气流回填的日期，已经超过了end_date指定的DAG。一旦我更改了DAG对象上的end_date以包括我正在回填的日期，它就开始工作了。

Answer 2

尝试删除数据库中状态为“row”的dagrun表的行。

然后执行airflow backfil <dag_id> -s <start_date> -e <end_date> --reset_dagruns

Answer 3

尝试删除dag_run表中的dags条目，然后重新启动调度程序。