DAG在Web中不可见

Question

我是Airflow的新手。我遵循一个教程，并编写了下面的代码。

from airflow import DAG
from airflow.operators.python_operator import PythonOperator
from datetime import datetime, timedelta
from models.correctness_prediction import CorrectnessPrediction

default_args = {
    'owner': 'abc',
    'depends_on_past': False,
    'start_date': datetime.now(),
    'email': ['abc@xyz.com'],
    'email_on_failure': False,
    'email_on_retry': False,
    'retries': 1,
    'retry_delay': timedelta(minutes=5)
}

def correctness_prediction(arg):
    CorrectnessPrediction.train()

dag = DAG('daily_processing', default_args=default_args)

task_1 = PythonOperator(
    task_id='print_the_context',
    provide_context=True,
    python_callable=correctness_prediction,
    dag=dag)

在运行脚本时，它不会显示任何错误，但是当我在Menu->DAGs中检查dags时，它不会显示在Web-UI下面

​

​

但是我可以在Menu->Browse->Jobs下看到预定的job

​

​

我在$AIRFLOW_HOME/dags中也看不到任何东西。应该只像这样吗？谁能解释一下原因吗？

Answer 1

您在作业页面上看到的ScheduleJob是Scheduler的一个条目。那不是正在安排的达格。

奇怪的是，你的$HOME_HOME/dags都是空的。所有dags必须驻留在$AIRFLOW_HOME/dags目录中(特别是在airflow.cfg文件中配置的dags目录中)。看起来，您没有将实际的dag存储在正确的目录( dags目录)中。

或者，有时您还需要重新启动you服务器才能显示这个守护进程(尽管这似乎不是问题所在)。

Answer 2

运行airflow list_dags以检查进程文件是否正确定位。

出于某种原因，在执行此操作之前，我没有在浏览器UI中看到我的进程。一定是浏览器缓存之类的问题。

如果这不起作用，您应该使用airflow webserver -p 8080 -D重新启动work服务器

Answer 3

我也有同样的问题。要解决这个问题，我需要运行调度程序。

airflow scheduler

如果没有这个命令，我就看不到新的DAGs BTW: UI显示了与该问题相关的警告：

调度程序似乎没有运行。最后一次心跳是在9秒前。DAGs列表可能不会更新，新任务也不会被排定。