重新启动气流调度器

Question

我试着让气流更好地协调etl过程。当我更改dags文件夹中的dag时，我通常必须用

airflow scheduler

在UI中可见更改之前。我想将调度程序作为守护进程运行

airflow scheduler -D

但我们试着这么做，我收到一条消息说

[2018-10-17 14:13:54,769] {jobs.py:580} ERROR - 
Cannot use more than 1 thread when using sqlite. Setting max_threads to 1

我认为这个错误会弹出，因为调度程序已经作为守护进程运行了。但是，当我试图找出调度程序在哪里运行时

lsof -i

我没有得到任何结果。

问题：为什么不能用airflow scheduler -D重新启动调度程序。为什么调度程序要使用airflow webserver重新启动？如何成功地杀死阻止我运行airflow scheduler -D的进程

Answer 1

运行ps aux | grep airflow并检查airflow webserver或airflow scheduler进程是否正在运行。如果他们正在杀死他们并使用airflow scheduler -D重新运行

Answer 2

您需要清除$AIRFLOW_HOME上的气流调度器. file文件。来自守护进程的陈旧pid文件将阻止您启动另一个调度程序进程。

Answer 3

如果您只是重新启动您的you服务器，则守护进程的更改将反映在UI中。不需要重新启动调度程序。适用于1.8和1.10.3。不能评论最新的1.10.10。