气流调度器

Question

您好，我目前正在尝试在EC2集群上的ubuntu16.04上使用SequentialExecutor设置最简单的Airflow版本。

我已经创建了一个每5分钟运行一次的dag，但是dag运行在队列中，除非我通过ssh进入服务器，运行airflow scheduler并让终端窗口保持打开状态。

有没有办法不让窗户开着？

Answer 1

通过向调度程序传递--daemon标志，您可以将其作为守护进程运行。它将作为后台进程运行，因此即使在您关闭窗口后，它仍保持活动状态。可以在worker和and服务器上使用相同的标志。

-D, --daemon          Daemonize instead of running in the foreground

或者，您也可以使用systemd将airflow作为服务运行。Airflow提供了一些可供参考的示例config files。

Answer 2

正如Daniel所说，您将需要守护调度程序，以便它在后台运行。您可以使用systemd / upstart查看Airflow documentation。