气流调度的误区

Question

我对气流很陌生。

我的目标是从现在开始每天运行一个守护程序，从1小时开始。

我真的误解了气流计划的“间隔终止调用”规则。

来自文档(气流文档)

请注意，如果您在一天的schedule_interval上运行DAG，那么在2016-01-01T23:59之后不久将触发印上2016-01-01 -01的运行标记。换句话说，作业实例在它所涵盖的期间结束后就会启动。

我将schedule_interval设置为：

schedule_interval="00 15 * * *"

和start_date如下：start_date=datetime(year=2019, month=8, day=7)

我的假设是，如果现在是下午14:00 (UTC时间)，而今天的日期是07-08-2019年，那么我的守护进程将在一小时内精确执行。然而，我的爸爸根本没有开始。

Answer 1

所以有一整页都在讨论气流作业没有被安排好。https://airflow.apache.org/faq.html

这里要注意的关键是：

气流调度器在start_date + scheduler_interval通过后立即触发该任务。

据我理解，您想要触发一个任务start_date=datetime(year=2019, month=8, day=7) at 15:00 UTC daily。schedule_interval="00 15 * * *"意味着您每天在协调世界时15:00运行该任务。根据文档，调度程序在 start_date + scheduler_interval之后触发您的任务，因此气流要到第二天(即August 8th 2019 15:00:00 UTC )才会触发。或者你可以把第六天改到第六天。从ETL方式来理解这一点可能更容易一些:您只能在数据传递之后处理给定时间段的数据。因此，August 7th 2019 15:00:00 UTC是您的起点，您需要等到August 8th 2019 15:00:00 UTC才能在给定的时间内运行任务。

另外，注意气流有execution_data和start_date，您可以找到更多的这里。

Answer 2

schedule_interval="00 15 * *“start_date=07-08-2019

第一次运行将在08-08-2019年3:00，如果您在7-8-2019年3:00之前创建了这个进程，那么第一次运行将在3:00进行。