DAG运行日志对时间不敏感

Question

大家好，感谢阅读我的问题。

经过几周的部署和更改DAG后，我注意到日志只反映了最新设计的结构。

例如，我有一个带有3个顺序操作符的DAG。该DAG已经运行了10次，有成功也有失败。在第11次运行之前，我再次使用2个顺序操作符重新部署了DAG (删除了1个操作符)。

现在，DAG显示了基于最新设计(2个操作员)的所有日志(11次运行)，并且当我查看较旧的日志时，不会更改为3操作员视图。

有没有办法“修复”这个问题？

谢谢和问候，拉玛

Answer 1

我认为您正在谈论UI中的DAG结构。

当您更改结构(添加或删除新任务)时，它将在之前的运行中应用UI中的结构更改。

如果要保留结构的历史记录，最好的方法是创建一个新的dag或重命名该dag：

with DAG(
    dag_id='dag_name_1.0', -- change to dag_name_1.1
    schedule_interval="0 2 * * *",
    dagrun_timeout=timedelta(minutes=60),
    default_args=default_args,
    max_active_runs=1,
    catchup=False,
    doc_md=__doc__
    ) as dag:

您可以访问较旧的日志，但不能通过ui访问。检查airflow配置文件中的base_log_folder，您将能够在该地址中找到日志文件。