在execution_date中使用op_kwargs的气流Python脚本

Question

在这个应答https://stackoverflow.com/a/41730510/4200352的帮助下，我正在执行一个python文件。

我使用PythonOperator，并试图将执行日期作为传递给脚本的参数。

我相信我可以通过kwargs的“执行日期”来访问它。

下面是失败的

DAG.py

from airflow import DAG
from airflow.operators.python_operator import PythonOperator
from datetime import datetime, timedelta

import sys
import os
sys.path.append(os.path.abspath("/home/glsam/OmegaAPI/airflow/scripts/PyPer_ogi_simple"))
from update_benchmarks import *


default_args = {
    'owner': 'airflow',
    'depends_on_past': False,
    'start_date': datetime(2018, 4, 23),
    'email': ['airflow@example.com'],
    'email_on_failure': False,
    'email_on_retry': False,
    'retries': 1,
    'retry_delay': timedelta(minutes=5),
}

dag = DAG('run_pyPer', default_args=default_args)

update_BM_G027 = PythonOperator(
    task_id='update_BM_G027',
    python_callable=update_bmk,
    dag=dag,
    op_kwargs={
        'bmk_code': 'G027',
        'is_hedged': False,
        'from_date': kwargs['execution_date'],
    })

我是否需要使用这个答案来获得日期，然后将其用于任务呢？https://stackoverflow.com/a/36754930/4200352

Answer 1

这确实有点令人困惑，而且没有很好的记录。

您已经在使用PythonOperator了。

现在只需添加选项

provide_context=True,

并使用指针扩展您的可调用性。

update_bmk(bmk_code, is_hedged, **context)

现在，在您的函数中，您可以访问有关任务的所有信息，包括如下所示的执行日期：

task_instance = context['task_instance']
execution_date = context['execution_date']

若要查看上下文中项的完整引用，请参见https://airflow.apache.org/docs/apache-airflow/stable/macros-ref.html

这些是宏的文档，但您可以在上下文字典中使用这些项。