SubDagOperator无效参数是：**kwargs：{'executor'：LocalExecutor(parallelism=32)}

Question

我们正在升级到气流2.0，我有以下任务：

with dag:
    cms_ingest = SubDagOperator(
        subdag=cms_s3ingest(
            DAG_NAME, 'cms_s3ingest', default_args['start_date'], dag.schedule_interval),
        task_id='cms_s3ingest',
        # so that subtasks can run in parallel
        executor=LocalExecutor(),
        task_concurrency=4)

但我看到了这个错误：

airflow.exceptions.AirflowException:无效参数被传递给SubDagOperator (task_id: cms_s3ingest)。无效的参数是：**kwargs：{'executor'：LocalExecutor(parallelism=32)}

在我的airflow.cfg文件中，我有一个值: parallelism = 32

我相信这就是LocalExecutor正在使用的executor.LocalExecutor。

为什么在气流2.0.2中填充这个错误，我应该如何修正它？

Answer 1

当行为从backfil更改为调度程序逻辑( executor )时，SubDagOperator参数被从SubDagOperator中移除。

但即使在此之前，也不建议在SubDagOperator中并行任务，这就是为什么默认为SequentialExecutor (您可以了解这里的原因)。

由于您使用的是Airflow>2.0.0，请注意SubDags被否决了。你应该搬到TasksGroups去。