气流2.0对DataprocClusterCreateOperator的支持

Question

在我们的项目中，我们使用的是DataprocClusterCreateOperator，它是在from airflow.contrib.operators import dataproc_operator下进行的。这是很好的工作与气流版1.10.14。

我们正在升级到气流2.1.2，当测试或测试需要旋转DataProc集群时，我们发现错误为airflow.exceptions.AirflowException: Invalid arguments were passed to DataprocClusterCreateOperator (task_id: <task_id>). Invalid arguments were: **kwargs: {'config_bucket': None, 'autoscale_policy': None}

我无法在气流2中看到操作人员支持的任何链接，这样我就可以识别新的params或发生的变化。请分享相关链接。

我们使用的google-cloud-composer version 1.17.2有气流版本的2.1.2。

Answer 1

自气流2.0以来，第三方提供商(如谷歌，在本例中)运营商/钩子已经从气流核心转移到不同的供应商包。您可以阅读更多的这里。

由于您使用的是Composer，所以已经安装了包。

对于DataprocClusterCreateOperator，它已被重命名为DataprocCreateClusterOperator，并移到airflow.providers.google.cloud.operators.dataproc，以便您可以用以下方式导入它：

from airflow.providers.google.cloud.operators.dataproc import DataprocCreateClusterOperator

所接受的参数与包括在气流1.x中的参数不同。您可以找到一个使用here的示例。

Answer 2

DataprocCreateClusterOperator在气流2中所支持的参数可以在源代码中找到这里。可以传递给运算符的群集配置参数可以找到这里。

根据此DataprocClusterCreateOperator，自2020年1月13日起，该Github提交已被重新命名为DataprocCreateClusterOperator，并已从airflow.contrib.operators移植到airflow.providers.google.cloud.operators.dataproc导入路径。

如@itroulli的答案所示，操作符的一个示例实现可以找到这里。