将airflow连接到google fusion

Question

我想写一个python脚本来管理我的google数据融合管道和实例(创建新的、删除的、启动的等等)。为此，我使用安装为库的airflow。我已经阅读了一些教程和文档，但我仍然无法使该脚本与数据融合实例相连接。我尝试使用下一个字符串：

export AIRFLOW_CONN_GOOGLE_CLOUD_DEFAULT='google-cloud-platform://?extra__google_cloud_platform__key_path=%2Fkeys%2Fkey.json&extra__google_cloud_platform__scope=https%3A%2F%2Fwww.googleapis.com%2Fauth%2Fcloud-platform&extra__google_cloud_platform__project=airflow&extra__google_cloud_platform__num_retries=5'

使用我的数据、json密钥文件和项目id，但它仍然不起作用。你能给我一个创建这种连接的例子吗？

Answer 1

您可以在此处找到一个示例python脚本：https://airflow.readthedocs.io/en/latest/_modules/airflow/providers/google/cloud/example_dags/example_datafusion.html

如果您想了解更多信息，此页提供了每个数据融合运算符的细目：https://airflow.readthedocs.io/en/latest/howto/operator/gcp/datafusion.html