在Google Composer/Airflow上使用KubernetesPodOperator挂载文件夹

Question

我正在尝试挂载dags文件夹，以便能够在Aiflow上的KubernetesPodOperator中运行python脚本，但我不知道怎么做。在生产中，我想在谷歌作曲家。这是我的任务：

kubernetes_min_pod = KubernetesPodOperator(
    task_id='pod-ex-minimum',
    cmds=["bash", "-c"],
    arguments=["cd /usr/local/tmp"],
    namespace='default',
    image='toru2220/scrapy-chrome:latest',
    is_delete_operator_pod=True,
    get_logs=True,
    in_cluster=False,
    volumes=[
        Volume("my-volume", {"persistentVolumeClaim": {"claimName": "my-volume"}})
    ],
    volume_mounts=[
        VolumeMount("my-volume", "/usr/local/tmp", sub_path=None, read_only=False)
    ],
)

我想知道挂载dag所在的当前文件夹的最简单方法是什么？

Answer 1

根据此doc，当您创建环境时，Cloud Composer会创建一个云存储存储桶，并将该存储桶与您的环境相关联。存储桶的名称基于环境地域、名称和随机ID，例如“us-cental1-b1-6efannnn- bucket”。Cloud Composer将工作流(DAG)的源代码及其依存关系存储在云存储中的特定文件夹中，并使用Cloud Storage FUSE将这些文件夹映射到Cloud Composer环境中的Airflow实例。

Cloud Composer在GKE集群上运行，所有DAG、任务和服务都在单个节点池上运行。根据您的要求，您正在尝试在代码中挂载DAGs文件夹，该文件夹已经挂载在“/home/airflow/gcs/dags”路径下的Airflow pods中。有关Cloud Composer中KubernetesPodOperator的更多信息，请参阅此doc。