我正在做一个从一个前提系统到一个云编写器的迁移任务,问题是composer是一个完全管理的气流版本,它限制了对后面文件系统的访问,实际上,在我的前提系统中,我有很多环境变量,我们正在保存一些路径,比如/opt/application/folder_1/subfolder_2/...。
当查看composer文档时,他们说您可以访问并保存由/home/airflow/gcs/data/映射的数据文件夹中的数据,这意味着,如果我继续进行映射,我应该将env变量值更改为:/home/airflow/gcs/data/application/folder_1/folder_2 things,这可能有点痛苦,因为知道我正在运行许多依赖于这些值的bash脚本。
是否有解决这问题的方法?
发布于 2020-08-27 15:42:00
您可以在Composer创建/更新过程1中指定env变量,然后将这些var存储在YAML文件中,这些YAML文件创建GKE集群,其中包含Composer。如果您将SSH放入运行Composer GKE集群的VM中,然后输入一个工作容器并运行env,则可以看到您指定的env变量。
https://stackoverflow.com/questions/63563003
复制相似问题