有没有在Airflow部署之间共享脚本的有效方法？

Question

我们有几个Astronomer airflow部署在生产中。每个部署都基于它自己的git代码库(两者之间有一些区别)，但是，它们都使用一组核心的SQL脚本。目前，如果我们需要更新核心SQL脚本之一，我们需要更新每一个airflow部署(非常痛苦，并且容易出现复制粘贴错误)。

有没有一种方法可以有效地共享这些核心SQL脚本，这样我们只需要更新一个存储库，更改就会传播到所有部署？

Answer 1

我们有类似的要求，我们正在对象存储中部署SQL脚本和其他元数据文件，因此您可以使用单独的CI/CD作业将SQL脚本部署到对象存储，如亚马逊S3或Azure Data Lake，并且处理系统可以读取SQL文件并执行。

如果SQL脚本有任何更改，我们只能将SQL脚本部署到对象存储。