MWAA -配置requirements.txt文件的影响

Question

我正在使用Amazon管理的Apache气流(MWAA)工作流。

我们在实例中成功地运行了一些DAG。他们使用bash运算符和python运算符。我们目前没有为实例指定的requirments.txt文件，因为在MWAA中没有默认包含的python外部模块依赖项。我需要部署一个新的DAG，它将引用许多默认不在MWAA中的外部python库。为此，我必须为MWAA实例指定一个requirments.txt文件。

在正在运行的实例上设置requirements.txt文件的风险是什么？如果文件有问题，如：

1. 坏文件格式
2. 未知库-在pypi.org上不可用
3. 库版本在pypi.org上不可用
4. 图书馆与其他图书馆的冲突

在引入requirements.txt文件之前已经在工作的现有DAG会继续工作吗?或者这个文件会破坏正在运行的系统吗？

我正试图了解在实际生产环境中测试/部署requirments.txt是否安全。不幸的是，我没有可用的非生产环境，也没有在相关AWS帐户中创建一个环境的访问/权限。

Answer 1

在正在运行的实例上设置requirements.txt文件的风险是什么？

通常，是的，您列出的所有问题(例如，糟糕的文件格式、未知的库等)都可能会导致现有DAG的问题。这包括错误，例如不正确的包版本，这些版本可能安装正确，但可能没有正确实现。

示例错误：https://docs.aws.amazon.com/mwaa/latest/userguide/t-apache-airflow-11012.html#troubleshooting-dependencies

我正试图了解在实际生产环境中测试/部署requirments.txt是否安全。不幸的是，我没有可用的非生产环境，也没有在相关AWS帐户中创建一个环境的访问/权限。

在requirements.txt中测试新的MWAA本地流道文件。本地运行程序具有测试requirements.txt的特定功能。

./mwaa-local-env test-requirements

参考文献：

1. 本地转轮(GitHub)
2. 测试requirements.txt (GitHub)
3. 教程:在连续传递(CD)管道中配置aws本地流道