气流-没有名为"airflow.providers“或"airflow.contrib.providers”的模块

Question

我们正试图将MongoHook和GCSToLocalFilesystemOperator导入到我们的气流项目中：

• MongoHook文档
• GCS操作符文档

...per 这个职位，“提供程序包不再包含在气流中，但是您可以使用特定的后端包单独使用pip安装它们”。

我在这件事上运气不好。对于我们的DockerFile，我们开始使用这幅图像从puckel/码头-气流回购在GitHub上。

我尝试将这两行添加到我们的requirements.txt中

apache-airflow-backport-providers-mongo
apache-airflow-backport-providers-google

...and我尝试将这些行添加到我们的DockerFile中：

    && pip install apache-airflow-backport-providers-mongo \
    && pip install apache-airflow-backport-providers-google \

...and，我们得到标题中提到的错误。如何将这些安装到我们的码头映像/容器中，以便在我们的气流项目中使用它们？

编辑：快速检查，看看问题是否是我根本没有重建图像

edit2:重建映像是必需的；但是，现在我们正在接收错误No module named 'airflow.utils.process_utils'，这是在导入GCSToLocalFilesystemOperator时得到的。不知道为什么气流把providers从基础安装，这是非常令人沮丧的.

Answer 1

我最初问题的答案是，我需要重建码头形象(DOH)。

我认为，我的第二个问题的答案是，我已经安装了两次这些软件包(一次在Dockerfile中安装了一个显式pip，一次在requirements.txt中，它也安装在Dockerfile中)。当我删除重复安装时，它现在似乎正在工作。