在中安装hadoopy

Question

我正在使用google composer。

如何在中安装。

本页包含了Linux机器中安装 hadoopy的步骤。

Github克隆人

git clone https://github.com/bwhite/hadoopy.git
cd hadoopy
sudo python setup.py install

PIP安装

sudo pip install -e git+https://github.com/bwhite/hadoopy#egg=hadoopy

我不知道如何在Google环境中安装这个

Answer 1

这个包似乎可以在Python包索引上使用。所以您可以通过web安装它(您的composer环境> packages选项卡>编辑>添加<your_dependency>==<version>)。您还可以通过命令行实现这一点：

gcloud composer environments update ENVIRONMENT-NAME \
    --update-pypi-packages-from-file requirements.txt \
    --location LOCATION

然后，requirements.txt应该包含如下内容：

hadoopy==0.6.0

请注意，安装依赖关系可能很长(Composer需要用包含的包重建Docker映像)。

如果您想直接从Github上的源代码中添加依赖项，则必须遵循docs：安装本地Python库中描述的步骤。