AWS EMR启动动作调用附加文件

Question

我想在设置AWS EMR时安装额外的python库(版本6.0.0)

我知道我可以通过创建一个名为boostrap.sh的文件并将这个文件上传到s3，并在设置集群时设置一个引导操作来调用这个文件。Bootstrap.sh的内容：

sudo pip3 install mlxtend imbalanced-learn etc etc...

但是，我有一个单独的requirements.txt文件，其中包含了我需要的所有python库的列表。

如果我将'pip3 install -r requirements.txt‘放入bootstrap.sh中，那么bootstrap.sh将无法找到requirements.txt，因为我只允许每个引导操作上传一个s3文件。

有办法绕过这件事吗？

Answer 1

您可以将requirements.txt从S3桶复制到EMR节点的本地目录，然后在文件上运行pip。

#!/bin/bash

aws s3 cp s3://<my-bucket>/requirements.txt .
sudo pip-3.6 install -r requirements.txt