在AWS EMR中安装软件包

Question

我试图在AWSEMR5.28.0中安装Google Tink，没有多少运气。看起来AWS EMR图像在本质上是相当奇怪的。有什么想法吗？

sc.install_pypi_package("tink")

错误:找不到bazel可执行文件。请安装bazel来编译Tink Python包。

 sudo yum install -y bazel3

要求: java-11-openjdk-devel

sudo yum install java-11-openjdk-devel

没有软件包java-11-openjdk-发展可用。

 sudo yum install amazon-linux-extras

没有包亚马逊-linux-额外的可用。

Answer 1

事实证明，Linux (AWSEMR5.28.0的基础)很难使用。所有可用的存储库都没有Java、Bezel，更不用说Tinker了(与Macos、Ubuntu甚至ECR Python映像相比，这是轻而易举的)

要获得Java11jdk，您需要转到Oracle并查找Linux包。不幸的是，您需要登录到他们的网站，所以wget/curl是不可能的。

要安装，您需要执行以下操作：

 sudo yum localinstall jdk-11.0.12_linux-x64_bin.rpm

对于Bazel，您需要从Github https://github.com/bazelbuild/获得这个包。选择最新的并安装

./bazel-4.1.0-installer-linux-x86_64.sh 

那么pip工作得很好

sc.install_pypi_package("tink")

输出：

Successfully built tink
Installing collected packages: protobuf, absl-py, tink
Successfully installed absl-py-0.13.0 protobuf-3.17.3 tink-1.6.1