EMR引导失败

Question

我正尝试在AWS EMR中运行以下引导程序脚本，但它失败了，没有提供错误消息。我已经为应用程序设置了EMR集群: Spark、Hive、Ganglia和Livy。

!/bin/bash

sudo pip-3.6安装-U \ matplotlib \ pandas \ spark-nlp

我使用的是EMR版本6。之前我们只使用"pip“而不是"pip- 3.6”，但它仍然出错，因此我们决定尝试使用"pip-3.6“，因为我们假设EMR 6有python 3.6。

请让我知道这可能有什么问题。

谢谢!

Answer 1

您可以尝试在正在运行的EMR集群上运行您的脚本，以确保它能够正常工作。emr6的电子病历发行说明建议默认使用python3。https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-release-6x.html

快速检查一下，它似乎是自带python3.7的。这就是您的脚本可能无法工作的原因。因此，您需要使用pip3或/usr/bin/pip-3.7 (指定完整路径，可能没有为pip-3.7设置别名)

因此，请尝试使用

$ sudo pip3安装matplotlib...

或

$ sudo python -m pip3安装matplotlib...

Answer 2

看起来这些库没有正确安装。下面是一个适用于您的情况的引导程序操作脚本示例：

#!/bin/bash

sudo python3 -m pip install matplotlib pandas spark-nlp

您可以了解有关在documentation中安装其他内核和库的更多信息。

如果您想(通过日志)调查集群终止或运行失败的原因，请查看this video。