EMR引导程序问题

Question

我们已经更新了emr -5.30.0的emr版本。从那时起，我们在bootstrap中遇到错误。“由于引导错误而终止”

如果我将版本改回emr-5.29.0，它工作正常。我找不到引导错误原因。

我们正在从step函数创建EMR集群。

我们已将版本emr-5.29.0更改为emr-5.30.0，因为我们添加了托管自动调用，并且仅支持5.29.0之后的版本

我检查了日志，但找不到任何适当的错误消息。请给出一些解决此问题的建议。

Answer 1

EMR版本改变了很多东西，包括你选择包括的不同应用程序，比如@Snighdhajyoti，例如，在emr 5.29.0中，spark有版本2.4.4，在emr 5.30.0中，spark有版本2.4.5。您可以看到应用程序更改的基本列表here。

但重点是，您可能会在bootstrap scipt中手动安装或配置某些应用程序或包，这可能与其他更新的包冲突。

对于日志，引导日志不会出现在集群日志中，但会出现在stderr logs for your bootstrap action中，如下所示

s3://doc-example-bucket/cluster-id/node/instance-id/bootstrap-actions/

This link提供了一些更多的指导，例如，如何挖掘错误

如果在查看stderr日志后无法确定脚本失败的原因，请修改脚本以提供其他调试信息。例如，在bash脚本中设置-ex参数。这使您可以在引导操作日志文件中查看bash脚本流。

注意:如果失败的引导程序操作不是您创建的引导程序操作(例如，如果您创建了六个引导程序操作，错误消息是“引导程序操作7失败并返回非零退出代码”)，则表明Amazon EMR无法安装应用程序或启动服务。这种问题很少见。要解决此问题，请尝试再次启动群集。