如何解决EMR内存不足问题

Question

我有一个火花的工作，我试图在电子病历执行。它给了我以下错误：

java.lang.OutOfMemoryError: Java heap space
-XX:OnOutOfMemoryError="kill -9 %p"
Executing /bin/sh -c "kill -9 22611"...

我已经尝试过，甚至有10个类型为m5.12xlarge的核心实例，但问题仍然相同。我的代码运行良好，因为我已经通过AWS Glue对其进行了测试，这在G1.X和20个DPU中获得了成功(完成这项工作需要大约3个小时)。有关于如何选择EMR实例类型的建议吗？

Answer 1

因此，更改实例类型并不总是有帮助的，我们也需要使用火花配置。我遵循了类似提到的这里，这份工作在EMR上是成功的。