火花壳每次启动时使用1GB的执行器内存。

Question

我在运行火花壳时遇到了问题。我每次都会收到以下错误消息：

所需的执行器内存(1024+384 MB)高于该集群的最大阈值(1024 MB)！

我做了以下步骤来解决问题，但没有任何结果。

1. 将yarn.调度器.最大值-分配-mb设置为8GB
2. 使用参数执行器-内存启动火花-外壳

奇怪的是，火花壳在重新启动服务后工作了一段时间。在此之后，试一下火花壳没有加载正确的执行器内存。它每次都以1GB启动。

希望有人能帮我解决这个问题。

亲切的问候

hbenner89

Answer 1

我也面临着同样的问题，执行器内存被减少到512 it，而且它起了作用。它是假设512 It是足够您的程序。

spark-submit --proxy-user spark  --master yarn --deploy-mode client  --name pi --conf "spark.app.id=pi"  --driver-memory 512M  --executor-memory 512M pi.py

Answer 2

你有没有试过分配超过1g内存，因为它抱怨它需要更多的内存。

我试着用2g跑步作为测试。

仓/火花壳.执行器.存储器2g .主纱

一定要为操作系统留下一个小缓冲，这样它就不会占用整个系统的内存。

此选项也适用于您一直在使用的独立模式，但是如果您一直在使用ec2脚本，则我们在conf/smack-defaults.conf中设置"spark.executor.memory“以自动完成此操作，这样您就不必每次在命令行上指定它。你也可以做同样的纱线。

Answer 3

谢谢你的回答。对理解记忆选项有很大帮助。

我发现了一个问题:问题不在于执行者的记忆。我把yarn.nodemarager.Resoure.Memory-mb改为2GB。在这个改变之后，一切都很好。