设置Apache的BlockManager内存

Question

我的星星团运行信息是

15/12/29 17:45:33 INFO BlockManagerMasterEndpoint:注册块管理器10.108.98.123:51075与530.3 MB内存，BlockManagerId(8，10.108.98.123,51075 )

如何将530.3MB修改为20g或10g？

我做的代码是

conf = SparkConf().set("spark.python.worker.memory", "10g").
set('spark.driver.memory', '10g')

尽管如此，它只需要530.3MB RAM和我的设置没有反映。

有办法把它设置好吗？

Answer 1

BlockManager仅是在每个节点(驱动程序或工作人员)上运行的组件。

有关它正在做什么的更多细节，请参见这个源代码：https://jaceklaskowski.gitbooks.io/mastering-apache-spark/content/spark-blockmanager.html

它不会直接受到你所操纵的设置的影响。

不过，我找不到如何具体地设置它正在使用的内存。