我们需要在一个叫做namenode的节点上启动nodemanager吗?也就是说,我不会让它成为datanode?我将在一台机器上启动namenode和resourcemanager。因为我不会在这台机器上启动datanode,所以我想我也不需要启动nodemanager?
谢谢
发布于 2015-09-24 13:56:56
这取决于你。您可以选择在未安装Datanode服务的节点上保留Nodemanager,在这种情况下,如果由该Nodemanager执行,数据将通过网络传输以执行任务。
但是如果你想减少主节点的负载,那么你应该避免在主节点上安装如此繁重的进程(Datanode和NodeManager)。在许多情况下,它可以提高集群的性能。
发布于 2015-09-24 23:38:03
从理论上讲,您可以在没有datanode的机器上安装Nodemanager,但这在实际中没有什么用处。
Hadoop有一个基本规则:数据局部性,因此如果在运行nodemanager的机器上没有datanode,那么系统会将计算所需的数据移动到该节点,这会减慢进程。
理想情况下,Nodemanager和Datanode都应该在一台机器上运行。
希望这能有所帮助
https://stackoverflow.com/questions/32753218
复制相似问题