Hadoop集群配置

Question

现在，我想要向hadoop群集添加新的Datanode。我需要停止或关闭hadoop群集，然后添加新的datanode吗?如何将新的datanode添加到hadoop群集

Answer 1

基本上，您可以停止集群，将节点的IP地址添加到conf/slaves，然后再次重新启动集群。

PS:如果启动和停止很烦人(在有大量文件的大型集群中可能需要长达几个小时)，你可以在其中添加一些人工in，当更多的从属加入集群时，你只需启动它们。Hadoop并不关心配置或关闭了多少从机:它将使用它能得到的。定义尚不存在的从属是在Hadoop中热连接从属的良好实践。

Answer 2

在这种情况下，您不需要关闭或重新启动整个集群。

首先，将新节点的主机名添加到主节点上的conf/slaves文件中。还要在所有计算机上的etc/hosts文件中添加ipaddress和主机名，以便它们能够通信。然后登录到新的从节点，执行以下命令：

$ cd path/to/hadoop 
$ bin/hadoop-daemon.sh start datanode 
$ bin/hadoop-daemon.sh start tasktracker

Answer 3

您不需要重启hadoop集群。根据此document，您可以在包含文件中添加节点，并在hdfs-site.xml和mapred-site.xml文件中进行一些更改，就可以实现这一点。this document中提供了详细的说明