创建3节点Hadoop集群

Question

我正在我的Ubuntu16机器和两台AWS EC2机器上创建3Node Hadoop集群。

我的本地机器(Ubuntu16)将作为名称节点工作，另外两台亚马逊网络服务EC2机器将作为数据节点工作。

我几乎没有什么疑问。

1)我是否也需要在DataNodes (亚马逊网络服务EC2机器)上安装Hadoop，就像我在Name节点(我的本地机器)上安装的一样。？

2)我能够在集群中的所有节点之间进行通信(将节点命名为数据节点，反之亦然)。在名称节点中，我需要在名称节点计算机中添加数据节点公共DNS，以便我的名称节点可以跨两个数据节点群集传播数据。

请分享您的输入..！

谢谢

Answer 1

1. Hadoop命名节点版本应该是所有数据节点的精确副本。那么只有集群才能工作。

1. 如果您使用的是更高版本的hadoop3.0，则必须在workers文件中指定datanode或DNS。

或

1. 如果您使用的是较低版本的hadoop- 3.0，则必须在从文件中指定数据节点ip或DNS。