更改节点集群IP Hadoop-Yarn

Question

我有以下问题:这些图片描述了我在Hadoop集群上的资源管理器，在节点“nodes地址”中有两个节点--这些地址

1. 本地主机:8042
2. 本地主机:8042

不是那样的，我想要承载节点的机器的真正ip地址。我的集群配置是

1. 第一台带有HadoopMaster和HadoopSlave1的机器
2. 带有HadoopSlave 2的第二台机器

我在第一台计算机上的/etc/主机配置：

127.0.0.1       localhost vlchaosfile001 vlchaosfil001
192.168.143.91  HadoopMaster HadoopSlave2
192.168.143.92  HadoopSlave1
# The following lines are desirable for IPv6 capable hosts
::1     localhost ip6-localhost ip6-loopback
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters

我在第二台计算机上的/etc/主机配置：

127.0.0.1 localhost vlchaosfil002
192.168.143.91  HadoopMaster HadoopSlave2
192.168.143.92  HadoopSlave1
#following lines are desirable for IPv6 capable hosts
::1     localhost ip6-localhost ip6-loopback
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters

这是我的纱线-site.xml：

<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>
<property>
  <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
  <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>HadoopMaster:8025</value>
</property>
<property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>HadoopMaster:8035</value>
</property>
<property>
    <name>yarn.resourcemanager.address</name>
    <value>HadoopMaster:8050</value>
</property>

Answer 1

首先:在使用hadoop时禁用ipv6。

你没有发布你的亚恩吐露，所以我最好的猜测是你已经将yarn.resourcemanager.xxx设置设置为"localhost“

Answer 2

在hadoop集群中更改主机名是一项非常困难和风险很大的工作。从零开始考虑一个新的安装，您已经知道了;)

还强烈建议使用FQDN而不是短主机名。这是进行这种改变的好时机。

总的来说，您必须检查/更改所有配置文件，但是如果您想拥有一个功能性Ambari控制台，您还必须更新ambari元数据.。

这是一个一般的程序：

1. 停止群集。
2. 导出安巴里的MySQL数据库。
3. 更新MySQL导出表中的主机名( ambari.hosts、ambari.hoststate、ambari.ClusterHostMapping、ambari.host_role_command和ambari.hostcomponentdesiredstate )
4. 更新hive.DBS以获得正确的DB_LOCATION_URI，并更新hive.SDS以获取新主机名。
5. 再导入数据库。
6. 授予db对MySQL支持的Hive/Metastore中新主机名的访问权限
7. 编辑Ambari代理ini文件和色调配置文件，更新主机名。
8. 检查/更改所有配置文件，如hdfs-站点，纱线网站，地图站点等，以及不太明显的像ambari代理，动物园等.
9. 开始，然后停止集群编写所有的信任和审查元数据。
10. 祈祷你的手指，做最后的开始。