hadoop从站无法连接到主站:8031

Question

我是个十足的哈多普·纽比。我在本教程之后的两台机器上设置了hadoop (在另一个教程之后获得了相同的错误)。

Problem：启动dfs和纱线后，在本地主机上出现的唯一节点:50070是主节点，即使正确的进程在主程序(NameNode、DataNode、SecondaryNameNode、ResourceManager)和从机(DataNode)上运行。

从服务器的nodemanager日志报告: INFO org.apache.hadoop.ipc.Client:重新尝试连接到服务器: master/192.168.0.14:8031。已经试过10次了。

请注意：

1. 我已经在这条线之后编辑了sarn-site.xml。
2. 我已经禁用了主机上的防火墙
3. 我在主服务器上运行netstat -anp \ grep 8031，并确认有两个进程使用tcp监听端口8031。

Answer 1

我也遇到了同样的问题，这些步骤可能会有所帮助。

1. 确保你的名字可以与你的达纳诺德谈判。

hadoop@namenode-01:~$ jps
8678 NameNode
9530 WebAppProxyServer
9115 ResourceManager
8940 SecondaryNameNode
9581 Jps

hadoop@datanode-01:~$ jps
8592 NodeManager
8715 Jps
8415 DataNode

1. 检查您的nodemanager-datanode-01.log从$HADOOP_HOME/logs报告。

INFO org.apache.hadoop.ipc.Client: Retrying connect to server: namenode-01/192.168.4.2:8031. Already tried 8 time(s);

1. 检查您的yarn.resourcemanager.resource-tracker.address是否在ipv6而不是ipv4上侦听。

hadoop@namenode-01:~$ netstat -natp
tcp6       0      0 127.0.2.1:8088          :::*                    LISTEN      9115/java
tcp6       0      0 127.0.2.1:8030          :::*                    LISTEN      9115/java
tcp6       0      0 127.0.2.1:8031          :::*                    LISTEN      9115/java
tcp6       0      0 127.0.2.1:8032          :::*                    LISTEN      9115/java
tcp6       0      0 127.0.2.1:8033          :::*                    LISTEN      9115/java

1. 如果您的yarn addresses监听ipv6，也许您应该先禁用ipv6。

sysctl -w net.ipv6.conf.all.disable_ipv6=1
sysctl -w net.ipv6.conf.default.disable_ipv6=1

1. 最后，默认纱线地址是这样的：

yarn.resourcemanager.resource-tracker.address   ${yarn.resourcemanager.hostname}:8031

1. 检查您的/ect/hosts以避免错误配置。

hadoop@namenode-01:~$ cat /etc/hosts
127.0.2.1 namenode-01 namenode-01 (for example, this line config hostname as 127.0.2.1, delete this line)
192.168.4.2 namenode-01
192.168.4.3 datanode-01
192.168.4.4 datanode-02
192.168.4.5 datanode-03