Hadoop DNS解析

Question

我试图在VM上安装本地集群。当Cloudera打开时，有时主机健康检查显示失败，错误消息基本上是"DNS解析失败“。有时HDFS服务显示为失败。我只是想了解一下其他解决问题的途径。我相当肯定，这是一些简单的与主机文件或某些事情与DNS。我的操作系统是Ubuntu。

到目前为止，我已经编辑了/etc/host以获得运行ifconfig所获得的确切ipv4地址。

10.2.0.15  michael-VirtualBox

我删除了条目

127.0.0.1 localhost

我还重新启动了网络服务。我执行了命令

"python -c "import socket; print socket.getfqdn(); print socket.gethostbyname(socket.getfqdn())""

我回来了

127.0.0.1 localhost

Answer 1

hadoop在很大程度上依赖于能够执行主机名的正向和反向查找：

• 将主机名解析为IP (正向查找- DNS记录)
• 将IP解析为主机名(反向查找- DNS PTR记录)

对于本地安装，我建议使用/etc/hosts，因为该文件中的条目为每个条目提供了正向和反向查找。集群中的所有节点必须能够解析集群中所有其他服务器的主机名，因此，每个服务器上的/etc/hosts文件必须包含集群中每个Vbox VM的所有IP ->主机名条目。

hadoop看到的主机名是服务器上hostname --fqdn的输出。因此，您的/etc/hosts文件应该包括hostname和hostname --fqdn的输出。

127.0.0.1  localhost
10.2.0.15  server1 server1.example.com 
10.2.0.16  server2 server2.example.com 
10.2.0.17  server3 server3.example.com 
10.2.0.18  server4 server4.example.com 

我假设您正在为每个节点使用host-only网络配置，并且所有节点都可以到达对方。

如果您正在使用cloudera，请确保在更改为cloudera-scm-agent后重新启动/etc/hosts