Hadoop Dedoop Application unable to contact Hadoop Namenode :出现"Unable to contact Namenode“错误

Question

我正在尝试使用在亚马逊EC2上使用Hadoop和HDFS运行的Dedoop应用程序。Hadoop集群设置完成，Namenode、JobTracker和所有其他守护进程都可以正常运行。

但是在tomcat上部署后，war Dedoop.war应用程序无法连接到Hadoop Namenode。

我还检查了端口是否在EC2中打开。

任何帮助都是非常感谢的。

Answer 1

如果您正在使用Amazon AWS，我强烈建议您使用Amazon Elastic Map Reduce。亚马逊负责为您设置和配置Hadoop集群，包括设置IP地址、NameNode等。

如果您在EC2上设置自己的集群，则必须小心使用公有/私有IP地址。最有可能的是，您指向的是外部IP地址-您能否将其替换为内部IP地址并查看是否有效？

Answer 2

您能从Tomcat的日志文件中发布Stacktrace的一些行吗？

Dedoop必须建立一个SOCKS代理服务器(类似于ssh端口username@ -D )，以便将连接传递到EC2上的Hadoop节点。这主要是因为Hadoop将puplic IPS解析为EC2内部is，这破坏了MR作业提交和HDFS管理。

为此，必须将Tomcat配置为建立ssh连接。here描述了设置过程。