Hadoop ResourceManager无法启动

Question

我得到了以下错误，但netstat显示8088没有使用。

这是一个运行在不同EC2实例上的3节点集群，Namenode，Jobtracker，Datanode

2014-02-04 02:49:43,519 FATAL org.apache.hadoop.yarn.server.resourcemanager.ResourceManager: Error starting ResourceManager
org.apache.hadoop.yarn.webapp.WebAppException: Error starting http server
        at org.apache.hadoop.yarn.webapp.WebApps$Builder.start(WebApps.java:262)
        at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.startWepApp(ResourceManager.java:623)
        at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.serviceStart(ResourceManager.java:655)
        at org.apache.hadoop.service.AbstractService.start(AbstractService.java:193)
        at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.main(ResourceManager.java:872)
Caused by: java.net.BindException: Port in use: jobtracker.hdp-dev.XYZ.com:8088
        at org.apache.hadoop.http.HttpServer.openListener(HttpServer.java:742)
        at org.apache.hadoop.http.HttpServer.start(HttpServer.java:686)
        at org.apache.hadoop.yarn.webapp.WebApps$Builder.start(WebApps.java:257)
        ... 4 more
Caused by: java.net.BindException: Cannot assign requested address
        at sun.nio.ch.Net.bind0(Native Method)
        at sun.nio.ch.Net.bind(Net.java:444)
        at sun.nio.ch.Net.bind(Net.java:436)
        at sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:214)
        at sun.nio.ch.ServerSocketAdaptor.bind(ServerSocketAdaptor.java:74)
        at org.mortbay.jetty.nio.SelectChannelConnector.open(SelectChannelConnector.java:216)
        at org.apache.hadoop.http.HttpServer.openListener(HttpServer.java:738)
        ... 6 more
2014-02-04 02:49:43,522 INFO org.apache.hadoop.yarn.server.resourcemanager.ResourceManager: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down ResourceManager at name01.hdp-dev.XYZ.com/10.xxx.xxx.xxx
************************************************************/

Answer 1

在基于Debian的系统上，您可以在终端上运行类似于apt缓存策略的动物园管理员。该命令将列出包动物园管理员可用的所有存储库。如果包动物园管理员可以从两个或更多的存储库获得:例如:Ubuntu的repository和CDH存储库。所以你有问题了。特别是要理解这可能是一个包混合/匹配问题。

/etc/apt/preferences.d/cloudera.pref解决方案是：在上创建一个包含以下内容的文件：

Package: *
Pin: release o=Cloudera, l=Cloudera 
Pin-Priority: 501

创建此文件后不需要apt-get更新。在这里，包的默认优先级是500。通过创建上面的文件，您可以为任何原名为“Cloudera”(o=Cloudera)并来自Cloudera‘s repo (l=Cloudera)的包提供501的更高优先级，这就能做到这一点。希望这有帮助..。