NodeManager和ResourceManager进程没有启动

Question

我正在设置一个多节点集群，由于某些原因，我的NodeManager和ResourceManager进程没有启动，我也不知道为什么。当我运行jps命令时，我只看到NameNode、SecondaryNameNode和JPS进程。因此，我的MapReduce工作将无法工作。这是我的配置

纱线-site.xml-跨NameNode和DataNodes

<configuration>
<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>
<property>
  <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
  <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>ec2PathToMyNameNode.compute-1.amazonaws.com</value>
  </property>
</configuration>

我的主机文件是NameNode上的：

nameNodeIP nameNodePublicDNS.compute-1.amazonaws.com
dataNode1IP dataNode1PublicDNS.compute-1.amazonaws.com
dataNode2IP dataNode2PublicDNS.compute-1.amazonaws.com
dataNode3IP dataNode3PublicDNS.compute-1.amazonaws.com
127.0.0.1 localhost

当我运行我的MapReduce工作时，它说它无法在8032上连接。我正在使用Hadoop 3.1.2

编辑：

我检查了日志，发现了以下异常：

原因: java.base/jdk.internal.loader.BuiltinClassLoader.loadClass(BuiltinClassLoader.java:583) at java.base/jdk.internal.loader.ClassLoaders$AppClassLoader.loadClass(ClassLoaders.java:190) at java.base/java.lang.ClassLoader.loadClass(ClassLoader.java:499) . 83 错误注入构造函数( java.lang.NoClassDefFoundError: javax/activation/DataSource at org.apache.hadoop.yarn.server.resourcemanager.webapp.RMWebApp.setup(RMWebApp.java:54) at org.apache.hadoop.yarn.server.resourcemanager.webapp.RMWebApp.setup(RMWebApp.java:54))同时定位org.apache.hadoop.yarn.server.resourcemanager.webapp.JAXBContextResolver 1 com.google.inject.internal.InjectorImpl$2.get(InjectorImpl.java:1025)在com.google.inject.internal.InjectorImpl.getInstance(InjectorImpl.java:1051) at com.sun.jersey.guice.spi.container.GuiceComponentProviderFactory$GuiceInstantiatedComponentProvider.getInstance(GuiceComponentProviderFactory.java:345)的错误

Answer 1

试图解决这个问题

(1) Start-dfs.sh vs Start-all.sh

在尝试启动hadoop时，请检查是否使用了Start-all.sh命令，因为Start-dfs.sh只启动namenode和datanodes

(2)检查Hadoop日志

检查HADOOP_LOG_DIR全局变量值以获取Log，因为它将包括在尝试启动Namenode和资源管理器时引发的所有异常

(3)检查已安装的Java

错误可能由不兼容的Java版本引发，请检查是否安装了最新的Java版本。

• 修正Hadoop中的Java 9不兼容问题
• 启动ResourceManager和NodeManager的Hadoop错误

(4)检查Hadoop通用问题

根据您在答复更新中提供的错误，您可能会发现这些问题链接与以下相关：

• [ jdk9 ]在jdk9 env中使用jdk9构建hadoop后无法运行纱线应用程序
• [JDK9]资源管理器在使用hadoop (用jdk9构建)后未能启动

更多信息

要获得更多信息，您可以查看我在媒体上的文章，它可能会给您提供一些见解：

• 在Ubuntu 16.04上逐步安装Hadoop3.1.0多节点集群

Answer 2

我的问题是我使用java11与hadoop合作。

所以我要做的是

1.rm /Library/Java/*

2.从java8下载https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

3.安装java8jdk和

4.修复hadoop-env.sh中的JAVA_HOME

5.stop-all.sh

6.start-dfs.sh

7.start-yarn.sh

Answer 3

pdash@localhost hadoop$ export YARN_RESOURCEMANAGER_OPTS="--add-modules=ALL-SYSTEM“pdash@localhost hadoop$ export YARN_NODEMANAGER_OPTS="--add-modules=ALL-SYSTEM”

它肯定能工作，我从apache日志....Thank PRAFUL尝试过