Windows上的Hadoop安装:无法为平台加载本机hadoop库.在适用的情况下使用内置java类

Question

我让无法为您的平台加载本机hadoop库.在我的windows 10上安装Hadoop2.8.3版本时，在适用的情况下使用内置-java类(错误)。

我在hadoop-env.cmd文件中设置了下面的环境变量: set HADOOP_OPTS=%HADOOP_OPTS% -Djava.Library ary.path=%HADOOP_HOME%/lib/本机

此外，我还添加了下面的配置

纱线-site.xml

<configuration>
   <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
   </property>
   <property>
        <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>  
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
   </property>
</configuration>

core-site.xml:

<configuration>
   <property>
       <name>fs.defaultFS</name>
       <value>hdfs://localhost:9000</value>
   </property>
</configuration>

hdfs-site.xml:

<configuration>
   <property>
       <name>dfs.replication</name>
       <value>1</value>
   </property>
   <property>
       <name>dfs.namenode.name.dir</name>
       <value>/F:/tools/hadoop-2.8.3/data/namenode</value>
   </property>
   <property>
       <name>dfs.datanode.data.dir</name>
       <value>/F:/tools/hadoop-2.8.3/data/datanode</value>
   </property>
</configuration>

mapred-site.xml:

<configuration>
   <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
   </property>
</configuration>

I have renamed mapred-site.xml.template file to mapred-site.xml

如果我做错了什么，请告诉我

这么久以来我一直困在这个装置上。PLease帮助。

Answer 1

在windows 10上，Hadoop2.9.1也面临着同样的问题。我能够格式化namenode，但无法启动-dfs。

我使用VisualStudio2017社区、mvn等正确构建windows平台开发主机(包括winutils.exe和hadoop.dll)中的源代码，遵循building.txt建议，但当我试图在干净的windows 10安装中运行时，在dfs节点启动时，我将面临无法加载本机hadoop库错误的问题。

我运行winutils.exe并给出了一个错误：

“丢失VCRuntime140.dll”

我安装了vc++ 2015 x64再发行版并解决了这个问题，namenode和datanode up。除了HADOOP_HOME之外，不需要设置env变量，并按照hadoop-env.com中在https://wiki.apache.org/hadoop/Hadoop2OnWindows中解释的编辑操作。

此外，这也是hadoop检查命令的结果：

C:\APACHE\HADOOP\bin>hadoop检验 18/09/08 18:23:35警告bzip2.Bzip2Factory:未能加载/初始化本机-bzip2 2库系统-本机，将使用纯Java版本 18/09/08 18:23:35警告zlib.ZlibFactory:未能加载/初始化本机zlib库 winutils:真正的C:\APACHE\HADOOP\bin\winutils.exe 本机库检查： hadoop:真C:\APACHE\HADOOP\bin\hadoop.dll zlib: false 短小:假 zstd :假 lz4:真实版本:10301 bzip2:假 openssl:错误构建不支持openssl。winutils:真正的C:\APACHE\HADOOP\bin\winutils.exe

Answer 2

window操作系统对于安装hadoop来说不是最优的，您可以使用ubuntu来安装，u可以双重引导您的系统，并且可以在单个系统中使用两种操作系统，在ubuntu中可以使用hadoop安装，您可以使用以下文章