Hadoop命令`hadoop fs -ls`给出Hadoop错误

Question

当我像hadoop fs -ls一样运行hadoop命令时，我得到以下错误/警告：

16/08/04 11:24:12 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
ls: Call From master/172.17.100.54 to master:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused

我是不是在hadoop路径上做错了什么？

Answer 1

Hadoop Guide说这与安装有关。

Hadoop本地库指南请查看文档以解决此问题。

出于性能原因和Java实现不可用的原因，Hadoop具有某些组件的本机实现。这些组件位于单个动态链接的本机库中，称为本机hadoop库。在*nix平台上，该库被命名为libhadoop.so.

请注意以下事项：

为了构建本地库，必须在目标平台上同时安装hadoop 和hadoop开发包；但是，对于部署，如果您只希望使用一个编解码器，那么只安装一个包就足够了。为了构建和部署原生库，必须具有用于hadoop的正确的32/64库，这取决于目标平台的32/64位。

运行时

Hadoop脚本通过系统属性-Djava.library.path=<path>确保本机bin/hadoop库位于库路径上

在运行时，检查MapReduce任务的hadoop日志文件。

如果一切正常，那么：DEBUG util.NativeCodeLoader - Trying to load the custom-built native-hadoop library... INFO util.NativeCodeLoader - Loaded the native-hadoop library

如果出现错误，那么：INFO util.NativeCodeLoader - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

检查

NativeLibraryChecker是一个检查本机库是否正确加载的工具。您可以按如下方式启动NativeLibraryChecker

   $ hadoop checknative -a
   14/12/06 01:30:45 WARN bzip2.Bzip2Factory: Failed to load/initialize native-bzip2 library system-native, will use pure-Java version
   14/12/06 01:30:45 INFO zlib.ZlibFactory: Successfully loaded & initialized native-zlib library
   Native library checking:
   hadoop: true /home/ozawa/hadoop/lib/native/libhadoop.so.1.0.0
   zlib:   true /lib/x86_64-linux-gnu/libz.so.1
   snappy: true /usr/lib/libsnappy.so.1
   lz4:    true revision:99
   bzip2:  false

连接被拒绝的第二件事与您的设置有关。请仔细检查设置。也可以查看下面的指针。

Hadoop cluster setup - java.net.ConnectException: Connection refused

Hadoop - java.net.ConnectException: Connection refused