R没有连接到HDFS

Question

为什么R没有连接到Hadoop ?

我使用R连接到HDFS，使用'rhdfs‘包。安装了'rJava‘包，并加载了rhdfs包。

使用以下方法在R中设置HADOOP_CMD环境变量：

Sys.setenv(HADOOP_CMD='/usr/local/hadoop/bin')

但是，当给出hdfs.init()函数时，将生成以下错误消息：

sh: 1: /usr/local/hadoop/bin: Permission denied
Error in .jnew("org/apache/hadoop/conf/Configuration") : 
java.lang.ClassNotFoundException
In addition: Warning message:
running command '/usr/local/hadoop/bin classpath' had status 126 

此外，还加载了“rmr2”库，并输入了以下代码：

ints = to.dfs(1:100)

它产生了以下信息：

sh: 1: /usr/local/hadoop/bin: Permission denied

root包只能由'root‘用户访问，而不是'hduser’(Hadoop用户)，因为它们是在'root‘用户运行R时安装的。

Answer 1

像这样试试。

Sys.setenv(HADOOP_CMD='/usr/local/hadoop/bin/hadoop')

Sys.setenv(JAVA_HOME='/usr/lib/jvm/java-6-openjdk-amd64')

library(rhdfs)

hdfs.init()

please give the correct HADOOP_CMD path  extend with   /bin/hadoop

Answer 2

很简单，只有两个理由可以解决这类问题。

1)错误路径2)没有对jar的特权/权限，不仅包括其他系统路径。如下所示。

Sys.setenv(HADOOP_HOME="/home/hadoop/path")

Sys.setenv(HADOOP_CMD="/home/hadoop/path/bin/hadoop")

Sys.setenv(HADOOP_STREAMING="/home/hadoop/path/streaming-jar-file.jar")

Sys.setenv(JAVA_HOME="/home/hadoop/java/path")

然后包括库(Rmr2)和库(Rhdfs)路径，当然不会出现错误。

但你的问题是许可问题。因此，作为根用户将所有特权(755)授予您，然后运行该jar文件，该错误肯定不会显示。