单机上的Rhadoop基本任务

Question

我在Rhadoop中运行以下代码：

Sys.setenv(HADOOP_HOME="/home/ashkan/Downloads/hadoop-1.0.3/")
Sys.setenv(HADOOP_BIN="/home/ashkan/Downloads/hadoop-1.0.3/bin/")
Sys.setenv(HADOOP_CONF_DIR="/home/ashkan/Downloads/hadoop-1.0.3/conf")
Sys.setenv(HADOOP_CMD="/home/ashkan/Downloads/hadoop-1.0.3/bin/hadoop")
library (Rhipe)
library(rhdfs)
library(rmr2)

hdfs.init()
small.ints = to.dfs(1:10)
  mapreduce(
    input = small.ints, 
  map = function(k, v)
  {
    lapply(seq_along(v), function(r){
      x <- runif(v[[r]])
      keyval(r,c(max(x),min(x)))
    })})

然而，我得到了以下错误：

Error in mr(map = map, reduce = reduce, combine = combine, vectorized.reduce,  : 
  hadoop streaming failed with error code 1

有人知道问题出在哪里吗？非常感谢。

Answer 1

要解决这个问题，您必须设置HADOOP_STREAMING环境变量。下面的代码对我来说工作得很好。请注意，您的代码没有使用Rhipe，因此不需要加载。

hadoop代码(我使用的是Hadoop2.4.0)

Sys.setenv("HADOOP_CMD"="/usr/local/hadoop/bin/hadoop")
Sys.setenv("HADOOP_STREAMING"="/usr/local/hadoop/share/hadoop/tools/lib/hadoop-streaming-2.4.0.jar")

library(rhdfs)
# Initialise
hdfs.init()
library(rmr2)

hdfs.init()
small.ints = to.dfs(1:10)
  mapreduce(
    input = small.ints, 
  map = function(k, v)
  {
    lapply(seq_along(v), function(r){
      x <- runif(v[[r]])
      keyval(r,c(max(x),min(x)))
    })})

我猜你的hadoop流路径如下：

Sys.setenv("HADOOP_STREAMING"="/home/ashkan/Downloads/hadoop-1.0.3/contrib/streaming/hadoop-streaming-1.0.3.jar")

希望这能有所帮助。