我使用Cloudera Quickstart 5.7.0按照Jeremy和Chandra在R中安装了rmr2。根据Chandra,我尝试了一个简单的mapreduce程序
small.ints <- to.dfs(1:1000)
out <- mapreduce(input = small.ints, map = function(k, v) keyval(v, v^2))
df <- as.data.frame(from.dfs(out))df的输出是:
data frame with 0 columns and 0 rowsFrom.dfs(输出)显示:
$key
NULL
$val
NULL来自Jeremy和Chandra的其他示例也产生了相同的输出,尽管mapreduce在生成的/tmp目录中显示了_SUCCESS。有什么建议吗?
to.dfs和from.dfs似乎运行得很好。我试过了:
small.ints <- to.dfs(1:1000)
out <- from.dfs(small.ints)
out这就产生了从1到1000的数字。
发布于 2016-08-09 04:39:23
我现在明白了。我从RStudio内部安装了rmr2,尽管mapreduce函数似乎运行成功,但不知何故,该库对脚本不可用。令我惊讶的是,在其中一个日志中,我读到没有找到rmr2,但脚本仍然给了我一个_SUCCESS!
我最终在R中安装了rmr2 fresh (使用sudo R),并安装了所需的包reshape2和caTools,现在似乎一切正常。
https://stackoverflow.com/questions/38810144
复制相似问题