首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >对于$key和$val,rmr2 mapreduce始终生成NULL

对于$key和$val,rmr2 mapreduce始终生成NULL
EN

Stack Overflow用户
提问于 2016-08-07 09:38:11
回答 1查看 302关注 0票数 0

我使用Cloudera Quickstart 5.7.0按照JeremyChandra在R中安装了rmr2。根据Chandra,我尝试了一个简单的mapreduce程序

代码语言:javascript
复制
small.ints <- to.dfs(1:1000)
out <- mapreduce(input = small.ints, map = function(k, v) keyval(v, v^2))
df <- as.data.frame(from.dfs(out))

df的输出是:

代码语言:javascript
复制
data frame with 0 columns and 0 rows

From.dfs(输出)显示:

代码语言:javascript
复制
$key
NULL

$val
NULL

来自Jeremy和Chandra的其他示例也产生了相同的输出,尽管mapreduce在生成的/tmp目录中显示了_SUCCESS。有什么建议吗?

to.dfs和from.dfs似乎运行得很好。我试过了:

代码语言:javascript
复制
small.ints <- to.dfs(1:1000)
out <- from.dfs(small.ints)
out

这就产生了从1到1000的数字。

EN

回答 1

Stack Overflow用户

发布于 2016-08-09 04:39:23

我现在明白了。我从RStudio内部安装了rmr2,尽管mapreduce函数似乎运行成功,但不知何故,该库对脚本不可用。令我惊讶的是,在其中一个日志中,我读到没有找到rmr2,但脚本仍然给了我一个_SUCCESS!

我最终在R中安装了rmr2 fresh (使用sudo R),并安装了所需的包reshape2和caTools,现在似乎一切正常。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/38810144

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档