Hortonworks数据平台2.1 (沙箱)无法完成非常简单的RHadoop工作

Question

我已经在Hortonworks数据平台2.1 (沙箱)之上安装了rhdfs和rmr2包，在64位VM单节点上分配了8 GM。当我尝试运行以下非常简单的RHadoop作业时，它将花费很长时间，但永远无法完成(但是，在将yarn.nodemager.resources e.Memor-mb和yarn.调度器的值从默认值增加到4096之后，没有遇到运行时错误)：

from.dfs(mapreduce(to.dfs(1:100)))

感谢任何关于如何使底层的HDP完成这样一个非常简单的RHadoop作业的建议。

为了确保在安装RHadoop之后我的HDP仍然正常工作，我已经确认：

mapred job -kill job_my_rhadoop_job_id
yarn jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples-2.4.0.2.1.1.0-385.jar pi 16 100000
Job Finished in 70.457 seconds
Estimated value of Pi is 3.14157500000000000000

Answer 1

由于我在HDP上运行RHadoop没有什么好运气，所以我切换到在HDP之上运行H2O，以及RStudio/R远程连接到H2O。这样的组合似乎与我为VM所拥有的很好的结合。因此，在我个人看来，不要在HDP之上使用RHadoop。