无法在AWS EMR上安装R/EMR 2

Question

我花了大约一周的时间试图在AWS上安装R和rmr2，现在我向大家寻求一点帮助。我的引导脚本成功地安装了R2.14.1~lennyran.0(感谢JD Long的博客)。当我试图安装rmr2时，我遇到了典型的依赖问题。似乎我必须安装包，如Rcpp，RJSONIO，bitops，文摘和其他5个。因为只有较旧的Rcpp可以使用R2.14.1，所以我正在下载一个命名的版本并安装它。多少岁，我不知道-我随机尝试了几个版本和0.8.9的工作。我会再做几次试验。

sudo curl -o Rcpp.tar.gz http://cran.us.r-project.org/src/contrib/Archive/Rcpp/Rcpp_0.8.9.tar.gz
sudo R CMD INSTALL Rcpp.tar.gz

现在我应该安装其余的依赖项(如何安装？)

最终将安装rmr2。我用的是下面的脚本，当然是失败的-

sudo wget --no-check-certificate -o rmr2.tar.qz -S -T 10 -t 5 http://goo.gl/dvBric
sudo R CMD INSTALL rmr2.tar.gz

我的问题是-

安装其余依赖项("RJSONIO“、”位操作“、”摘要“、”函数“、”字符串“、"plyr”、"reshape2“、"caTools")的简单引导脚本应该是什么？我也需要担心这些包的兼容性吗？

这是我的完整bootstrap.sh代码-

#!/bin/bash

#debian R upgrade

gpg --keyserver pgpkeys.mit.edu --recv-key 06F90DE5381BA480
gpg -a --export 06F90DE5381BA480 | sudo apt-key add -
echo "deb http://streaming.stat.iastate.edu/CRAN/bin/linux/debian lenny-cran/" | sudo tee -a /etc/apt/sources.list
sudo apt-get update
sudo apt-get -t lenny-cran install --yes --force-yes r-base r-base-dev

sudo curl -o rmr2.tar.gz http://goo.gl/dvBric
sudo R CMD INSTALL rmr2.tar.gz <<<< Does not go beyond this.

set -e
bucket=muxxx-bisxxx-bucket
path=input.tar.gz
wget -S -T 10 -t 5 http://$bucket.s3.amazonaws.com/$path
mkdir -p /home/hadoop/contents
tar -C /home/hadoop/contents -xzf input.tar.gz

export HADOOP_CMD=/home/hadoop/bin/hadoop
export HADOOP_STREAMING=/home/hadoop/contrib/streaming/hadoop_streaming.jar

/home/hadoop/bin/hadoop fs -mkdir /home/hadoop/contents
/home/hadoop/bin/hadoop fs -put /home/hadoop/contents/* /home/hadoop/contents/

Answer 1

我手头上没有解决我的问题，但我得到了方向。在R2.14.1安装之后和rmr2安装之前，我在引导脚本中添加了以下代码-

sudo Rscript -e 'install.packages(c("rJava", "Rcpp", "RJSONIO", "bitops", "digest", "functional", "stringr", "plyr", "reshape2", "caTools"), repos="http://ftp.heanet.ie/mirrors/cran.r-project.org/")'

目前，引导过程在plyr上崩溃，我猜这是由于我拥有的Rcpp的旧版本造成的。

我要关闭这篇文章。