Amazon :在Amazon中使用R代码

Question

我有一个非常初学者的问题。我刚刚阅读了一些有关亚马逊电子病历的文档。在注册之前，我只想问一下在里面使用R的问题。

我有一个R模块，它调用其他几个模块，然后在它运行之前，将几个变量保存为.txt文件。

我最基本的问题是，我能在亚马逊的电子病历中做到这一点吗？我能访问.txt输出文件吗？最后，我的R脚本从Excel电子表格中读取一些数据。如果我将Excel文件上传到系统中，它还能从EMR中完成这个任务吗？

谢谢

麦克

Answer 1

@Mike，以下三个问题的答案

• 在EMR上运行R的：是的，你可以。一旦在EMR实例上安装了R，就可以在EMR上运行R程序。如果您计划使用多实例集群，我假设您将编写MapReduce鼠标。如果您的程序只是一个“普通”R程序，那么您可能只能使用一个相当大的实例。我宁愿在R中使用一个EC2实例(查找Louis )。
• 移动输出文件：是可以的。可以将程序输出从EMR传输到您选择的S3存储桶。您必须添加一个步骤，调用S3DistCp命令来移动文件。我项目中的一个例子- -jar/home/hadoop/lib/emr-s3discp-1.0.jar --args‘-src，hdfs:/content，-dest，s3:/
• 阅读电子表格： AFAIK，如果您能够在R的本地安装上做到这一点，那么您也应该能够在EMR上这样做。您必须确保在引导过程中安装了必要的包/库。

我能够在EMR实例上安装压缩-cran和rmr2，以及它们的所有依赖项(RCpp、reshap2、摘要、RJSONIO、functional等)。我仍然不能调用R程序作为一个步骤。我必须使用SSH会话并在shell提示符上运行R CMD命令。在Windows上，putty.exe为我工作。