如何将流程从本地R直接传递到Amazon EC-2实例？

Question

我一直在考虑在EC2上运行R，但我想知道在这种设置下并行/集群计算是怎么回事。我已经看过了，但是我还没能找到关于这方面的教程。

基本上，我要做的是让R (Rstudio)在我的笔记本电脑上运行，并在上面做大部分工作，但是当我有一个大的操作要运行时，显式地将其传递给AWS从实例来完成所有繁重的工作。

据我所知，雪/降雪套餐似乎就是答案……但我真的不确定是怎么做到的。

我正在使用http://bioconductor.org/help/bioconductor-cloud-ami/上的教程( ssh )来运行R。本教程确实提到了并行/集群，但它似乎是在不同的AWS实例之间。

任何帮助都是最好的。干杯。

Answer 1

如果您只需要一个从实例，我发现最简单的方法是在实例上并行运行它，而不是使用您的PC作为主实例。

您可以在PC上编写脚本，并将其推送到运行R的多核服务器上，然后使用所有内核并行在那里运行它。

例如，将此内容上传到一个4核AWS实例：

library(snowfall)
sfInit(parallel=TRUE,cpus=4,slaveOutfile="log.txt")

vars = c(1:100)

#send variables to all processors
sfExportAll()

#Run this in parallel
results = sfLapply(vars, exp)

#Stop parallel processing
sfStop()

#save results
save(results, file = "results.RData")