使用SparkR运行R模型

Question

提前感谢您的投入。我是ML的新手。我已经开发了一个R模型(在本地使用R)，并希望部署在安装了R的hadoop集群上。我想使用SparkR来利用高性能的计算。我只想在这里了解SparkR的角色.

SparkR是否允许R模型在Hadoop集群上的SparkR中运行该算法？

或

SparkR是否只启用数据处理，而ML算法仍将在Hadoop集群上的R上下文中运行？

谢谢你的意见。

Answer 1

这些都是一般性的问题，但它们实际上有一个非常简单而直接的答案：no (两者兼而有之)；SparkR将两者都不做。

来自SparkR文档的概述部分

SparkR是一个R包，它提供了一个轻量级的前端，可以使用R.

SparkR甚至不能读取本地R模型。

将SparkR用于ML任务的思想是，您专门在SparkR中开发您的模型(如果您尝试，您还会发现与R中通过各种包提供的大量模型相比，它更多地是有限 )。

即使是像confusionMatrix包中的caret这样的便利也是不可用的，因为它们是在R数据仓库上运行的，而不是在火花上运行的(参见这个问题和答案)。