在没有Spark控制台的情况下使用Apache Spark MLib库

Question

我在Windows 7上安装了Apache Spark，并成功地运行了Scala和Python控制台。

我的问题是，如果只是想直接从Scala、Java或Python安装中使用Mlib (机器学习库)，而不使用Spark控制台，那么是否有必要使用控制台。

有没有简单的方法可以做到这一点，有没有我可能不想这么做的主要原因？

Answer 1

当然，您不必使用console。您可以在代码中创建Spark context：

val conf = new SparkConf().setMaster("local[4]").setAppName("Spark Pi")
val spark = new SparkContext(conf)

然后创建RDD

val data = spark.textFile("data/mllib/kmeans_data.txt")

并对其运行Mlib算法。