如何在org.apache.spark.ml.clustering.LDA中获取DistributedLDAModel

Question

我正在尝试获取LDA ml库的DistributedLDAModel。我看到了使用mllib LDA而不是ml LDA的示例。有没有我可以遵循的示例代码？

Answer 1

要获得DistributedLDAModel而不是LocalLDAModel，您需要使用期望最大化(EM)优化器，而不是默认的在线变分贝叶斯( Online )优化器。

具体地说，在您的LDA构建器上使用setOptimizer('em')来获得一个分布式模型：

val lda = new LDA().setOptimizer("em")

Answer 2

我正在分享来自Spark ml的示例代码。

import org.apache.spark.ml.clustering.LDA
import org.apache.spark.sql.{Row, SQLContext}
import org.apache.spark.sql.types.{StructField, StructType}

// Loads data
val rowRDD = sc.textFile(input).filter(_.nonEmpty)
  .map(_.split(" ").map(_.toDouble)).map(Vectors.dense).map(Row(_))
val schema = StructType(Array(StructField(FEATURES_COL, new VectorUDT, false)))
val dataset = sqlContext.createDataFrame(rowRDD, schema)

// Trains a LDA model
val lda = new LDA()
  .setK(10)
  .setMaxIter(10)
  .setFeaturesCol(FEATURES_COL)
val model = lda.fit(dataset)
val transformed = model.transform(dataset)

val ll = model.logLikelihood(dataset)
val lp = model.logPerplexity(dataset)

// describeTopics
val topics = model.describeTopics(3)

// Shows the result
topics.show(false)
transformed.show(false)

你可以找到完整的代码here