带火花的LDA模型

Question

我在推断新文档的主题分布时遇到了一些问题。实际上，我正在使用Spark2.2.0，而且我已经训练过LDA模型val lda = new LDA().setK(5).setMaxIterations(24)，我如何推断新文档的主题？

Answer 1

只有LocalLDAModel才能与新文档进行比较，因此需要首先将模型转换为：

val localLda = lda.toLocal

那么对于一个单一的文档：

val document: Vector = ???
localLda.topicDistribution(document)

或多份文件：

val documents: RDD[(Long, Vector)] = ???
localLda.topicDistributions(documents)