主题对齐/主题建模

Question

什么是最有效的方法来检测这篇文章是否主要是关于一个特定的主题，但没有大量的数据进行培训？我的任务是确定一份文件有多少是关于天气、假期或其他几个特定主题的。

我期待LDA和TFIDF，但据我所知，这种方法是不受监督的，并很好地根据词汇量对大量文档进行聚类/分组。这些技术在控制算法应该关注的主题方面有一定的局限性。此外，在我的例子中，我没有太多的数据来训练模型。因此，我正在考虑生成一些特定主题的标记特征列表，然后用word2vec度量文档中使用的词汇表与目标标记列表之间的余弦相似性。

我的问题是：

1. 这是正确的方式，还是有更好的方法来实现这一点？
2. 最后的分数应该如何计算--标记之间的平均相似性还可以吗？我担心，如果我为每个主题创建100个目标标记，这些相似之处将以某种方式抵消产生类似的分数。
3. 我喜欢LDA的一点是，它显示了每个主题的概率级别。是否有一种类似于LDA的算法，我可以为主题播撒种子，而不仅仅是规定集群的数量？

Answer 1

主题建模

主题建模是一种获取一些非结构化文本并自动提取其共同主题的技术，是获取大量文本集合鸟瞰视图的一种很好的方法。简单地说，它是一种统计模型，用于发现发生在文档集合中的抽象“主题”。

热门主题建模算法

• 潜在语义分析
• 潜Dirichlet分配
• 分级Dirichlet过程
• 非负矩阵分解

评价模型

最后的分数可以使用以下指标计算：

1. 困惑--这是一个概率模型对样本预测能力的统计度量。对于LDA，对于给定的k值，您可以估计LDA模型。然后，给出由主题所代表的理论单词分布，将其与实际的主题混合或文档中的单词分布进行比较。-越低越好。
2. 连贯性分数-定义为两两词的平均/中位数-主题中单词的相似性分数-越高越好。

• 潜在dirichlet分配)的局限性