生成模型和推理

Question

我在这里查看了hLDA模型：https://papers.nips.cc/paper/2466-hierarchical-topic-models-and-the-nested-chinese-restaurant-process.pdf

我对生成模型是如何工作的有疑问。生成模型的输出是什么，以及如何在推理(Gibbs采样)阶段使用它。我把生成模型和推理部分搞混了，无法区分它们。

我是这个领域的新手，任何对阐明这一概念有用的参考文章或论文都将非常有用。

Answer 1

要了解这种贝叶斯模型是如何工作的，我推荐David Blei在2003年发表的LDA论文(谷歌学者“潜在的狄利克雷分配”，它将出现在顶部附近)。他们使用变分推理(与Gibbs抽样相反)来估计“后验”(你可以称之为“最佳拟合解决方案”)，但使用生成模型背后的原则得到了很好的解释。

简而言之，贝叶斯主题模型是这样工作的:您假设您的数据是由某个“生成模型”创建的。该模型描述了生成数据的概率过程，并具有一些未指定的“潜在”变量。在主题模型中，这些变量是您试图查找的“主题”。这个想法是在给定手头数据的情况下找到“主题”的最可能值。

在贝叶斯推断中，这些潜在变量的最可能值被称为“后验”。严格地说，后验概率实际上是潜在变量可能值的概率分布，但通常的方法是使用最可能的值集，称为“最大后验概率”或MAP估计。

请注意，对于主题模型，您得到的是真实map值的估计值。许多潜在值，特别是那些接近于零的潜在值，本质上是噪声，不能被认真对待(除了接近于零)。更大的值才更有意义。