生成、判别和参数化的非参数算法/模型的区别

Question

在所以中，我发现了生成算法和鉴别算法的以下解释：

“一种生成算法对数据的生成进行建模，以便对信号进行分类。它提出了一个问题:基于我这一代人的假设，哪一类最有可能产生这种信号？”

判别算法不关心数据是如何生成的，它只是对给定的信号进行分类。“

这里是参数算法和非参数算法的定义。

参数:数据是从fic形式的概率分布中提取的，其形式以未知参数为限。非参数:数据是从某种非参数fied概率分布中提取的。

那么，从本质上说，我们可以说生成算法和参数算法是底层模型，而判别算法和非参数算法不假设任何模型吗？

谢谢。

Answer 1

假设您有输入X(可能是向量)和输出Y(可能是单变量)。你的目标是预测Y给定X。

生成方法采用联合概率p(X，Y)模型确定P(Y)。因此，有可能给出一个具有已知参数的生成模型，从分布p(X，Y)中联合抽样，从而产生输入X和输出Y的新样本(注意，如果这样做，它们是根据假定的分布而不是真分布的)。将此与只具有形式p(Y=X)的模型的鉴别方法进行对比。因此，如果提供了输入X，则可以对Y进行采样；然而，它们不能对新的X进行采样。

两个人都假设一个模型。然而，判别方法只假定Y如何依赖X，而不是X -生成方法模型。因此，如果给定一定数量的参数，您可能会争辩(而且很多参数都有)，使用它们来建模您所关心的事物，p( Y \x)要比X的分布更容易，因为您将始终得到希望了解Y的X。

有用的参考资料:汤姆明卡的这篇(很短)的论文。这篇开创性的论文作者Andrew和Michael著。

参数模型和非参数模型之间的区别可能会更难理解，除非您有更多的统计经验。无论观察到多少个数据点，参数模型都有固定的和有限的参数。大多数概率分布都是参数性的:考虑一个变量z，它是人的高度，假定是正态分布。当你观察到更多的人时，你对z的均值和标准差

相反，非参数模型中的参数数可以随着数据量的增加而增长。考虑在人的高度上的诱导分布，它在每个观测样本上都有正态分布，并且由测量和固定的标准差给出平均值。然后，新高度上的边际分布是正态分布的混合物，混合分量的数量随着每个新的数据点的增加而增加。这是一个人的身高的非参数模型。这个具体的例子称为核密度估计器。流行的(但更复杂的)非参数模型包括用于回归的高斯过程和Dirichlet过程。

关于非参数化的一个很好的教程是这里，它将中餐厅过程作为有限混合模型的极限。

Answer 2

我不认为你能说出来。例如，线性回归是一种判别算法--你对P(Y=X)做一个假设，然后直接从数据中估计参数，而不像在生成模型的情况下那样，对P(X)或P(X=Y)做任何假设。但同时，基于线性回归的aby推断，包括参数的性质，是一种参数估计，因为有一个关于未观测误差行为的假设。

Answer 3

这里我只谈参数/非参数。生成/歧视是一个独立的概念。

非参数模型意味着你不会对数据的分布做任何假设。例如，在现实世界中，数据不会100%遵循高斯、贝塔、泊松、威布尔等理论分布，这些分布是为我们对数据建模的需要而开发的。

另一方面，参数模型试图用参数来解释我们的数据。在实践中，这种方法是首选的，因为它使定义模型在不同情况下的行为更容易(例如，我们已经知道模型的导数/梯度，当我们在泊松中设置太高/太低的速率时会发生什么，等等)。