监督学习分类

Question

我知道k-NN是一种分类方案，对于你想要分类的每个点，取k个最近的邻居，然后使用一定的距离，并使用多数投票对点进行分类。

有没有一个类似的回归算法，只有一个类，A类，你有一个数据集，在特征空间中的一些(而不是所有)点在A类中，为了计算特征空间中的一个新点在A类中的概率，你看一下A类的点在距离k内的密度？

Answer 1

我想你要的是probability density estimation。您希望使用对A类中的点的观测来经验地构造一个概率密度函数，然后使用该PDF来预测新点在A类中的概率。

有许多方法可以实现这一点，最简单的方法可能是将您的数据建模为高斯或mixture of Gaussians。在单高斯模型的情况下，您可以只计算数据集的均值和方差来参数化高斯。这假设高斯模型很适合您的数据集，如果不是，则存在more sophisticated methods，例如制作直方图或使用不同的分布。

然而，如果你只对一个点是否属于一个类感兴趣，那么估计密度可能就有点夸张了。您可以使用众多分类算法中的任何一种(随机森林、支持向量机、逻辑回归、神经网络等)，这些算法不会告诉您任何关于数据潜在分布的信息，而只是给出一个分类器。