如何为KNeighborsClassifier选择权重函数

Question

我正在学习kNN模型的超参数，我遇到了“距离”和“均匀”权重函数参数。

我的理解是，权重函数将在模型经过训练后用于计算预测(通过对邻居的投票进行加权)。因此，我的问题如下：

我对权重函数的理解是否只用于预测(而不是在训练期间)？

似乎使用'distance‘总是给出接近100%的训练准确率，这是否意味着使用'distance’函数会导致过度拟合？

什么时候你应该使用'distance‘而不是'uniform'？

Answer 1

使用weights参数的位置

您对weights参数的理解是正确的，它只影响预测步骤。它仅用于对每个最近邻居的投票进行加权，以确定预测标签。

完全准确地说，除了将训练数据保存到内存之外，KNeighborsClassifier一开始并不真正执行任何训练，因此显然weights参数在这里不起作用。

uniform与distance的区别

预计使用weights="distance"会导致更多的过度适应。这样做的原因是，它可能会过度优先考虑最近的邻居，而忽略距离较远的其他最近邻居。另一方面，weights="uniform" (这是默认设置)确保即使最近的一些邻居离得稍远，它们仍然会计入预测。

这是偏差-方差权衡的一个很好的例子。实际上，distance通过降低不太相似的数据点的权重来减少偏差，但这样做会增加方差，因为预测更多地依赖于训练样本的单个数据点。uniform做了相反的事情，它通过确保每个最近的邻居都有相同的贡献来减少方差，从而减少了对单个训练数据点的依赖，但代价是平等地考虑最近的邻居，这些邻居最终可能仍然离观察到标签相当远，这导致了更大的偏差。

总而言之，当你觉得你的模型不适合时，你可能会想要使用distance，这可能会被许多“平均”预测所表征。