KNN算法的规范化需求

Question

为什么标准化在KNN中是必需的？我知道，这个过程规范了所有特征对结果的影响，但在归一化之前， 'K‘最近点到一个特定点V的'K’最近点将与规范化后那个特定点V的‘K’最近点完全相同。那么归一化对于欧氏距离有什么区别呢？毕竟，KNN完全依赖于欧几里德距离?谢谢！

Answer 1

大多数标准化技术将改变'K‘最近的邻居，如果你有不同的变异性在不同的维度。

想象一下A=(-5,0)、B=(-5,1)和C=(5,1)的数据集。现在考虑一个兴趣点(4.5，0)。显然，C是最近的邻居。

在两个维度中将最小-最大值归一化为(-1,1)之后，您的数据集将变成A=(-1，-1)、B=(-1,1)、C=(1,1)。您的兴趣点对应于这个新空间中的(0.9，-1)。因此，A现在是最近的邻国。

Answer 2

我同意dedObed的观点。然而，答案似乎暗示，在KNN中，缩放变量是不可取的。当涉及到不同数量级的变量时，具有最高震级的变量将成为分析的主导因素。在某些情况下，这可能不可取。缩放所有变量将防止此问题。