KNN随机子空间分类器中的邻域数

Question

基于随机子空间方法，以KNN为学习对象，建立了一个集成分类器模型。

我有三个预测因子，其维数为541个样本，并且我开发了一个寻找最佳k(邻居数)的优化过程。我选择了使分类器的AUC最大化的k，它的性能用10倍交叉验证来计算.对于每一个弱学习者来说，最佳k的结果是269 (这是一个类似优化的结果)。

现在，我的问题是:269个邻居是不是太多了？我相信优化的结果，但我从来没有使用过这么多的邻居，我担心过度适应。

提前谢谢你，议员

Answer 1

k-NN中k值的选择实际上是依赖于数据的.我们可以对k值的较小或更大的选择的更多一般特征进行争论，但将某个数字指定为好坏并不是非常准确。正因为如此，如果你的简历实现是正确的，你可以信任的结果，并采取进一步的行动，因为简历将给你的具体情况下的最佳。对于更多的一般性讨论，我们可以说这些关于k值的选择。

1- 较小的k值选择:k值的小选择可能会提高整体精度，并且实现成本较低，但会使系统对噪声输入的鲁棒性降低。

2- 更大的k值选择:k值选择越多，系统对噪声输入的鲁棒性越强，但执行成本更高，决策边界比较小的k值更弱。

在选择应用程序中的k值时，始终可以比较这些一般特征。然而，对于选择最优值，使用像CV这样的算法会给你一个明确的答案。