K近邻验证性能

Question

我正在使用knn对一个电信问题进行分类。我把我的数据分成了70%的训练和30%的验证。虽然knn分类器在训练中能够在2个十进制内捕获80%以上，但其在验证样本中的性能与随机45度线相当。我很惊讶KNN是如何工作的，模型在训练和验证方面的表现是如此不同。

有什么建议吗？

Answer 1

没有更多的细节，合理的指针几乎是不可能的。KNN的行为取决于以下几个方面：

• 定义邻居的参数K。例如，如果它设置为K=1，您将根本不会得到训练错误，这表明考虑训练到验证错误可能是不合理的。
• 参数K经常使用cross validation。我建议你也这样做。
• 距离度量。你使用的是哪个函数，有没有不同的单位，不同的长度刻度，等等？
• 你数据的噪音，你数据的大小... --只存在很难描述的数据集。

顺便说一句:你能说出你想描述的数据类型吗，如果可能的话，还能提供一些例子或显示一些散点图(数据和你的结果)吗？