KNN决策边界

Question

我有两门课：

x={-3,-2,1}  //represented by *
y={0,5,6,7}  //represented by x

如果是k=3，如何确定决策边界？

           *    *         x    *                   x    x    x                   
 |    |    |    |    |    |    |    |    |    |    |    |    |
-5   -4   -3   -2   -1    0    1    2    3    4    5    6    7

据推测，正确的答案是1.5，介于1到2之间。这是怎么回事？

Answer 1

KNN算法通过查看K近邻，查看它们的标签，并将大多数(最流行的)标签分配给新的观测，从而对新的观测进行分类。

对于带有K=3的KNN，< 1.5将被归类为*，任何> 1.5的将被归类为x。

您可以通过尝试几个例子来看到这一点。假设需要对1的值进行分类。三个最近的邻居是* at 1、x at 和* at -2。由于有两个*'s和一个x，1将被归类为*。

现在假设您要对2进行分类。在这里，三个最近的邻居是x at 、* at 1和x at 5。因此2将被归类为x。

KNN过程隐式地定义了决策边界。确定它的最好方法是尝试一堆例子，并寻找从一个类到另一个类的观察分类变化的过渡边界。在您的示例中，这个示例如下所示：

-5 -> *

-4 -> *

-3 -> *

-2 -> *

-1 -> *

-> *

1 -> *

2 -> x

3 -> x

4 -> x

你可以在你的例子中看到这一点--决策边界在1到2之间，因此答案是1.5。