Perceptron版本

Question

如果我们将ywx<0条件(用于执行更新)更改为支持向量机中的ywx<1 (但不增加正则化以最大化边缘)，那么与基本感知器(具有上述ywx<0条件的感知器)有什么不同吗？

Answer 1

老问题，但万一还有人对答案感兴趣.

在感知器算法中，点x的标签y等于1或-1。一个点的预测标签是w\cdot x。目标是用与w正交的超平面将点分开，使带有标号1的点在一边，用标号-1的点在另一边。在数学上，超平面的“边”分别由方程w\cdot x>0和w\cdot x<0描述。(w\cdot x=0是超平面本身的方程)。

因此，x点是正确标记的(它位于与w正交的超平面的右侧)

• y=1和w\cdot x>0，或
• y=-1和w\cdot x<0

在这两种情况下，一个正确的标记点对应于yw\cdot x > 0，而一个不正确的标记点对应于yw\cdot x \leq 0。

整个算法及其收敛性的证明就是基于这一简单的观测结果。

如果将更新条件更改为yw\cdot x < 1，则该算法将无法找到分离的超平面。例如，考虑简单的dataset x_1 = (2,0), y_1= 1，x_2 = (-2,1), y_2= -1。

• 开始：w=(0, 0)。
• 步骤1：y_1w\cdot x_1 = 0 < 1因此w \leftarrow w + y_1x_1 = (2, 0)
• 步骤2：y_2w\cdot x_2 = 4 > 1，不要更新w。
• 步骤3：y_1w\cdot x_1 = 4 > 1，不要更新w。我们在没有更新w的情况下遍历了所有的点，因此退出循环。
• 结果:与w=(2, 0)正交的超平面为y轴，明显不分离x_1和x_2.

与yw\cdot x \leq 0不同的更新条件不能为找到分离的超平面提供任何保证。