Perceptron算法收敛性的几何证明

Question

考虑到Geoffrey关于感知器算法收敛性的证明，我有一个问题：讲演幻灯片。

在幻灯片23上写着：

每次感知器出错时，与所有这些慷慨可行的权重向量的平方距离总是至少减小更新向量的平方长度。

我的问题是，通过向右移动可行向量，可以使距离缩小任意小。请看这里的描述：

​

​

那么，如果我可以任意缩小更新向量的平方长度(以蓝色表示)，那么如何保证距离缩小呢？

Answer 1

如果我没看错他的证据，有两个原因：

1. 这涉及到一组可行的向量，而不仅仅是一个。
2. 参考是到各个向量的平方距离之和。注意，更新将新点移动到更远的棕色点(另一个可行向量)。
3. 移动一个向量将改变更新向量。

Answer 2

证明指出，“平方距离”a^2 + b^2，而不是直线距离(欧几里得距离)会引起问题。由于我们在更新“坏”权向量‘垂直’的同时仍然保持相同的‘水平’距离，所以我们总是保证通过更新向量的平方长度来接近慷慨可行的向量。我认为这应该推广到更多的层面。如果我错了，请纠正我。