α-LMS‬算法挫折问题

Question

我使用α-LMS算法为MNIST数据集制作分类器.

我只在预测的输出与期望的输出不匹配时更新权重，下面是更新权重的方法：

​

​

我希望在每次迭代中，残差会下降(并且精度会上升)(不是吗？)

虽然总体精度似乎在上升，但在某些迭代中，算法会倒退。

​

​

我需要知道这个算法中出现的挫折是否正常，如果是这样的话？

Answer 1

如果数据可以用公式表示，就可以找到这一公式。当需要一个算法(没有公式)时，收敛速度和精度很大程度上取决于数据。如果您能够使用多个数据集，您将看到不同的图形。