吴古瑟尔与迈克尔·尼尔森著的梯度下降

Question

我从coursera的NG机器学习课程和尼尔森的“神经网络和深度学习”一书中学习神经网络。我对渐变下降的理解有点困惑。我看到两种不同的形式，通过NG和Nielson之间的梯度下降来更新权重。

来自尼尔森：

权值更新公式

第二章，反向传播算法。

吴：

权值更新形式

在反向传播算法中，这两种算法都用于转发传递后的权值更新。在Neil中，在NG版本中似乎有一个学习评分-η，它没有任何学习评分，它更像是学习评分+1，我对此感到非常困惑。有人能帮我理解吗？

Answer 1

您所展示的NG格式不包括参数更新，它只包括梯度的计算。