我在研究反向传播是如何工作的?我读到,反向传播被用来在每次迭代后用部分导数找到每个神经元的最优权重,并更新神经元的权重。
另一方面,我们有一个叫做“学习速率”的超参数,用来通过计算误差的方向来更新每一次迭代中神经元的权重。
这两种情况看起来是独立工作的,我的意思是,当反向传播算法本身找到最优权重时,我们不需要一个学习速率参数本身。
我的理解正确吗?如果我错了,请纠正我。
发布于 2020-09-19 23:08:03
使用反向传播只不过是执行(随机)梯度下降。
它计算梯度,但它不是“最优”的权重。梯度用于更新当前的权重(根据梯度下降算法)。
梯度下降算法需要一个步长(在机器学习环境下称为学习速率)。
步骤大小定义了当前权重是如何由当前梯度更新的。
https://datascience.stackexchange.com/questions/81979
复制相似问题