小学习率与大学习率

Question

我是新来的。当我突然读到关于反向传播的书时，我有疑问。

在神经网络反向传播学习中，

我们是否应该以较低的学习率开始，并在学习过程中慢慢地提高它？或

我们应该从高学习率开始，在学习过程中慢慢降低吗？

哪一个是对的？

Answer 1

一般来说，第二种方法是正确的--以这种方式思考这个问题--高学习率意味着你粗略地寻找空间中最好的区域。然后，通过一次小小的学习，你就可以调整权重，找到最佳的价值。

如果你使用恒定的高学习率，你将“跳跃”在最低点。如果你使用恒定的小学习速率，它将需要大量的时间来收敛。这就是为什么学习速度下降是个好主意。

​

​

尽管如此，对于学习速度调度还有一些更高级的技巧，它们不会单调地降低学习速度。