损失图中的步长是什么意思？

Question

我发现一些论文(Resnet论文)的图表如下：

​

正如您所看到的，随着迭代次数的增加，损失逐渐减少。但在某些时候(红色箭头)，损失会迅速减少(作为一个步骤)。这一点是什么？它是否改变了学习率点？感谢所有人

Answer 1

是的，他们在那个时候改变了学习率。它可以是学习率计划，这意味着每X次迭代将学习率降低一个因子，或者它可以是另一种策略，如在检测到损失的平台期时降低学习率。