Q学习agent的学习速率

Question

学习速度如何影响收敛速度和收敛本身的问题。如果学习速率是常数，Q函数会收敛到最优的on还是学习速率一定会衰减以保证收敛？

Answer 1

学习速率告诉解决方案所采取的步骤的大小。

它不应该是太大的，一个数字，因为它可能会在极小值附近不断振荡，而不应该是一个数的太小的，否则它将需要大量的时间和迭代才能达到最小值。

在学习速率上建议衰减的原因是，最初当我们在解空间中的完全随机点时，我们需要向解的方向迈出很大的一步，然后当我们接近它时，我们会进行小的跳跃，从而得到小的改进，最终达到最小值。

类推可以说是:在高尔夫球场的比赛中，当球离洞很远时，球员很难打到离洞越近越好。后来，当他到达标记区时，他选择了另一根棍子，以获得精确的短拍。

所以，并不是说他不选择短杆就不能把球放进洞里，他可能会在目标前面投球两三次。但是，如果他发挥得最好，并使用适当的力量到达洞，那将是最好的。腐朽的学习率也是如此。

Answer 2

学习速度必须衰退，但不要太快。汇合的条件如下(抱歉，没有胶乳)：

• 和(α(T)，1，inf) = inf
• 和(α(T)^2，1，inf) < inf

类似alpha = k/(k+t)的东西可以很好地工作。

本文正是对这一问题进行了探讨：

http://www.jmlr.org/papers/volume5/evendar03a/evendar03a.pdf

Answer 3

它应该衰败，否则会出现一些波动，引发政策上的小变化。