时差更新规则

Question

更新规则TD(0) Q-学习：

Q(t-1) = (1-alpha) * Q(t-1) + (alpha) * (Reward(t-1) + gamma* Max( Q(t) ) )

然后采取当前最佳操作(优化)或随机操作(对资源管理器)。

其中MaxNextQ是下一个状态下可以得到的最大Q.

，但在TD(1)中，我认为更新规则将是：

Q(t-2) = (1-alpha) * Q(t-2) + (alpha) * (Reward(t-2) + gamma * Reward(t-1) + gamma * gamma * Max( Q(t) ) )

我的问题：

gamma * Reward(t-1)这个词意味着我将永远在t-1采取我最好的行动。我认为这会妨碍探索。

谁能给我个提示吗？

谢谢

Answer 1

你说的是“资格追踪”用法，对吧？见方程与算法。

注意e_t(s，a)方程。在使用勘探步骤时不适用任何惩罚。