如何在Q-learning中计算MaxQ？

Question

我正在实现Q学习，特别是Bellman方程。

​

我使用的是指导他解决问题的website的版本，但我有一个问题:对于maxQ，我是使用新状态(s')的所有Q表值(在我的例子中是4个可能的动作(a')，每个都有各自的值)还是采取动作(a')时所有位置的Q表值的总和来计算最大奖励？

换句话说，我是使用我能采取的所有可能操作中的最高Q值，还是使用所有“相邻”方块的总和Q值？

Answer 1

对于您可以采取的所有可能的操作，您总是使用最大Q值。

这个想法是选择下一个状态的Q值最大(最好)的动作，以便保持在最优策略Qpi*中。