RL算法成功播放openai健身房CartPole-v1，但在atari Boxing-ram-v0上失败

Question

我最近实现了ppo算法，他在CartPole-v1上工作得很好，但它在Boxing-ram-v0上不起作用，有人能解释一下吗？

this is my repo

this is the train score history in CartPole-v1

and behavior in Boxing-ram-v0

有人能解释一下吗？

Answer 1

我认为您的模型的问题在于，所有时间步骤的代理操作几乎都是相同的。这可能是因为神经网络变得饱和。在CartPole环境中，所有维度的状态都在-,1,1范围内，但在Boxing-ram-v0环境中不在范围内。因此，在将状态存储到缓冲区之前，您可能应该将状态归一化到-1,1的范围。

希望这能有所帮助！