基于神经网络的Sarsa算法解决山地车任务

Question

我正在尝试实现情景半梯度Sarsa来估计Q，在Sutton的书中描述了to solve the Mountain Car Task。为了近似计算q，我想使用一个neural network。因此，我想出了this代码。但遗憾的是，我的代理并没有真正学会如何解决这个问题。在某些情况下，解决方案的找到速度非常快(100-200步)，但有时代理需要超过30k步。我想，我在我的实现中犯了一些基本的错误，但我自己找不到。有人能帮我指出我的实现中的错误/错误吗？

Answer 1

我通过改变网络结构解决了这个问题:我没有使用(state, action)对来预测它的Q-value，而是以DQN的方式进行了更改:我预测给定状态下所有三个可能操作的value，然后根据这个预测选择操作。我之前的方法找不到问题所在，但至少现在这个方法起作用了。