DQN不稳定预测

Question

我用java从头开始实现了DQN，一切都是定制的。我把它变成了一条蛇，结果真的很好。但我有个问题。

为了使网络尽可能稳定，我使用replay memory和target network。网络融合得非常好。但过了一段时间，它就会崩溃。

这是一个图表(X玩游戏，Y平均得分)

​

​

在我用policy网络更新target网络后，这种“中断”通常会发生在几个游戏中。

我用于DQN的设置：

 discount factor: 0.9
 learning rate: 0.001
 steps to update target network: 300 000 (means every 300k steps i update target network with policy)
 replay memory size: 300 000
 replay memory batch size: 256 (every step i take 256 samples from replay memory and train network)

你知道会出什么问题吗？谢谢你的回答。

Answer 1

查查“灾难性的遗忘”

尝试调整重放内存大小和更新目标网络的步骤数。