什么是深度Q学习算法中的phi

Question

我正在尝试用Java从头开始制作一个学习型足球游戏，并尝试使用Google DeepMind的深度Q学习算法(虽然没有卷积网络)来实现强化学习。我已经构建了神经网络和Q学习，现在我试图将它们总结在一起，但在这段代码中有一些我不理解的东西。

1. 的Q值不是通常用零而不是随机值初始化的吗？或者这意味着神经网络的权重(第2行)

是什么意思？

预处理序列化Φ1 =Φ(s1) (第4行)

我就是弄不明白Φ在这个算法中代表什么。

​

​

Answer 1

1. 它指的是神经网络的权值
2. Φ(S)指的是预处理映射/步骤，Φ是Φ(Map)的简写，每帧是210×160像素x 128种颜色。论文中使用了一些预处理技术。它们消除了闪烁，仅使用亮度，重新缩放和堆叠。请看2015年论文中的“方法”部分。