强化学习算法的有效数据馈送

Question

我目前正在用TensorFlow实现深度双Q学习算法。我有一个基于NumPy数组实现的重放缓冲区的经验。然而，一些性能分析表明，使用feed_dict将数据从NumPy数组馈送到图形的效率非常低。文档https://www.tensorflow.org/performance/performance_guide中也指出了这一点。

有没有人有建议，让喂养可以更有效地完成？对于静态数据集，可以使用输入管道完成馈送，例如记录读取器。然而，体验重放缓冲区会随着时间的推移而变化，这使得这种类型的馈送更具挑战性。

非常感谢您的回答，谢谢！

Answer 1

简短的回答是，如果你的数据是最小的集合并且是唯一的，那么是没有办法加速的。如果您的数据有一些可以删除的冗余或不必要的修饰，那么在将其输入到模型之前删除它，但是假设您已经这样做了，并且您的数据在每个批次中都是唯一的，那么(在这方面)您无能为力。

也就是说，你可以做一些事情来提高你的网络性能。

• 你的Q学习算法可以根据this paper进行改进，这基本上是说，在你的网络累积误差超过阈值之前，不要进行学习阶段。
• 如果您要重复使用某些训练集或重放它们，则可以使用加载阶段将训练数据加载到图形处理器中，以便快速回放。