Tensorflow，OpenAI Gym，Keras-rl性能问题的基本强化学习实例

Question

我在做强化学习，我的表现也有问题。

情况，没有自定义代码：

• 我在Google上加载了一个Google (https://console.cloud.google.com/marketplace/details/click-to-deploy-images/deeplearning)。这与安装的所有先决条件(数据自动化系统、cuDNN、驱动程序)以及NVidia K80录像机一起提供。
• 已安装的角蛋白，OpenAI健身房
• 现在，当我在第46行上运行(标准的) cartpole.py示例visualize=False时，它使用了大约20%的GPU，导致每秒大约100步，这比我的Razer 15 (i7-8750H)上的CPU慢了大约3倍。
• 我检查了所有我能想到的瓶颈，CPU的使用，内存和HD /O都是正常的。

请帮帮我！

提前感谢

Answer 1

这不一定是个问题。就性能而言，使用GPU并不是“免费”的，而且并不总是比CPU快。因为并不是所有的东西都运行在GPU上(例如健身房环境本身仍然运行在CPU上)，所以您确实会产生“通信成本”(例如，将内存从GPU移动到GPU)。这只会是值得的，如果你真的可以充分利用你的GPU。

现在，GPU也不一定比CPU快。GPU非常擅长并行执行许多类似的计算。例如，对于大型矩阵之间的矩阵乘法来说，这是必要的，在训练大型、深度神经网络时确实经常发生这种情况。如果您只需要相对较少的并行计算，并且通常只有顺序代码，那么GPU肯定会比CPU慢(而且您提到的CPU是相当强大的)。

现在，如果我看一下您链接到的构建神经网络的代码部分(从第22行开始)，它看起来就像一个相当小的神经网络；每层只有16个节点。这不是一个巨大的神经网络，在卷积层后面是大的(例如，数百个节点)完全连接的层(对于一个小的问题，比如Cart极坐标，这可能确实是过分的)。因此，您只需要使用20%的GPU (它不能并行使用更多的GPU，因为矩阵乘以太小)，这一点也就不足为奇了，而且它也不一定比简单地在CPU上运行要慢。