在训练和使用神经网络时，GPU的规格是什么？

Question

我需要购买一些GPU，我计划用来训练和使用一些神经网络(很可能与西亚诺和火炬)。我应该注意哪些GPU规格？

例如：

• 我们应该确保VRAM足够大，适合自己的应用程序
• teraflops越多，在GPU上单独运行的程序就会运行得越快。
• 热设计功率(TDP)越高，电费就越高
• 计算能力，其中的确定可使用哪种版本的数据自动化系统和cuDNN。

还有什么是重要的，还有什么不重要？

例如，假设套接字的数量、时钟速度和核数不会带来任何额外的有用信息(因为我们已经考虑了Tflops的数量)，这是否合理？

Answer 1

除了列出的标准外，还可以寻找

• 岩心数
• 做低精度算术的能力

在实践中，您可能最好只是得到最新一代的NVIDIA卡(目前为10 In )。

Answer 2

这取决于你所考虑的神经网络的预期大小。如果DNN包含多个层，具有大的默认输入和许多完全连接的层，那么您需要一个具有大内存的GPU。

内存是最重要的因素，没有足够的内存，你的GPU就没用了。要了解任何DNN的大小，请考虑完全连接层的数量和大小。当然，内核的数量很重要，但是内存更重要。

Answer 3

我还要再增加几个参数，以供考虑：

1. 与每个cuda核相关联的缓存内存的大小。
2. 视频存储器吞吐量(Gb/s)越高越好。

如果某个特定GPU的内存不足，则可以选择一种方法来处理培训集的示例。尽管在某些情况下这是不可能的。

处理大型数据集的另一种选择是，如果您愿意通过编写自己的CUDA内核来移植算法，那么您可以克服内存限制，方法是水平拆分数据集，并在处理整个数据集之前交换每个部分。以这种方式实现反向传播是非常麻烦的，而且我还没有尝试在GPU上以这种方式实现它，所以很有兴趣获得关于您的进度的反馈。