GPU计算:小批量梯度下降需要多少VRAM？

Question

我想用NVIDIA卡做一些GPU计算，我正在决定要一台GTX 960，配2 4GB还是4 4GB内存。我该选哪一个呢？在我可以用于小批量梯度下降的批量大小方面，这些会有多大的不同？这种差异会很明显吗？

谢谢你的回答。

Answer 1

成本最高的操作之一是将数据复制到GPU设备或从GPU设备复制数据。因此，如果您期望使用大于2 2GB的数据集，那么较大的mem将会有很大的好处。您可以一次存储大块数据(小批量大小的倍数)，并且/或者如果需要频繁评估，则可能存储整个heldout数据集。当然，你可以一直使用异步拷贝到/从gpu (如果设备支持)或其他optimizations，当然可以在较小的内存上做得很好；然而，这增加了一些额外的复杂性，并且你使用的任何工具包(如果适用)可能无法利用此功能。