我正在尝试对我的TensorFlow深入学习模型的GPU内存占用进行粗略处理,并通过以下建议依赖于我发现了一种启发:
在构建ConvNet体系结构时,需要注意的最大瓶颈是内存瓶颈。许多现代GPU的内存限制为3/4/6GB,最好的GPU大约有12 6GB的内存。有三个主要的内存来源可以跟踪:
一旦粗略估计了值的总数(对于激活、渐变和misc),这个数字应该以GB为单位转换为大小。取值数,乘以4,得到原始字节数(因为每个浮点是4个字节,或者双精度可能是8),然后再乘以1024倍,得到以KB、MB和最后GB为单位的内存量。如果您的网络不合适,一个常见的“使其适合”的方法是减少批处理大小,因为大部分内存通常被激活所消耗。
但我不确定有几件事:
发布于 2017-06-10 13:33:24
t (将该模型视为参数在时间步长t上冻结)时使用模型来计算输入批处理的每一个元素的前通过。然后,将网络结果累积到向量中,然后计算反向传播步长。因此,在t (同样)时,使用模型计算批处理的每一个元素的梯度(向后通过),然后在向量中累积并进行平均。使用这个平均值,模型参数被更新,模型进入状态t+1。https://stackoverflow.com/questions/44459796
复制相似问题