首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何估计我的TensorFlow模型的GPU占用量?

问如何估计我的TensorFlow模型的GPU占用量?
EN

Stack Overflow用户
提问于 2017-06-09 14:00:53
回答 1查看 1K关注 0票数 1

我正在尝试对我的TensorFlow深入学习模型的GPU内存占用进行粗略处理,并通过以下建议依赖于我发现了一种启发:

在构建ConvNet体系结构时,需要注意的最大瓶颈是内存瓶颈。许多现代GPU的内存限制为3/4/6GB,最好的GPU大约有12 6GB的内存。有三个主要的内存来源可以跟踪:

  • 从中间卷大小:这些是ConvNet的每一层的原始激活数,以及它们的梯度(大小相等)。通常,大多数激活都在ConvNet的早期层(即第一个Conv层)上。因为它们是反向传播所需要的,所以它们被保留了下来,但是一个只在测试时运行ConvNet的聪明的实现原则上可以通过只将当前激活存储在任何层上并在下面的层上丢弃以前的激活来减少这一点。
  • 从参数大小来看:这些是保存网络参数的数字,它们在反向传播过程中的梯度,如果优化使用的是动量、Adagrad或RMSProp,通常也是一个步骤缓存。因此,单独存储参数向量的存储器通常必须乘以至少3倍左右。
  • 每个ConvNet实现都必须维护各种内存,例如图像数据批处理,可能是它们的扩展版本等等。

一旦粗略估计了值的总数(对于激活、渐变和misc),这个数字应该以GB为单位转换为大小。取值数,乘以4,得到原始字节数(因为每个浮点是4个字节,或者双精度可能是8),然后再乘以1024倍,得到以KB、MB和最后GB为单位的内存量。如果您的网络不合适,一个常见的“使其适合”的方法是减少批处理大小,因为大部分内存通常被激活所消耗。

但我不确定有几件事:

  1. 批次大小在此计算中的作用是什么?听起来它只影响激活(也就是说,我应该将激活乘以批处理大小)。对吗?
  2. 我如何知道在我的GPU (有12 GPU)和我的GPU内存(在TensorFlow中)上有哪些东西?一般来说,几乎所有这些都驻留在GPU上?
  3. 我应该在哪里找“杂项”呢?的主要来源是输入数据。如果是这样的话,我是计算一批这样的数据还是全部?
EN

回答 1

Stack Overflow用户

发布于 2017-06-10 13:33:24

  1. 你有一个单一的模型,使用批量的样本进行训练。单个批由多个输入组成。使用该模型并行处理这些输入。因此,如果批处理包含一定数量的元素,则每个元素都从CPU (输入队列所在的位置)转移到GPU。因此,GPU在状态t (将该模型视为参数在时间步长t上冻结)时使用模型来计算输入批处理的每一个元素的前通过。然后,将网络结果累积到向量中,然后计算反向传播步长。因此,在t (同样)时,使用模型计算批处理的每一个元素的梯度(向后通过),然后在向量中累积并进行平均。使用这个平均值,模型参数被更新,模型进入状态t+1。
  2. 作为经验法则,所有按其性质顺序进行的事情都在CPU上(考虑输入线程、队列、单个输入值的处理,.)。然而,网络应该处理的所有东西都会从CPU传输到GPU。
  3. 杂项部分有点混乱。我想作者是在讨论数据增强,以及单个输入可以以无限方式增强的事实。因此,您必须考虑到,如果要将转换应用于一批输入(例如,对整批图像的随机亮度),则要计算的这些转换需要从CPU传输到GPU,并且增强版本在处理之前应该存储在GPU内存中。但是,传输操作它会做同样的操作,您只需要节省一些计算时间(当然,对于预处理),所分配的内存将是相同的。
票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/44459796

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档