回答情况：
提问时间：
问题标签：
我用GPU训练了很多模型。我想调优网络的架构，所以我对不同的模型进行了顺序的训练，以比较它们的性能(我使用的是keras-tuner)。
问题是有些模型非常小，而另一些则非常大。我不想把所有的GPU内存分配给我的培训，而只是我需要的数量。我有TF_FORCE_GPU_ALLOW_GROWTH到true，这意味着当一个模型需要大量内存时，GPU就会分配它。然而，一旦大模型已经训练，内存将不会释放，即使
浏览 7提问于2022-10-25得票数 1
2回答
我有一点使用GPU来训练模型的知识。我正在使用scikit-learn中的K-means来训练我的模型。由于我的数据非常大，是否可以使用GPU训练此模型以减少计算时间？或者你能推荐一些使用GPU能力的方法吗？提前谢谢你。
浏览 2提问于2017-02-01得票数 0
我计划运行一个非常大的递归网络(例如，2048x5)，是否可以在tensorflow中的一个GPU上定义一个层？如何实施该模型才能达到最佳的效率。据我所知，GPU或GPU-CPU-GPU之间的通信存在开销.
浏览 4提问于2016-03-30得票数 9
回答已采纳
我正在尝试创建一个非常大的Keras模型，并将其分布在多个GPU上。需要说明的是，我并不是想把同一模型的多个副本放在多个GPU上；我是想把一个大模型放在多个GPU上。我一直在使用Keras中的multi_gpu_model函数，但基于我在执行此操作时遇到的大量内存不足错误，它似乎只是复制了模型，而不是像我希望的那样分发它。例如，tf.contrib.distribute中的哪种分发策略可以让我以我想要的方式有效地批量
浏览 48提问于2019-02-06得票数 0
回答已采纳
我正在运行一个非常大的Tensorflow模型的谷歌云ml引擎。当使用缩放层basic_gpu (使用batch_size=1)时，我会得到以下错误：
然而，我记得我读到GPU之间的通信是缓慢的，并且会在训练中造成瓶颈。这是真的吗？如果
浏览 9提问于2017-12-15得票数 2
回答已采纳
我们有tensorflow的模型，它以uint16格式作为输入非常大的图像(>40 model )。模型输出相同大小的图像，并运行自定义编译tf-服务与GPU。最大的问题似乎与图像大小有关，因为GPU推断需要1s，而整个HTTP请求在本地tf上运行~17s --与SSD驱动器一起服务。我们的模型输出tf.image.encode_png，它被正确地命名为'_bytes‘，这样tf服务就可以正确地将它编码为base64 。从b64解码这个图像需要2.5s。由于json编码，
浏览 2提问于2020-02-28得票数 1
回答已采纳
假设我想用Tensorflow开发和训练一个大的端到端深度学习模型(1.15，因为遗留的原因)。对象复杂，可以提取的特征类型很多:固定长度的数值特征向量、序列、无序集等。因此，该模型将包含许多子模块来处理各种类型的特征。在GPU之间传输计算结果的成本会有多高？是自动的，对吧？
考虑到变量被放置在不同的
浏览 0修改于2020-02-14得票数 1
我使用GPU在一个大小为55 on的数据集上运行一些非常大的深度学习模型。如果我使用一个大于1的批处理大小，我会得到一个资源耗尽错误。即使批处理大小为1，我也会得到分割错误。GPU内存为10 of，服务器具有32 of的RAM。 有没有办法让我知道GPU中的数据量(批处理大小为1)会有多大？我正在使用tf.Keras来拟合模型。
浏览 32提问于2021-08-10得票数 0
我有一个相当大的模型，我试图运行(30 GB的内存最低)，但每次我启动一个新的实例，我可以调整CPU内存，而不是GPU。谷歌的人工智能笔记本服务有办法增加GPU的内存吗？
谢谢你的帮助。
浏览 6提问于2020-03-13得票数 1
回答已采纳
我训练过一个用于图像分割的segmentation_models_pytorch.PSPNet模型。result = model.predict(image_tensor[:, :, y:y+384, x:x+384])在Windows环境下，该模型可以处理25
浏览 11提问于2022-11-03得票数 0
回答已采纳
5回答
如果我减少了模型中的批次大小或神经元数量，它就运行得很好。
是否有一种基于模型和GPU内存计算最佳批处理大小的通用方法，这样程序就不会崩溃？简而言之:我希望在我的模型中尽可能大的批处理大小，这将适合我的GPU内存，不会使程序崩溃。
浏览 3修改于2022-07-18得票数 40
回答已采纳
我有一个非常大的深度神经网络。当我尝试在GPU上运行它时，我得到"OOM当分配“。但当我屏蔽GPU并在CPU上运行时，它可以工作(与小型号相比，速度大约慢100倍)。我的问题是，tenosrflow中是否有任何机制可以让我在GPU上运行模型。我假设CPU使用虚拟内存，所以它可以随心所欲地分配，并在缓存/RAM/磁盘之间移动(颠簸)。在Tensorflow和GPU上有相似的东西吗？即使它比常规GPU运行速度慢10倍，这也会对我有所帮助
谢谢
浏览 1提问于2018-06-16得票数 1
在试图理解为什么我的PyTorch模型的最大批处理大小是有限的时，我注意到使用最多内存的不是模型本身，也不是将张量加载到GPU中。当第一次生成预测时，大部分内存都会耗尽，例如训练循环中的以下一行：其中图像是一些输入张量，模型是我的PyTorch模型。在运行该行之前，我有大约9GB的GPU内存可用，然后我降低到2.5GB (在运行loss = criterion(outputs, labels)之后，它进一步下降到1GB可用)。据我所知，<e
浏览 3提问于2022-05-27得票数 4
回答已采纳
我已经使用我的GPU - Nvidia 1060 3 3Gb训练过的模型使用了YOLO检测，一切工作正常。
现在，我正在尝试使用参数生成自己的模型--gpu 1.0。Tensorflow可以看到我的图形处理器，因为我可以在开始时读到这些通信："name: GeForce GTX1060大调:6小调:1 memoryClockRate(GHz)：1.6705“"totalMemory后来，当程序加载数据并试图开始学习时，我得到了以下错误：“无法从设备分配832.51M (87295232
浏览 23修改于2017-12-02得票数 1
我想使用TF2，最好是EfficientDet D7网络来训练一个大型目标检测模型。对于我的16 GB内存的Tesla P100卡，我遇到了一个“内存不足”异常，即显卡上没有足够的内存可以分配。如果我有多个GPU，那么TF模型将被拆分，以便填满两个卡的内存，这是正确的吗？因此，在我的情况下，使用第二张16 GB的Tesla卡，我在训练期间总共将拥有32 GB？如果是这样的话，我可以使用多个GPU的云提供商也是如此吗？
此外，如果我错了，在训练期间为多个GPU拆分一个模型将不起作用，那么还
浏览 18提问于2021-03-03得票数 0
回答已采纳
设置
我发现我的GPU使用量非常小(200 MB)，这意味着我所有的培训都是在CPU上进行的。我所期待的是，em
浏览 0提问于2016-11-15得票数 1
我想要实现一个模型，实际上是两个神经网络叠加在一起。然而，这两个架构的大小太大，不能同时适用于GPU。我的想法如下：从GPU卸载第一个模型，加载第二个模型从GPU卸载第二个模型我其实不需要训练第一个模特，因为它是预先训练的编辑
我已经尝试过先计算整个数据集的第一个模型的输出，然后使用它作为第二个数据集的输入。但是，第一
浏览 0修改于2020-06-16得票数 4
回答已采纳
我正在通过创建不同的模型并对其进行测试来尝试Tensorflow。我现在遇到的问题是，在我面对OOM (内存不足)错误之前，我不清楚我的模型可能有多大。但如果我能测量我的模型占用了多少内存，那就太好了。ECC ||==============+--------------------------------------------------------
浏览 12修改于2019-09-13得票数 2
我有一个16 GPU内存的NVIDIA GPU。我必须运行两个不同的(独立的；意味着两个不同的问题) Python程序:一个是vision类型的任务，另一个是NLP任务)。我已经测试过，程序1大约需要5 5GB的GPU内存，其余的都是免费的。如果我运行这两个程序，会不会影响模型的性能，或者会导致任何进程冲突？
浏览 5提问于2020-12-22得票数 2
我是Tensorflow的新手，我正在致力于将测试图像分发到多个GPU。我读过很多Stack overflow answers和Github示例，我认为可能有两种方法。1)使用tf.FIFOQueue()来馈送每个GPU镜像，但是很多答案都不推荐使用队列(由于新的tf.data接口)。而且它有一些问题()
2)使用tf.data接口。我不确定这个API是否支持GPU。在这个问题()中，使用GPU的输入管道似乎还不能支持tf.data馈送。分布式Tensorflow不在我的考虑范围内(因为我们的服务器模型和
浏览 1修改于2018-02-17得票数 0
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号