回答情况：
提问时间：
问题标签：
我用GPU训练了很多模型。我想调优网络的架构，所以我对不同的模型进行了顺序的训练，以比较它们的性能(我使用的是keras-tuner)。
问题是有些模型非常小，而另一些则非常大。我不想把所有的GPU内存分配给我的培训，而只是我需要的数量。我有TF_FORCE_GPU_ALLOW_GROWTH到true，这意味着当一个模型需要大量内存时，GPU就会分配它。然而，一旦大模型已经训练，内存将不会释放，即使
浏览 7提问于2022-10-25得票数 1
2回答
我有一点使用GPU来训练模型的知识。我正在使用scikit-learn中的K-means来训练我的模型。由于我的数据非常大，是否可以使用GPU训练此模型以减少计算时间？或者你能推荐一些使用GPU能力的方法吗？提前谢谢你。
浏览 2提问于2017-02-01得票数 0
我计划运行一个非常大的递归网络(例如，2048x5)，是否可以在tensorflow中的一个GPU上定义一个层？如何实施该模型才能达到最佳的效率。据我所知，GPU或GPU-CPU-GPU之间的通信存在开销.
浏览 4提问于2016-03-30得票数 9
回答已采纳
我正在尝试创建一个非常大的Keras模型，并将其分布在多个GPU上。需要说明的是，我并不是想把同一模型的多个副本放在多个GPU上；我是想把一个大模型放在多个GPU上。我一直在使用Keras中的multi_gpu_model函数，但基于我在执行此操作时遇到的大量内存不足错误，它似乎只是复制了模型，而不是像我希望的那样分发它。例如，tf.contrib.distribute中的哪种分发策略可以让我以我想要的方式有效地批量
浏览 48提问于2019-02-06得票数 0
回答已采纳
我正在运行一个非常大的Tensorflow模型的谷歌云ml引擎。当使用缩放层basic_gpu (使用batch_size=1)时，我会得到以下错误：
然而，我记得我读到GPU之间的通信是缓慢的，并且会在训练中造成瓶颈。这是真的吗？如果
浏览 9提问于2017-12-15得票数 2
回答已采纳
我们有tensorflow的模型，它以uint16格式作为输入非常大的图像(>40 model )。模型输出相同大小的图像，并运行自定义编译tf-服务与GPU。最大的问题似乎与图像大小有关，因为GPU推断需要1s，而整个HTTP请求在本地tf上运行~17s --与SSD驱动器一起服务。我们的模型输出tf.image.encode_png，它被正确地命名为'_bytes‘，这样tf服务就可以正确地将它编码为base64 。从b64解码这个图像需要2.5s。由于json编码，
浏览 2提问于2020-02-28得票数 1
回答已采纳
由于各种原因，我现在不得不对其进行更新，而且似乎培训(就像Google平台上的工作一样)已经严重退化:我现在为我的模型获得了ResourceExhaustedError，甚至当我将批处理的大小减少了一大串时我的迁移可以概括为我的配置yaml已经从： scaleTier: CUSTOM runtimeVersion:"1.14"trainingInput: mast
浏览 0提问于2021-08-20得票数 1
回答已采纳
假设我想用Tensorflow开发和训练一个大的端到端深度学习模型(1.15，因为遗留的原因)。对象复杂，可以提取的特征类型很多:固定长度的数值特征向量、序列、无序集等。因此，该模型将包含许多子模块来处理各种类型的特征。在GPU之间传输计算结果的成本会有多高？是自动的，对吧？
考虑到变量被放置在不同的
浏览 0修改于2020-02-14得票数 1
我有一个相当大的模型，我试图运行(30 GB的内存最低)，但每次我启动一个新的实例，我可以调整CPU内存，而不是GPU。谷歌的人工智能笔记本服务有办法增加GPU的内存吗？
谢谢你的帮助。
浏览 6提问于2020-03-13得票数 1
回答已采纳
我使用GPU在一个大小为55 on的数据集上运行一些非常大的深度学习模型。如果我使用一个大于1的批处理大小，我会得到一个资源耗尽错误。即使批处理大小为1，我也会得到分割错误。GPU内存为10 of，服务器具有32 of的RAM。 有没有办法让我知道GPU中的数据量(批处理大小为1)会有多大？我正在使用tf.Keras来拟合模型。
浏览 32提问于2021-08-10得票数 0
我训练过一个用于图像分割的segmentation_models_pytorch.PSPNet模型。result = model.predict(image_tensor[:, :, y:y+384, x:x+384])在Windows环境下，该模型可以处理25
浏览 11提问于2022-11-03得票数 0
回答已采纳
5回答
如果我减少了模型中的批次大小或神经元数量，它就运行得很好。
是否有一种基于模型和GPU内存计算最佳批处理大小的通用方法，这样程序就不会崩溃？简而言之:我希望在我的模型中尽可能大的批处理大小，这将适合我的GPU内存，不会使程序崩溃。
浏览 3修改于2022-07-18得票数 40
回答已采纳
我有一个非常大的深度神经网络。当我尝试在GPU上运行它时，我得到"OOM当分配“。但当我屏蔽GPU并在CPU上运行时，它可以工作(与小型号相比，速度大约慢100倍)。我的问题是，tenosrflow中是否有任何机制可以让我在GPU上运行模型。我假设CPU使用虚拟内存，所以它可以随心所欲地分配，并在缓存/RAM/磁盘之间移动(颠簸)。在Tensorflow和GPU上有相似的东西吗？即使它比常规GPU运行速度慢10倍，这也会对我有所帮助
谢谢
浏览 1提问于2018-06-16得票数 1
在试图理解为什么我的PyTorch模型的最大批处理大小是有限的时，我注意到使用最多内存的不是模型本身，也不是将张量加载到GPU中。当第一次生成预测时，大部分内存都会耗尽，例如训练循环中的以下一行：其中图像是一些输入张量，模型是我的PyTorch模型。在运行该行之前，我有大约9GB的GPU内存可用，然后我降低到2.5GB (在运行loss = criterion(outputs, labels)之后，它进一步下降到1GB可用)。据我所知，<e
浏览 3提问于2022-05-27得票数 4
回答已采纳
我正在使用Tensorflow C API来运行在python中保存/冻结的模型。我们过去在CPU上运行这些模型，但最近切换到GPU以提高性能。我最近更新了这个库，这样我们就可以传入GPU配置选项，这样我们就可以控制GPU内存分配。然而，我们现在的系统也有多个GPU，这导致了一些问题。看起来我不能让Tensorflow和我们的软件使用相同的GPU。
我使用的visible_device_list参数与我们的软件具有相同的GPU</em
浏览 3提问于2020-06-16得票数 2
我已经使用我的GPU - Nvidia 1060 3 3Gb训练过的模型使用了YOLO检测，一切工作正常。
现在，我正在尝试使用参数生成自己的模型--gpu 1.0。Tensorflow可以看到我的图形处理器，因为我可以在开始时读到这些通信："name: GeForce GTX1060大调:6小调:1 memoryClockRate(GHz)：1.6705“"totalMemory后来，当程序加载数据并试图开始学习时，我得到了以下错误：“无法从设备分配832.51M (87295232
浏览 23修改于2017-12-02得票数 1
我使用具有tensorflow和多个gpu配置的python 3，我尝试使用插入多个gpu模型，我创建了一个模型，它很好，编译、运行和训练，但是当我尝试在模型编译之前添加这个模型：
model = Sequential()model.add(Dense(100, act
浏览 0修改于2019-02-06得票数 2
我想使用TF2，最好是EfficientDet D7网络来训练一个大型目标检测模型。对于我的16 GB内存的Tesla P100卡，我遇到了一个“内存不足”异常，即显卡上没有足够的内存可以分配。如果我有多个GPU，那么TF模型将被拆分，以便填满两个卡的内存，这是正确的吗？因此，在我的情况下，使用第二张16 GB的Tesla卡，我在训练期间总共将拥有32 GB？如果是这样的话，我可以使用多个GPU的云提供商也是如此吗？
此外，如果我错了，在训练期间为多个GPU拆分一个模型将不起作用，那么还
浏览 18提问于2021-03-03得票数 0
回答已采纳
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号