- 综合排序
- 最热优先
- 最新优先
- 来自专栏JNing的专栏
监视显存
监视显存使用情况 watch [options] command 每10秒更新一次显存使用情况 watch -n 10 nvidia-smi ---- ----
1.3K30发布于 2018-09-28 Torch 中显存回收节省显存的方法
在进行模型推理时，需要考虑如何有效地利用和管理GPU显存。以下总结了常用的节省显存的方法。 将变量从显存释放 1. output = model(input).detach() 2. 这样可以更有效地利用显存，因为一些显存是用来存储模型的参数和中间结果的，而这些显存的使用量通常不会随着批量大小的增加而增加。 将模型和数据移动到CPU内存：如果你的模型和数据都在GPU显存中，那么你可以考虑在完成推理后将它们移动到CPU内存，以释放显存。 这是因为PyTorch使用了一种称为"缓存分配器"的机制来管理显存，这种机制可以减少显存的分配和释放操作，从而提高效率。
1.9K10编辑于 2024-07-01- 来自专栏Java项目实战
LTX-2有意思了 Comfyui爆显存 这个整合包CPU跑只要5G显存
单张RTX 5090秒出高清视频，清华+生数科技TurboDiffusion加速200倍，AI视频彻底白菜化，目前Comfyui的LTX2工作流还是挺占显存的，如果不用量化版本，竟然也会偶尔爆显存？ 4K+50FPS+音频同步，提示词技巧全攻略 附工作流，那现在这个LTX2的19B版本，跑上CPU +内存只需要5G显存的话，速度也相当不错，如果你安装加速没问题还会更快，1024*1024 图生视频， 如果你的显卡可能显存比较小，但是CPU是的非常不错的，那可以尝试这个整合包，在不久的将来，我猜会有大厂把视频加速 + 音频同步 + 物理规律 + 2K-4K高清视频同时满足的产品打造出来。 生成过程的显存占用以及速度 由于兼容了不支持加速则使用CPU，但是避免了爆显存，总共花费了11分钟，相对来说文生视频显然效果更佳，如果你觉得时间太长，那么问问自己的显卡有没有努力工作，是慢点好，还是爆显存生成不了好 2.
3K20编辑于 2026-01-14 - 来自专栏深度学习那些事儿
再次浅谈Pytorch中的显存利用问题(附完善显存跟踪代码)
前言 之前在浅谈深度学习:如何计算模型以及中间变量的显存占用大小和如何在Pytorch中精细化利用显存中我们已经谈论过了平时使用中显存的占用来自于哪里，以及如何在Pytorch中更好地使用显存。 在这篇文章中，我们借用Pytorch-Memory-Utils这个工具来检测我们在训练过程中关于显存的变化情况，分析出我们如何正确释放多余的显存。 如何去释放不需要的显存。 首先，我们在下段代码中导入我们需要的库，随后开始我们的显存检测程序。 Tensor占用大，我们暂时将次归结为Pytorch在开始运行程序时需要额外的显存开销，这种额外的显存开销与我们实际使用的模型权重显存大小无关。 = dummy_tensor_2.cpu() # 这里虽然将上面的显存释放了，但是我们通过Nvidia-smi命令看到显存依然在占用 torch.cuda.empty_cache() # 只有执行完上面这句
2.4K50编辑于 2023-10-19 - 来自专栏AIUAI
GPU 显存 - Caffe 内存优化
Caffe - 显存优化 1. 测试了一下, ResNet101 相对于官方 caffe, 能够明显节省显存占用, batchsize 可以增加很多. 在训练深度网络时, GPU显存资源是有限的. memory multiloading 功能实现的文件在: https://github.com/yjxiong/caffe/blob/action_recog/src/caffe/net.cpp#L1088 2. " mem_param { optimize_train: true optimize_test: true exclude_blob: "fc1" exclude_blob: "fc2"
2.8K60发布于 2018-05-17 - 来自专栏JNing的专栏
【tensorflow】设置显存开销
问题 一般大家在跑tf时，单个程序往往会占满整块GPU的所有显存。 但是实际上，程序很可能并不需要那么大的显存空间。 改进方案 通过 tf.ConfigProto().gpu_options.allow_growth=True来告诉程序，只需占用实际所需的显存即可： # ---------------- session True sess = tf.Session(config=config) 如果这里把 config.gpu_options.allow_growth设置为False，那么程序就会默认把整块卡的所有显存占满
1.2K10发布于 2020-03-17 - 来自专栏CSDNToQQCode
win11怎么看显存——win11如何看显存
显存查看方法1、 1、快捷键【Ctrl+Shift+ESC】打开【任务管理器】 2、点击左侧的性能 显存查看方法2、 在Windows 11在Windows 11中查看显存的方法如下： 1 2、在系统设置窗口右侧，点击“显示”（显示器、亮度、夜间模式、显示描述）。 3、在显示设置下，点击“相关设置”中的“高级显示”（显示器信息、刷新率）。 在显卡属性窗口中，适配器下，就可以查看显存信息。 显存查看方法3、 此外，还可以使用DirectX诊断工具来查看显存。 在“显示”选项卡中，找到“显存”一项，即可查看显存信息。 以上两种方法都可以帮助您在Windows 11中查看显存信息。如果还有其他问题，欢迎随时提问。 显存对AI的重要意义 显存是显卡中存储图像数据的关键组成部分，对AI具有重要意义，主要体现在： 显存决定了计算机在处理图像时能够存储和操作的数据量大小。
17.6K11编辑于 2023-11-29 - 来自专栏容器计算
tf_cnn_benchmark 显存问题
1 Overview 在测试 vGPU 的功能的时候，给容器分配了半张 GPU 卡，然后想用 Tensorflow Benchmark 测试一下，却发现半张 V100 32GB 显存从一开始就被占满了， 2 Reason 因为 Tensorflow 默认会跑完整个显卡，为了可以测试顺利，所以想限制测试脚本 tf_cnn_benmark.py。 关于如何限制 GPU 显存的使用量，可以参考官方的记录。为了能正常使用办张卡，也就是 16 GB 的显存，我希望可以注入一个 Config 类似如下。 per_process_gpu_memory_fraction=0.5) sess = tf.Session(config=tf.ConfigProto(gpu_options=gpu_options)) 这样我的程序就只会用到半张卡的显存 xla=True --gpu_memory_frac_for_testing=0.5 3 Summary per_process_gpu_memory_fraction 参数可以设置 GPU 内进程使用显存最大的比例
1.4K20发布于 2020-08-05 - 来自专栏IT杂症
v470修改显存大小
准备工作备份 /System/Library/Extensions/AppleIntelSNBGraphicsFB.kext/
81110发布于 2021-11-08 - 来自专栏深度学习和计算机视觉
深度学习中GPU和显存分析
举例来说：有一个1000x1000的 矩阵，float32，那么占用的显存差不多就是 2x3x256x256的四维数组（BxCxHxW）占用显存为：24M 1.2 神经网络显存占用 神经网络模型占用的显存包括 更具体的来说，模型的参数数目(这里均不考虑偏置项b)为： Linear(M->N): 参数数目：M×N Conv2d(Cin, Cout, K): 参数数目：Cin × Cout × K × K BatchNorm (N): 参数数目：2N Embedding(N,W): 参数数目：N × W 参数占用显存 = 参数数目×n n = 4 ：float32 n = 2 : float16 n = 8 : double64 1.2.2 梯度与动量的显存占用 举例来说， 优化器如果是SGD： 这时候还需要保存动量， 因此显存x3 如果是Adam优化器，动量占用的显存更多，显存x4 总结一下，模型中与输入无关的显存占用包括： 节省显存一般有如下方法： 降低batch-size 下采样(NCHW -> (1/4)*NCHW) 减少全连接层（一般只留最后一层分类用的全连接层） 2 计算量分析 计算量的定义，之前已经讲过了，计算量越大
85210编辑于 2025-03-24 - 来自专栏DeepHub IMBA
如何估算transformer模型的显存大小
D = dim = 注意力头的维度 B = batch_size = 批大小 S = sequence_length =输入序列的长度 memory modal = 4 * R * N^2 * D^2 memory activations = RBNS(S + 2D) 所以在训练模型时总的内存占用为： M = (4 * R * N^2 * D^2) + RBNS(S + 2D) 因为内存的占用和序列长度又很大的关系 ，如果有一个很长的序列长度S >> D S + 2D <——> S，这时可以将计算变为： M = (4 * R * N^2 * D^2) + RBNS(S) = 4*R*N^2*D^2 + RBNS^ 2 可以看到对于较大的序列，M与输入序列长度的平方成正比，与批大小成线性比例，这也就证明了序列长度和内存占用有很大的关系。 所以最终的内存占用的评估为： 总内存 = ((4 * R * N^2 * D^2) + RBNS(S + 2D)) * float64(以字节为单位) 作者：Schartz Rehan ---- MORE
2.3K30编辑于 2022-11-11 - 来自专栏TencentOS-tiny
STM32CubeMX ｜42-使用DMA2D加速显存数据传输
一、使用CPU搬运数据到显存 在上一篇文章中讲述了如何配置 LTDC 驱动 RGB 屏幕： STM32CubeMX | 41-使用LTDC驱动TFT-LCD屏幕（RGB屏）。 i = 0; while (i++ < LCD_WIDTH*LCD_HEIGHT) { *(ptr+i) = color; } } 最后实现lcd初始化函数，先刷显存 */ 编译、运行，在串口助手可以看到使用CPU搬运数据到显存中，在-Og优化等级下单次清屏需要 155 ms左右，在-O0优化等级下单次清屏需要321ms左右： ? 二、使用DMA2D加速显存数据搬运 1. DMA2D 在STM32中，DMA2D外设专门用来给LCD显示加速，有LTDC外设的型号中，通常也会配套有DMA2D。 打点函数 打点函数的核心是计算当前用户给出的坐标位置在显存中的位置，两种实现如下： void lcd_draw_point(uint16_t x, uint16_t y, uint16_t color
4.1K31发布于 2021-07-23 - 来自专栏贾志刚-OpenCV学堂
节省显存新思路，在 PyTorch 里使用 2 bit 激活压缩训练神经网络
ActNN：2 bit 激活压缩训练 在训练一个多层神经网络时，在前向传播中，每一层的中间结果都要被存下来用于计算反向传播的梯度。 把 fp32 浮点数量化为 2-bit 整数是一个有损压缩，会引入一些误差。论文从理论上分析了量化引入的误差是如何影响训练的收敛性的。 平均每个浮点数分配到 2 bit。 在具体实现压缩算法时，还有很多可以调节的参数。这里产生了一个内存节省和训练速度的取舍。 用户只需将模型里的所有 PyTorch nn.Module 替换成 ActNN 对应的 Module （如把 nn.Conv2d 替换成 actnn.Conv2d)，即可节省内存，不需要更改其他代码。 为什么激活值压缩倍率是 12 而不是 32 bit / 2 bit = 16？
1.4K20发布于 2021-07-14 - 来自专栏机器学习AI算法工程
深度学习中GPU和显存分析
2x3x256x256的四维数组（BxCxHxW）占用显存为：24M 1.2 神经网络显存占用 神经网络模型占用的显存包括： 模型自身的参数 模型的输出 举例来说，对于如下图所示的一个全连接网络(不考虑偏置项 更具体的来说，模型的参数数目(这里均不考虑偏置项b)为： Linear(M->N): 参数数目：M×N Conv2d(Cin, Cout, K): 参数数目：Cin × Cout × K × K BatchNorm (N): 参数数目：2N Embedding(N,W): 参数数目：N × W 参数占用显存 = 参数数目×n n = 4 ：float32 n = 2 : float16 n = 8 : double64 （因为不需要执行优化） 深度学习中神经网络的显存占用，我们可以得到如下公式： 显存占用 = 模型显存占用 + batch_size × 每个样本的显存占用 可以看出显存不是和batch-size简单的成正比 节省显存一般有如下方法： 降低batch-size 下采样(NCHW -> (1/4)*NCHW) 减少全连接层（一般只留最后一层分类用的全连接层） 2 计算量分析 计算量的定义，之前已经讲过了，计算量越大
4.2K11发布于 2020-12-15 - 来自专栏AI研习社
深度学习中 GPU 和显存分析
衡量计算能力的单位是 flops： 每秒能执行的 flop 数量 1*2+3 1 flop 1*2 + 3*4 + 4*5 3 flop 1. 更具体的来说，模型的参数数目 (这里均不考虑偏置项 b) 为： Linear(M->N): 参数数目：M×N Conv2d(Cin, Cout, K): 参数数目：Cin × Cout × K × K BatchNorm(N): 参数数目： 2N Embedding(N,W): 参数数目： N × W 参数占用显存 = 参数数目 ×n n = 4 ：float32 n = 2 : float16 n 1.2.2 梯度与动量的显存占用 举例来说， 优化器如果是 SGD： 可以看出来，除了保存 W 之外还要保存对应的梯度 ，因此显存占用等于参数占用的显存 x2,如果是带 Momentum-SGD 节省显存一般有如下方法： 降低 batch-size 下采样 (NCHW -> (1/4)*NCHW) 减少全连接层（一般只留最后一层分类用的全连接层） 2 计算量分析 计算量的定义，之前已经讲过了
7.9K100发布于 2018-03-16 - 来自专栏Dechin的专栏
关于python中显存回收的问题
而且此时已经按照Jax的官方说明配置了XLA_PYTHON_CLIENT_PREALLOCATE这个参数为false，也就是不进行显存的预分配（默认会分配90%的显存空间以供使用）。 然后在网上找到了一些类似的问题，比如参考链接中的1、2、3、4，都是在一些操作后发现未释放显存，这里提供一个实例问题和处理的思路，如果有更好的方案欢迎大家在评论区留言。 -----------------------------------+ 此时启动一个ipython的终端窗口，执行如下的Jax任务： In [1]: import numpy as np In [2] np from jax import numpy as jnp a = np.ones(1000000) def f(a): b = jnp.array(a) time.sleep(2) [True] 在程序执行的过程中我们也可以看到，在nvidia-smi中的显存占用，仅仅持续了2秒，也就是我们在函数内部设置的进程sleep参数。
3.3K10编辑于 2021-12-14 - 来自专栏数据派THU
如何估算transformer模型的显存大小
transformer模型所需的总内存为： total_memory = memory_modal + 2 * memory_activations 模型参数的内存： 4*n_tr_blocks * D^2 memory activations = RBNS(S + 2D) 所以在训练模型时总的内存占用为： M = (4 * R * N^2 * D^2) + RBNS(S + 2D) 因为内存的占用和序列长度又很大的关系，如果有一个很长的序列长度S >> D S + 2D <——> S，这时可以将计算变为： M = (4 * R * N^2 * D^2) + RBNS(S) = 4*R*N^2*D^2 + RBNS^2 可以看到对于较大的序列，M与输入序列长度的平方成正比，与批大小成线性比例，这也就证明了序列长度和内存占用有很大的关系。 所以最终的内存占用的评估为： 总内存 = ((4 * R * N^2 * D^2) + RBNS(S + 2D)) * float64(以字节为单位) 作者：Schartz Rehan 编辑：黄继彦
3.2K20编辑于 2022-09-14 - 来自专栏AIUAI
Keras - GPU ID 和显存占用设定
因此, 需要类似于 Caffe 等框架的可以设定 GPU ID 和显存自动按需分配. 实际中发现, Keras 还可以限制 GPU 显存占用量. 这里涉及到的内容有: GPU ID 设定 GPU 显存占用按需分配 GPU 显存占用限制 GPU 显存优化 1. GPU ID 设定 #! GPU ID 从 0 开始, GPUID=1 即表示第二块 GPU. 2. GPU 显存占用按需分配 #! GPU 显存占用限制 #! 设定 GPU 显存占用比例实际上是避免一定的显存资源浪费. 4. GPU ID 设定与显存按需分配 #!
2.2K160发布于 2018-05-17 - 来自专栏计算机技术-参与活动
显存：存储，GPU：计算；Pipeline Parallelism（管道并行）
同时，文章还讨论了数据传输中的安全性问题，提出了不依赖加密算法的数据传输安全方案 目录显存：存储，GPU：计算流水线切分策略：（数据并并，多头并行，单头MLP切片）存储（显存）和计算（GPU）负载不均衡的问题 1,2,3,4,5指的计算任务（数据切分）大方块代表GPU计算黄色代表显存解决办法：重计算和流水线切分策略重计算策略：流水线切分策略：（数据并并，多头并行，单头MLP切片）Pipeline Parallelism ：存储，GPU：计算流水线切分策略：（数据并并，多头并行，单头MLP切片）显存与存储： 显存（Video Memory或Graphics Memory）是GPU上的专用内存，用于存储图形数据、纹理、帧缓冲区等 存储（显存）和计算（GPU）负载不均衡的问题1,2,3,4,5指的计算任务（数据切分）大方块代表GPU计算黄色代表显存存储和计算负载不均衡的问题主要出现在大规模并行计算环境中，尤其是在训练大型语言模型时 在预热阶段，每个GPU将处理2个微批次的前向传递。在稳定阶段，GPU将交替进行前向传递和反向传播。例如，GPU1可能处理微批次1的前向传递，而GPU2同时处理微批次2的反向传播。
73321编辑于 2024-11-26 - 来自专栏GPUS开发者
明明模型很小，为啥 GPU 显存却被吃满？一文讲透深度学习显存真相
10亿参数模型：权重仅需4GB 但训练要算梯度，每个权重对应1个梯度，梯度同样占4字节，直接翻倍显存： 权重4GB + 梯度4GB = 8GB 这是训练的基础开销，躲不掉。 2. 框架向系统申请/释放显存很慢，所以PyTorch用完显存不还给系统，留着下次复用。nvidia-smi显示的是“已预留显存”，而非“实际占用显存”。 OS (including cache)reserved = torch.cuda.memory_reserved() / 1e9 print(f"Allocated: {allocated:.2f } GB") print(f"Reserved : {reserved:.2f} GB") # Value in nvidia-smi ≈ reserved # Actual tensor usage scaler.scale(loss).backward() scaler.step(optimizer) scaler.update() 2.
24210编辑于 2026-03-27
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号