- 综合排序
- 最热优先
- 最新优先
- 来自专栏ETU-LINK
数据中心40G QSFP+ SR4与40G QSFP+ LR4光模块的选择
QSFP光模块的密度是XFP光模块的4倍、SFP+光模块的3倍，作为一种光纤解决方案，满足了高密度高速率传输的需求。 40G QSFP+光模块符合SCSI、40G以太网、20G/40G Infiniband等多种标准，它有四个数据传输通道，每个通道的传输速率约为10Gbps，四个通道同时传输可以实现40Gbps的传输速率 易天企业店铺：shop1458197280610.1688.com 40GBASE-SR4光模块采用MPO连接器，工作波长是多模850nm。 它和OM3多模光纤一起使用时传输距离是100m和OM4多模光纤使用时传输距离是150m，主要用来实现数据中心内网络设备间的短距离连接。 40GBASE-SR4光模块除了可以利用MPO光纤跳线实现两个40G网络设备间的连接，还可以和MPO-LC光纤分支跳线使用实现40G网络设备和10G网络设备间的连接。
1K20发布于 2019-03-25 - 来自专栏JNing的专栏
监视显存
监视显存使用情况 watch [options] command 每10秒更新一次显存使用情况 watch -n 10 nvidia-smi ---- ----
1.3K30发布于 2018-09-28 Torch 中显存回收节省显存的方法
在进行模型推理时，需要考虑如何有效地利用和管理GPU显存。以下总结了常用的节省显存的方法。 将变量从显存释放 1. 删除不再使用的变量： del variable torch.cuda.empty_cache() 4. 这样可以更有效地利用显存，因为一些显存是用来存储模型的参数和中间结果的，而这些显存的使用量通常不会随着批量大小的增加而增加。 将模型和数据移动到CPU内存：如果你的模型和数据都在GPU显存中，那么你可以考虑在完成推理后将它们移动到CPU内存，以释放显存。 这是因为PyTorch使用了一种称为"缓存分配器"的机制来管理显存，这种机制可以减少显存的分配和释放操作，从而提高效率。
1.9K10编辑于 2024-07-01- 来自专栏机器之心
LLaMA微调显存需求减半，清华提出4比特优化器
机器之心专栏 作者：李炳睿 大模型的训练和微调对显存要求很高，优化器状态是显存主要开销之一。 4 比特优化器在众多预训练和微调任务上进行了实验，在保持准确率无损的情况下可将微调 LLaMA-7B 的显存开销降低多达 57%。 但相比之下，单个 GPU 的显存大小却增长缓慢，这让显存成为了大模型训练的主要瓶颈，如何在有限的 GPU 内存下训练大模型成为了一个重要的难题。 为此，我们首先需要明确消耗显存的来源有哪些。 「模型显存」，包括模型参数，梯度，以及优化器状态（optimizer states），它的大小与模型参数数量呈正比； 3. 「临时显存」，包括 GPU kernel 计算时用到的临时内存和其他缓存等。 这种方式能够节省显存的重要原因是：神经网络的参数往往由每层的参数向量拼接而成。
92830编辑于 2023-09-19 - 来自专栏ETU-LINK
关于40G QSFP+ BiDi SR4光模块的详细介绍
随着网络的发展，10G到40G网络的升级是网络的要求，但升级时建设有线系统存在一个非常大的问题，特别是40G的短距离传输，为了解决这个问题，所以工程师们研发出了40G QSFP+ BiDi SR4光模块 1.什么是40G QSFP+ BiDi SR4？ 40G QSFP+ BiDi SR4与其他40G QSFP+光模块不同： 其他40G QSFP+光模块（如QSFP + SR4 / LR4）使用8个通道实现40G传输，但40G QSFP+ BiDi SR4 光信号传输到一根光缆，然后40G设备接收光信号并工作： 3.40G QSFP+ BiDi SR4如何连接使用？ 40G QSFP+ BiDi SR4光模块的常用波长为850nm和900nm，可在多模光纤系统中稳定传输。此外，使用OM3跳线的传输距离为100m，使用OM4跳线的传输距离为150m。
1.1K20发布于 2019-03-21 - 来自专栏ETU-LINK
全方位解析40G QSFP+ SR4光模块(QSFP-40G-SR4)
40G QSFP+ SR4光模块是40G以太网短距离传输的优选解决方案，当然40G DAC高速线缆和40G AOC光缆价格更有优势，能满足40G数据中心机房搭建需求，不同方案不同选择！ QSFP-SR4-40G这款光模块主要应用于交换机，路由器，主机适配器总线，企业存储，高密度、高速的I/O，多通道互联等。 三、传输距离 QSFP-40G-SR4这款光模块的最大传输距离为150米，它用于多模光纤的传输，能支持OM3跳线100米的信号传输和OM4跳线150米的信号传输，是适合短距离传输的一款光模块。 四、光纤接口 QSFP-40G-SR4这款光模块主要通过带MPO/ MTP光纤连接器的12芯光纤线缆实现高带宽40G光纤链路的连接；也可以通过连接四个光纤分支线缆10GBASE-SR光接口实现4x10G 以上为40G QSFP+ SR4光模块资料，易天光通信专注于光模块新技术、新产品的开发应用及推广的高科技企业，文章内容所提及到40G光模块、40G DAC高速线缆和40G AOC有源光缆易天光通信etulink.com
1.7K21发布于 2019-03-14 - 来自专栏ETU-LINK
40G光模块方案：10G至40G网络的布线方法
今天给大家分享如何通过40G光模块将10G网络升级至40G网络，首先要根据应用场景选择合适的40G光模块以及采用有效的40G升级方案，接下来易天光通信（ETU-LINK）给你详细介绍10G至40G网络的光模块解决方案 选择40G光模块的几个因素 在10G到40G升级之前，首先会面临网络产品选型的问题。怎么选择40G光模块产品和相应网络产品呢？ 除了要考虑投资成本、运维管理、带宽要求、兼容40G等因素外，在各方面的因素和需求得到平衡之后，选择已有完善的行业标准和规范、技术成熟而通用的产品也是十分重要的。 10G至40G网络升级方案 如今大多数40G光纤网络都符合IEEE802.3ba的标准，采用平行光纤传输的方式，利用预端接12芯或24芯MPO光缆是下一代数据中心的主要光纤连接方案，也是10G至40G的升级方案的核心 3个40G光模块，从而完成40G信号的传输。
1.6K60发布于 2019-02-20 - 来自专栏ETU-LINK
【教程】40G MTP-LC光纤配线架实现4x10G LC布线
今天易天光通信（ETU-LINK）给大家分享40G MTP-LC光纤配线架实现4x10G LC布线的教程。 通常来讲，在40G网络中，需要将每个40G QSFP+光模块通过4个双工LC连接器与4个SFP+光模块连接。 因此，为了使40G连接更加简单和稳定，40G MTP-LC光纤配线架上的接口分为12组，每组具有4个双工LC接口，可以更加轻松地实现40G连接。 40G MTP-LC光纤配线架实现4x10G LC布线 40G光模块可以支持4x10G的光信号传输模式，因此它可以与现有的10G光模块兼容。 40G MTP-LC光纤配线架的后面板有12个MTP接口，其中有8个传输接口和4个双工接口（4个发送和4个传输），这些接口都通过MTP光纤跳线和交换机上的40G光模块相连，而对于前面板的连接，我们可以从
93210发布于 2019-03-15 - 来自专栏深度学习那些事儿
再次浅谈Pytorch中的显存利用问题(附完善显存跟踪代码)
前言 之前在浅谈深度学习:如何计算模型以及中间变量的显存占用大小和如何在Pytorch中精细化利用显存中我们已经谈论过了平时使用中显存的占用来自于哪里，以及如何在Pytorch中更好地使用显存。 > + | 2 * Size:(64,) | Memory: 0.0005 M | <class 'torch.nn.parameter.Parameter'> + | 4 1000/1000 = 94.37M dummy_tensor_2 = torch.randn(40, 3, 512, 512).float().to(device) # 40*3*512*512*4/ dummy_tensor_4 = torch.randn(120, 3, 512, 512).float().to(device) # 120*3*512*512*4/1000/1000 = 377.48M # 然后释放 dummy_tensor_4 = dummy_tensor_4.cpu() dummy_tensor_2 = dummy_tensor_2.cpu() # 这里虽然将上面的显存释放了，
2.4K50编辑于 2023-10-19 - 来自专栏机器之心
128块Tesla V100 4小时训练40G文本，这篇论文果然很英伟达
选自arXiv 作者：Raul Puri等 机器之心编辑部 近日，英伟达发表了一篇大规模语言建模的论文，他们使用 128 块 GPU 在 4 小时内使得 mLSTM 可以收敛，值得注意的是，他们使用的 然而，由于批大小变大，需要额外的 epoch 来将模型训练至相同准确率，最终总训练时长为 4 小时。 4. 混合精度训练 FP16 不仅能减少通信成本，还对直接加速处理器上的训练起到关键作用，如支持较高吞吐量混合精度运算的 V100。 图 4：在特定维度和批大小的亚马逊评论数据集上，训练 mLSTM 模型完成一个 epoch 的训练过程。 某些初始学习率按照基于 128 批大小的 5e-4 衰减率的线性或平方根缩放规则进行缩放。Div 表示训练出现发散。 本文为机器之心编译，转载请联系本公众号获得授权。
76440发布于 2018-08-21 - 来自专栏AIUAI
GPU 显存 - Caffe 内存优化
Caffe - 显存优化 1. 测试了一下, ResNet101 相对于官方 caffe, 能够明显节省显存占用, batchsize 可以增加很多. 显存优化的 Caffe 主要实现的功能: memory multiloading 在深度网络训练和测试时,可以显著地节省内存. 训练时,节省一半内存; 测试时, 使用 95% 的内存. 在训练深度网络时, GPU显存资源是有限的.
2.8K60发布于 2018-05-17 - 来自专栏JNing的专栏
【tensorflow】设置显存开销
问题 一般大家在跑tf时，单个程序往往会占满整块GPU的所有显存。 但是实际上，程序很可能并不需要那么大的显存空间。 改进方案 通过 tf.ConfigProto().gpu_options.allow_growth=True来告诉程序，只需占用实际所需的显存即可： # ---------------- session True sess = tf.Session(config=config) 如果这里把 config.gpu_options.allow_growth设置为False，那么程序就会默认把整块卡的所有显存占满
1.2K10发布于 2020-03-17 - 来自专栏CSDNToQQCode
win11怎么看显存——win11如何看显存
显存查看方法1、 1、快捷键【Ctrl+Shift+ESC】打开【任务管理器】 2、点击左侧的性能 显存查看方法2、 在Windows 11在Windows 11中查看显存的方法如下： 1 在显卡属性窗口中，适配器下，就可以查看显存信息。 显存查看方法3、 此外，还可以使用DirectX诊断工具来查看显存。 在“显示”选项卡中，找到“显存”一项，即可查看显存信息。 以上两种方法都可以帮助您在Windows 11中查看显存信息。如果还有其他问题，欢迎随时提问。 显存对AI的重要意义 显存是显卡中存储图像数据的关键组成部分，对AI具有重要意义，主要体现在： 显存决定了计算机在处理图像时能够存储和操作的数据量大小。 在AI绘图中，需要频繁读写显存中的数据，因此高带宽的显存对于实时绘图和复杂计算非常重要。 因此，显存对于AI应用来说是非常重要的，尤其是在需要大量处理和操作图像数据的场合。
17.7K11编辑于 2023-11-29 - 来自专栏容器计算
tf_cnn_benchmark 显存问题
1 Overview 在测试 vGPU 的功能的时候，给容器分配了半张 GPU 卡，然后想用 Tensorflow Benchmark 测试一下，却发现半张 V100 32GB 显存从一开始就被占满了， 关于如何限制 GPU 显存的使用量，可以参考官方的记录。为了能正常使用办张卡，也就是 16 GB 的显存，我希望可以注入一个 Config 类似如下。 per_process_gpu_memory_fraction=0.5) sess = tf.Session(config=tf.ConfigProto(gpu_options=gpu_options)) 这样我的程序就只会用到半张卡的显存 xla=True --gpu_memory_frac_for_testing=0.5 3 Summary per_process_gpu_memory_fraction 参数可以设置 GPU 内进程使用显存最大的比例
1.4K20发布于 2020-08-05 - 来自专栏IT杂症
v470修改显存大小
准备工作备份 /System/Library/Extensions/AppleIntelSNBGraphicsFB.kext/
81110发布于 2021-11-08 - 来自专栏深度学习和计算机视觉
深度学习中GPU和显存分析
一般是 8，16，32，64，128，表示该类型所占据的比特数目 常用的数值类型如下图所示： 常用的数值类型 其中Float32 是在深度学习中最常用的数值类型，称为单精度浮点数，每一个单精度浮点数占用4Byte = 参数数目×n n = 4 ：float32 n = 2 : float16 n = 8 : double64 在PyTorch中，当你执行完model=MyGreatModel().cuda()之后就会占用相应的显存 1.2.2 梯度与动量的显存占用 举例来说， 优化器如果是SGD： 这时候还需要保存动量， 因此显存x3 如果是Adam优化器，动量占用的显存更多，显存x4 总结一下，模型中与输入无关的显存占用包括： （因为不需要执行优化） 深度学习中神经网络的显存占用，我们可以得到如下公式： 显存占用 = 模型显存占用 + batch_size × 每个样本的显存占用 可以看出显存不是和batch-size简单的成正比 节省显存一般有如下方法： 降低batch-size 下采样(NCHW -> (1/4)*NCHW) 减少全连接层（一般只留最后一层分类用的全连接层） 2 计算量分析 计算量的定义，之前已经讲过了，计算量越大
85310编辑于 2025-03-24 - 来自专栏CSDNToQQCode
CodeFormer的二次封装使用-针对人脸处理(需要有显卡最低4G显存)
CodeFormer是一种基于AI技术深度学习的人脸复原模型，由南洋理工大学和商汤科技联合研究中心联合开发。该模型通过结合了VQGAN和Transformer等技术，可以通过提供模糊或马赛克图像来生成清晰的原始图像。它的主要功能有：
70410编辑于 2024-02-29 40G光模块介绍及常见问题探讨
40G多模光模块采用OM3多模光纤传输距离可达300M，采用OM4多模光纤传输距离可达400M。 高性能计算：在科研机构和高性能计算中心，40G光模块能够满足高速数据交换。4. 电信运营商：40G光模块在电信运营商的核心网络用于互联网接入和大容量数据传输。 40G光模块性能特点40G光模块传输速率40G，能够满足部分数据中心对高带宽的要求，其次40G光模块最远传输距离40km，在城域骨干网络应用中，相对于4个10G系统，能够节省机房面积、减少设备堆叠以及提高单节点设备的带宽管理能力和调度能力 40G光模块按模式可分为40G多模光模块和40G单模光模块。40G单模光模块用在在长距离传输中需要搭配单模光纤使用。40G多模光模块用于短距离传输，需要搭配多模光纤。 40G光模块传输距离40G多模光模块采用OM3多模光纤传输距离可达300M，采用OM4多模光纤传输距离可达400M。40G单模光模块最大传输距离可达40KM。
63310编辑于 2024-11-25- 来自专栏DeepHub IMBA
如何估算transformer模型的显存大小
dim) + square_of(n_head * dim) + square_of(n_head * dim) + square_of(n_head * dim) = 4* 所以最后内存就变为： memory_modal = 4*n_tr_blocks*square_of(n_head * dim) 上面的估算没有考虑到偏差所需的内存，因为这大部分是静态的，不依赖于批大小 * R * N^2 * D^2 memory activations = RBNS(S + 2D) 所以在训练模型时总的内存占用为： M = (4 * R * N^2 * D^2) + RBNS (S + 2D) 因为内存的占用和序列长度又很大的关系，如果有一个很长的序列长度S >> D S + 2D <——> S，这时可以将计算变为： M = (4 * R * N^2 * D^2) + RBNS (S) = 4*R*N^2*D^2 + RBNS^2 可以看到对于较大的序列，M与输入序列长度的平方成正比，与批大小成线性比例，这也就证明了序列长度和内存占用有很大的关系。
2.3K30编辑于 2022-11-11 - 来自专栏彭旭锐
至少要几个砝码，可以称出 1g ~ 40g 重量
---- 系列文章： 我知道你不知道，我到底知不知道[2] 至少要几个砝码，可以称出 1g ~ 40g 重量[3] 舞会上有多少顶黑帽？[4] 25 匹马 5 条赛道，最快需要几轮求出前 3 名？ 问题描述 给定一台天平，至少要几个砝码，可以称出 1g ~ 40g 这 40 个重量？ 这个问题等同于 “德·梅齐利亚克砝码”问题：一位商人有一个 40 磅的砝码，由于跌落在地而碎成4 块。 后来，称得每块碎片的重量都是整磅数，而且可以用这 4 块来称从 1 ~ 40 磅之间的任意整数磅的重物。（引用自法国数学家 G.B.德·梅齐里亚克）问这 4 块砝码碎片各重多少？ AndroidFamily [2] 我知道你不知道，我到底知不知道: https://juejin.cn/post/6902829580013436942 [3] 至少要几个砝码，可以称出 1g ~ 40g 重量: https://juejin.cn/post/6903460612886495245 [4] 舞会上有多少顶黑帽？
66910编辑于 2022-12-22
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号