- 综合排序
- 最热优先
- 最新优先
动态剪枝提升大语言模型效率
动态剪枝网络节点以提升大语言模型效率基础模型，如大语言模型和视觉语言模型，正变得越来越流行，但其能源效率低下和计算成本高昂仍然是广泛部署的障碍。 例如，基于几个德语单词的发音，模型可能会预测上下文是“德语音频”，其可能性超过了门阈值。该预测会打开一部分合适的路径，同时关闭其他路径。先前的剪枝方法侧重于对模型层和卷积核进行细粒度剪枝。 然而，层剪枝可能会损害模型的结构完整性，而细粒度的核剪枝可能会抑制模型适应不同输入的能力。模块级剪枝使我们能够在结构灵活性和解释不同上下文的能力之间取得平衡。 该模型被训练在运行时动态剪枝不相关的模块，这鼓励每个模块专门处理不同的任务。在实验中，我们的模型表现出与传统模型相当的性能，但使用的GPU数量减少了30%，从而降低了成本并提高了速度。 例如，如果我们要求模型将德语语音转录为文本，则只有用于德语和语音的模块会被激活。这项工作专注于处理语音任务的基础模型。
10810编辑于 2026-01-29- 来自专栏算法之名
模型剪枝
模型剪枝就是删除小于一定阈值的连接或神经元节点得到更加稀疏的网络。 在这个过程中很有可能因为连接剪枝是一个非常不规则的操作，我们实现的时候通常会维护一个维度相等的矩阵，称为掩膜(mask)矩阵。 剪枝的不同力度，从单个神经元和连接到整个网络层 模型剪枝的力度可以是权重、神经元到整个网络层。 但是这两种方法只是在训练的时候使用，在测试的时候是不会对模型产生影响的，所以它们终究还不是应用于模型剪枝的方法。 权重的冗余性 我们之所以能够对模型进行剪枝，本质上还是网络中的一些参数是冗余的，我们删除一些并不会对网络造成很大的影响，所以才可以去剪枝。 ====] - 3s 4ms/step - loss: 0.0705 - accuracy: 0.9800 - val_loss: 0.0706 - val_accuracy: 0.9766 对比基准模型和剪枝模型
1.2K30编辑于 2022-05-06 动态剪枝网络节点提升大模型效率
动态剪枝网络节点以提升大模型效率受大脑中专门化处理区域启发的语言模型，可显著节省时间和成本。 作者：Jing Liu, Grant Strimel2025年7月21日阅读时长：3分钟基础模型（FMs），如大型语言模型和视觉语言模型，正日益普及，但其能源效率低下和计算成本高昂的问题仍然是更广泛部署的障碍 例如，基于几个德语单词，模型可能会以超过门控阈值的可能性预测上下文为“德语音频”。该预测会打开一组适当的通路，同时关闭其他通路。先前的剪枝方法主要集中在模型层和卷积核的细粒度剪枝上。 然而，层剪枝会损害模型的结构完整性，而细粒度核剪枝会抑制模型适应不同类型输入的能力。模块级剪枝使我们能够在结构灵活性和解释不同上下文的能力之间取得平衡。 该模型经过训练，可在运行时动态剪枝无关模块，从而鼓励每个模块专注于不同的任务。在实验中，我们的模型表现出与传统模型相当的性能，但使用的GPU减少了30%，从而降低了成本并提高了速度。
9700编辑于 2026-03-20- 来自专栏PyVision
TensorFlow 模型剪枝
如何通过剪枝使模型更小，含代码示例及详细解释。 我们了解到，剪枝是一种模型优化技术，包括去掉权重张量中不必要的值。这使模型更小且精度和基线模型非常接近。 在本文中，我们将通过一个示例来应用剪枝，并查看对最终模型大小和预测误差的影响。 之后，我们将它与全局剪枝后的模型比较，然后与只剪稠密层的模型比较。 ，我们注意到它略高于未剪枝模型。 比较从不同剪枝参数得到的 MSE 是有意义的，这样你可以保证模型性能不会更差。 ---- 比较模型大小 现在让我们比较有剪枝和没有剪枝的模型的大小。我们开始训练并保存模型的权重以便以后使用。
1.4K20发布于 2020-09-03 - 来自专栏代码工具
模型剪枝-学习笔记
将这些神经元去除后可以表现出同样的模型表达能力，这种情况被称为过参数化，而对应的技术则被称为模型剪枝。 [过参数化1.png][过参数化2.png]上面两个图分别展示了经典的MobileNet和InceptionV3在参数稀疏化后依然可以保持不错的性能, 所以模型剪枝是非常必要的. 它能帮助我们获得一个更简单,更高效的模型. 从而减小模型对于计算空间和时间的消耗。二. 模型剪枝的分类 根据粒度的不同，至少可以粗分为4个粒度。 模型剪枝的步骤模型剪枝的步骤如下：[image.png]第一步：训练一个基准模型。第二步：去掉一些不重要的连接，得到剪枝后的网络。 第三步：对剪枝后网络进行微调以恢复损失的性能，然后继续进行第二步，依次交替，直到满足终止条件，比如精度下降在一定范围内。2个核心的问题: 一是如何评估一个连接的重要性?
3.8K10编辑于 2022-06-30 - 来自专栏AI系统
【AI系统】模型剪枝
剪枝不仅可以减少模型的存储和计算需求，还能在保持模型性能的同时提高模型的泛化能力。 剪枝定义模型剪枝也叫模型稀疏化，不同于模型量化通过减少表示权重参数所需的比特数来压缩模型，它直接删除模型中 “不重要” 的权重，从而学习到一个参数更加稀疏化的神经网络，同时要尽可能的保持模型精度，下图展示了两种方法的区别 前三种剪枝流程在模型实际部署推理之前，模型剪枝就已经完成且模型参数结构已确定，对不同的输入共享相同的模型结构和推理过程。 微调和重训练的过程可以帮助模型重新学习被剪枝的参数，并调整模型的参数以适应新的剪枝后结构。 如果剪枝结果未达到要求，会将微调之后的网络模型再送到剪枝模块中再次进行剪枝。如此不断迭代地进行模型剪枝优化，直到模型能够满足剪枝目标要求。
99210编辑于 2024-12-05 - 来自专栏Python进阶之路
Shortened LLaMA：针对大语言模型的简单深度剪枝法
该方法旨在降低 LLMs 的计算需求，同时保持或提高模型的推理效率和任务性能。论文首先对类 Transformer 大语言模型的网络宽度和深度剪枝技术进行了详尽的对比分析。 论文的主要贡献在于提出了一种结构化剪枝方法，特别是针对深度剪枝，以压缩大语言模型。作者通过展示该方法在减小模型规模、提升推理速度以及在内存受限情况下维持出色的零样本任务性能，突显了其优势。 论文的研究结果显示，深度剪枝是一种有效的大语言模型压缩技术，尤其在资源受限的环境下表现突出。这对于推动大语言模型在边缘计算和移动设备上的实际应用具有深远意义。 论文的实验设置是否充分？ 经过充分的实验证据支持，论文的结论合理地指出了深度剪枝方法在提升大语言模型推理效率方面的潜力和优势。 论文的后续研究方向是什么？ 提出大语言模型专用剪枝方法 Shortened LLaMA Kim, B. K., Kim, G., Kim, T.
59800编辑于 2024-05-25 - 来自专栏自然语言处理(NLP)论文速递
加速2-3倍，哈工大｜提出多模态大模型自适应剪枝算法：SmartTrim
基于 Transformer 结构的视觉语言大模型（VLM）在各种下游的视觉语言任务上取得了巨大成功，但由于其较长的输入序列和较多的参数，导致其相应的计算开销地提升，阻碍了在实际环境中进一步部署。 我们有了以下发现：（1）无论是哪种模态的 token 或者 head，层内相似性始终很高，说明模型是存在显着冗余。（2）Token 的冗余度随着深度而逐渐增加。 通过对齐剪枝后的小模型和全容量模型之间输出，使得剪枝模型的输出与全容量模型更为一致，进一步提高小模型的能力。 2-3 倍，同时性能下降最小。 论文提出的方法未来将结合到度小满轩辕大模型中，大模型项目地址：https://github.com/Duxiaoman-DI/XuanYuan，欢迎大家访问！
1.1K10编辑于 2024-03-25 - 来自专栏Piper蛋窝
模型剪枝，“剪” 掉了什么？
图 2~图 4 展示了每个类别的 ImageNet PIE 样本，每个图下方的标注包括的信息有：（1）参考正确标注，（2）基线未剪枝模型预测标注，（3）最常用的 ResNet-50 剪枝模型预测标注。 每张图片的标注结果如下： （1）参考正确标注: 浴缸，未剪枝模型预测标注: 浴缸，剪枝模型预测标注: 黄瓜 （2）参考正确标注: 马桶座圈，未剪枝模型预测标注: 马桶座圈，剪枝模型预测标注: 折椅 （3 : 咖啡机，剪枝模型预测标注: 咖啡壶 （2）参考正确标注: 铁甲，未剪枝模型预测标注: 护胸甲，剪枝模型预测标注: 铁甲 （3）参考正确标注: 摇篮，未剪枝模型预测标注: 摇篮车，剪枝模型预测标注: : 浴巾，剪枝模型预测标注: 大白鲨 （2）参考正确标注: 菜花，未剪枝模型预测标注:菜花，剪枝模型预测标注: 洋蓟 （3）参考正确标注: 草帽，未剪枝模型预测标注: 牛仔帽，剪枝模型预测标注: 面团 每个图的标注分为：（1）参考正确标注，（2）未剪枝基线模型预测标注，（3）最常用的 ResNet-50 剪枝模型预测标注。
1.1K10发布于 2020-12-15 大语言模型剪枝新路径：轻剪常尝优化法
大语言模型剪枝的优化路径近年来，大语言模型（LLM）彻底改变了自然语言处理领域，并对计算机视觉、语音识别和机器翻译做出重大贡献。 LLM有效性的关键因素之一在于其训练所使用的超大规模数据集，但代价是模型体积过大，导致运行速度变慢和计算资源消耗增加。人工智能研究者们正积极寻求在保持性能的同时使大模型更紧凑的方法。 每个块足够小（约2亿参数），可轻松由单GPU扫描。在块级别进行剪枝节省资源，不会消耗大量GPU内存。虽然所有剪枝过程最初都会降低性能，但新方法能恢复性能。 每次扫描块时，都会平衡剪枝与性能直至优化完成，然后继续处理下一个块。这既保持了块级性能，也保证了整体模型质量。 技术优势与应用前景在解码块级别进行剪枝是“轻柔”的，因为剪枝影响局部化，对模型整体行为影响较小。逐块重复剪枝过程如同厨师“常尝”调味以确保风味平衡。该理念还有助于解决大公司LLM开发的痛点。
32310编辑于 2025-08-25- 来自专栏全栈程序员必看
弹性网络回归模型_数据模型剪枝
导语：模型剪枝算法核心在于找到“不重要”的参数并且实现裁剪。为寻找到较优的剪枝策略，我们往往需要尝试多种剪枝策略和剪枝策略性能评估。 通常剪枝策略评估方法是将剪枝后的模型训练到收敛或者训练规定好数量epoch后进行性能比较。不管是人工调试剪枝策略还是自动搜索剪枝策略，都需要多次评估剪枝策略。 因此，EagleEye提出一种快速并且准确衡量子网络性能的方法，加快剪枝的过程。 EagleEye 动机 传统模型剪枝的三步流程是：模型预训练、模型剪枝和finetuning。 因为剪枝后模型精度下降比较明显，finetuning能够有效提升剪枝后模型精度。 EagleEye论文中，对这一现象提出了两个问题： 裁剪的权重通常被认为是“不重要”的权重，为什么模型精度还会有如此大的下降？
69210编辑于 2022-09-22 - 来自专栏自然语言处理(NLP)论文速递
为 Llama2 剪「驼毛」，清华 & 普林斯顿 | 提出最新大模型剪枝法：LLM-Shearing
给 Llama 2（羊驼）大模型剪一剪驼毛，会有怎样的效果呢？今天普林斯顿大学陈丹琦团队提出了一种名为 LLM-Shearing 的大模型剪枝法，可以用很小的计算量和成本实现优于同等规模模型的性能。 最终，研究者将 LLaMA2-7B 模型剪枝成了两个较小的 LLM，分别是 Sheared-LLaMA-1.3B 和 Sheared-LLaMA-2.7B，证实了其方法的有效性。 方法介绍 给定一个现有的大模型 M_S（源模型），本文目标是研究如何有效地生成一个更小、更强的模型 M_T（目标模型）。 下图 2 说明了剪枝掩码如何控制被剪枝的结构。 剪枝之后，本文通过保留与每个子结构中的掩码变量相关的最高得分组件来最终确定剪枝后的架构，并继续使用语言建模目标对剪枝后的模型进行预训练。 算法如下： 实验及结果 模型配置：本文将 LLaMA2-7B 模型作为源模型，然后进行结构化剪枝实验，他们将 LLaMA2-7B 压缩成两个较小的目标尺寸 2.7 B 和 1.3B 参数，并将剪之后的模型与相同尺寸的模型进行了性能比较
1.1K30编辑于 2023-10-19 - 来自专栏大模型应用
大模型应用：大模型瘦身：量化、蒸馏、剪枝的基础原理与应用场景深度解析.56
量化后推理速度可提升 2-4 倍，能将延迟从数百毫秒降至百毫秒内，保障用户体验。预算有限场景：中小公司、个人开发者无高端 GPU 资源，需用普通硬件跑大模型。 模型蒸馏2.1 核心定义 蒸馏是一种知识迁移技术，通过高精度大模型“老师模型”指导轻量化小模型“学生模型”训练，让小模型学习大模型的隐性知识，最终实现“小模型精度接近大模型，速度和显存远超大模型 模型冗余度高的场景：大模型训练时为避免过拟合，通常设计冗余结构（如多层卷积、多注意力头），剪枝可移除这些冗余结构，让模型更紧凑。 学生模型通过模仿教师的输出分布或深层语义表示，获得接近大模型的能力。模型剪枝（以结构化剪枝、30% 比例为例） 直接移除模型中冗余的部分。 如果对精度要求特别高，比如医疗、金融场景，就选蒸馏，虽然要用到大模型当“老师”，耗时也久一点，但小模型能学到大模型的精髓，精度损失控制在2%以内，速度还能提3倍。
55253编辑于 2026-03-25 - 来自专栏博文视点Broadview
模型压缩：量化、剪枝和蒸馏
以 为例分析3 个超参数，其中L 为12，H 为768，A 为12，模型各层所占存储空间和算力，如图2所示。 （2）层剪枝：BERT 是由多层Transformer Block 堆叠而成的，层数越多，模型所需的存储空间越大，推理时间也越长。 （2）学生模型训练：学生模型一般为参数量很小，结构相对简单的模型，简称为Model-S，其训练过程以学习Model-T 为主，而不是学习数据的真实标签。 图4 Distilled BiLSTM 的模型结构 图5 Distilled BiLSTM 的模型结构2 由于BERT 和LSTM 的模型结构差异太大，只能通过基于输出概率蒸馏的方法进行知识传递，具体公式如下 （2）用ReLU 激活函数代替GeLU 激活函数，简化激活函数换取推理加速。
2.5K20编辑于 2023-05-06 - 来自专栏人工智能
大模型压缩与效率优化：量化、剪枝与蒸馏的协同策略
大模型压缩与效率优化：量化、剪枝与蒸馏的协同策略引言：大模型部署的效率困境当前，GPT-4、LLaMA等百亿甚至万亿参数大模型在各类任务上展现出卓越性能，但巨大的计算开销和内存占用严重限制了其实际部署。 理论基础：三大压缩技术的互补性分析1. 量化的数值效率优化量化通过降低权重和激活值的数值精度来减少存储和计算开销，但可能引入量化误差和精度损失。2. 剪枝的结构稀疏性优化剪枝通过移除冗余参数或结构来简化模型架构，但可能破坏模型的连通性和表达能力。3. 蒸馏的知识传递优化蒸馏通过将大模型知识迁移到小模型来保持性能，但受限于教师模型的表达能力和学生模型的容量。 协同策略的核心优势互补性优化：量化减少数值精度开销，剪枝减少结构冗余，蒸馏保持知识完整性协同增益：组合策略的效果优于单一策略的简单叠加自适应能力：可根据硬件约束和精度要求动态调整压缩策略2.
50710编辑于 2025-12-13 - 来自专栏软件研发
讲解YOLOv5模型剪枝压缩
YOLOv5模型剪枝压缩方法在进行YOLOv5模型剪枝压缩时，可以采用以下几种常用的方法：1. 通道剪枝通道剪枝是指通过剪枝模型中的冗余通道来减少模型的参数和计算量。 对于YOLOv5模型而言，可以通过计算每个卷积层中通道的重要性，并剪枝掉一些不重要的通道，从而降低模型的复杂度。常用的通道剪枝方法有L1正则化、结构化剪枝、一阶导数剪枝等。2. # 计算各通道的L1范数，并按重要性降序排序 importance = paddle.to_tensor(weight).norm(p=1, axis=(1, 2, 3)) module.weight.set_value(module.weight * paddle.unsqueeze(mask, [1, 2, 3]))# 保存剪枝后的模型paddle.save 然而，对于非常小或非常大的目标，YOLOv5可能会出现检测性能下降的情况，这是因为模型的感受野有限，难以捕捉到不同尺度目标的细节信息。
1.3K11编辑于 2023-12-08 - 来自专栏机器之心
COLING24｜自适应剪枝让多模态大模型加速2-3倍，哈工大等推出SmartTrim
我们有了以下发现：（1）无论是哪种模态的 token 或者 head，层内相似性始终很高，说明模型是存在显着冗余。（2）Token 的冗余度随着深度而逐渐增加。 通过对齐剪枝后的小模型和全容量模型之间输出，使得剪枝模型的输出与全容量模型更为一致，进一步提高小模型的能力。 2-3 倍，同时性能下降最小。 不同 VLM 加速方法在 NLVR2 上的效率与性能权衡的帕累托前沿。 论文提出的方法未来将结合到度小满轩辕大模型中，大模型项目地址：https://github.com/Duxiaoman-DI/XuanYuan，欢迎大家访问！
49010编辑于 2024-03-18 - 来自专栏人工智能前沿讲习
模型加速与压缩 | 剪枝乱炖
剪枝是模型压缩的一个子领域，依据剪枝粒度可以分为非结构化/结构化剪枝，依据实现方法可以大致分为基于度量标准/基于重建误差/基于稀疏训练的剪枝，并且逐渐有向AutoML发展的趋势。 在神经网络中可以用于度量的值主要分为3大块：Weight / Activation / Gradient。各种神奇的组合就产出了各种metric玩法。 剪枝之外 提升精度： 利用剪枝的方式来提升模型精度，比如DSD: Dense-Sparse-Dense Training for Deep Neural Networks(ICLR2017)利用非结构化剪枝 总结 一脉梳理下来感觉做纯的剪枝感觉很难了，对比人工设计的结构和准则，NAS出来的模型可以又小巧精度又高，剪枝也逐渐受其影响快、准、狠地寻找结构。 Reference 1、闲话模型压缩之网络剪枝（Network Pruning）篇 https://blog.csdn.net/jinzhuojun/article/details/100621397
2.4K30发布于 2020-06-05 - 来自专栏深度学习自然语言处理
剪枝乱炖 | 模型加速与压缩
---- 作者：Colorjam https://zhuanlan.zhihu.com/p/97198052 剪枝是模型压缩的一个子领域，依据剪枝粒度可以分为非结构化/结构化剪枝，依据实现方法可以大致分为基于度量标准 剪枝之外 提升精度： 利用剪枝的方式来提升模型精度，比如DSD: Dense-Sparse-Dense Training for Deep Neural Networks(ICLR2017)利用非结构化剪枝 总结 一脉梳理下来感觉做纯的剪枝感觉很难了，对比人工设计的结构和准则，NAS出来的模型可以又小巧精度又高，剪枝也逐渐受其影响快、准、狠地寻找结构。 Reference 闲话模型压缩之网络剪枝（Network Pruning）篇 技术文章配图指南 下载一：中文版！学习TensorFlow、PyTorch、机器学习、深度学习和数据结构五件套！ 后台回复【五件套】 下载二：南大模式识别PPT 后台回复【南大模式识别】 ---- 投稿或交流学习，备注：昵称-学校（公司）-方向，进入DL&NLP交流群。
1.2K20编辑于 2022-03-04 - 来自专栏DeepHub IMBA
DecEx-RAG：过程监督+智能剪枝，让大模型检索推理快6倍
图1：DecEx-RAG 框架示意图，展示搜索树的扩展与剪枝过程 决策阶段解决两个问题：该停还是该继续？如果继续的话用内部知识还是去检索外部信息？每一步模型都要做出终止决策 σₜ 和检索决策 δₜ。 而剪枝策略是 DecEx-RAG 的一大亮点：搜索树扩展太快会导致计算量爆炸所以需要动态剪枝，每一层做多次 rollout 模拟不同决策，把结果汇总成中间奖励；超过一半样本认为该停就停；如果内部知识生成的答案分数够高 图2：三种扩展方法对比。k 为每个决策的执行分支数，n 为 rollout 次数，l 为层深。 理论上这种剪枝把复杂度从指数级拉到了线性级。 第二步是直接偏好优化（DPO）：剪枝前模型会生成多组候选决策和执行结果，把这些配对保存下来用于偏好训练，让模型学会区分好的和不够好的选择。 知识库是 2018 年的维基百科转储，训练数据从 HotpotQA 抽了 2,000 条，WikiMultiHopQA 抽了 1,000 条。
15310编辑于 2026-01-12
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号