- 综合排序
- 最热优先
- 最新优先
- 来自专栏机器学习AI算法工程
模型压缩
但，复杂模型的同时，带来了高额的存储空间、计算资源消耗，使其很难落实到各个硬件平台。 为了解决这些问题，压缩模型以最大限度地减小模型对于计算空间和时间的消耗。 三、目前方法 从数据，模型和硬件多维度的层面来分析，压缩和加速模型的方法 1、压缩已有的网络，包含：张量分解，模型剪枝，模型量化；（针对既有模型） 1.1、张量分解 定义：将网络权值当满秩矩阵， 优点：适合模型压缩 缺点：实现并不容易，涉及计算成本高昂的分解操作，且需要大量的重新训练来达到收敛。 对于二维矩阵运算，SVD是个好方法。 [2016,DETTMERS]8-bit approximations for parallelism in deep learning：开发并测试8bit近似算法，将32bit的梯度和激活值压缩到8bit with 50x fewer parameters and <0.5MB model size 将3x3卷积核替换为1x1卷积核（1个1x1卷积核的参数是3x3卷积核参数的1/9，这一改动理论上可以将模型尺寸压缩
1.5K20发布于 2021-09-02 - 来自专栏爱可生开源社区
第11期：压缩表
{MYD,MYI} 3539537 116M -rw-r----- 1 mysql mysql 116M 3月 31 11:46 n1.MYD 3539536 1.4M -rw-r----- 1 mysql mysql 1.4M 3月 31 11:48 n1.MYI 对 MyISAM 表的压缩，MySQL 通过自带程序 myisampack 来压缩，仅仅压缩表数据，不对索引进行压缩。 {MYD,MYI} 3539542 31M -rw-r----- 1 mysql mysql 31M 3月 31 11:46 n1.MYD 3539536 1.4M -rw-r----- 1 mysql mysql 1.4M 3月 31 11:48 n1.MYI MyISAM 压缩表非常适合只读的场景！ 压缩率大约为 50% root@ytt-pc:/var/lib/mysql/3304/ytt# ls -sihl 总用量 11M 3539513 11M -rw-r----- 1 mysql mysql
72320发布于 2020-08-21 - 来自专栏计算机技术-参与活动
模型压缩技术
同时，文章还讨论了数据传输中的安全性问题，提出了不依赖加密算法的数据传输安全方案目录模型压缩技术权重剪枝：量化技术：知识蒸馏：低秩分解：一、权重剪枝二、量化技术三、知识蒸馏四、低秩分解模型压缩技术权重剪枝 知识蒸馏：描述：通过从大模型（教师模型）中提取知识并传递给小模型（学生模型），以实现模型压缩和性能提升。 举例说明：假设我们有一个复杂且准确的大模型（教师模型），但我们希望将其压缩为一个更简单、更轻量的小模型（学生模型）。 举例说明：假设我们有一个复杂且准确的大模型作为教师模型，但我们希望将其压缩为一个更简单、更轻量的小模型作为学生模型。通过知识蒸馏技术，我们可以让教师模型对学生模型进行“教学”。 权重剪枝、量化技术、知识蒸馏和低秩分解都是现今流行的模型压缩技术。它们通过不同的方式来实现模型的压缩和加速，从而满足实际应用中的需求。
44121编辑于 2024-12-03 - 来自专栏悠扬前奏的博客
Kafka-11.设计-日志压缩
日志压缩可以保证Kafka总是最少保留单个主题分区的数据日志中的每个消息的key的最后的已知值。 让我们更详细的介绍这些情况，然后描述是如何压缩的： 到目前为止，我们仅描述了简单一些的数据保留方法，其中旧的日志数据在固定时间段或者当日志达到某个预定大小时被丢弃。
74340发布于 2019-06-19 - 来自专栏喔家ArchiSelf
初探大模型压缩
模型压缩 模型压缩的目的是在不牺牲性能的情况下减少机器学习模型的大小。这适用于大型神经网络，因为它们常常过度参数化(即由冗余的计算单元组成)。 模型压缩的主要好处是降低推理成本，这意味着大模型(即在本地笔记本电脑上运行 LLM)的更广泛使用，人工智能与消费产品的低成本集成，以及支持用户隐私和安全的设备上推理。 模型压缩技术的范围很广，主要有3大类： 量化ーー用较低精度的数据类型表示模型 修剪ーー从模型中删除不必要的组件 知识蒸馏ーー用大模型训练小模型 这些方法是相互独立的。 实验：用知识蒸馏 + 量化压缩文本分类器 作为一个实验，我们将压缩一个100M 参数模型，该模型将 URL 分类为安全还是不安全(即是否是钓鱼网站)。 首先利用知识精馏将100M 参数模型压缩为50M 参数模型。然后，使用4位量化，进一步减少了3倍的内存占用，导致最终的模型是原始模型的1/8。 5.1 环境构建 我们首先导入一些需要使用的库。
63511编辑于 2024-11-07 - 来自专栏机器之心
模型压缩到70%，还能保持100%准确率，无损压缩框架DFloat11来了
与将未压缩模型部分卸载到 CPU 以应对内存限制的潜在方案相比，DFloat11 在 token 生成吞吐量上实现了 1.9–38.8 倍的提升。 在固定 GPU 内存预算下，DFloat11 支持的上下文长度是未压缩模型的 5.3–13.17 倍。 实验 研究人员评估了 DF11 压缩方法在 GPU 上的有效性及推理效率，将多个主流大语言模型（包括 LLaMA、Qwen、Gemma 等）从 BFloat16 压缩为 DF11 格式，并报告其压缩比和性能表现 实验结果 DF11 压缩比：DF11 将大语言模型压缩至原始大小的约 70%（等效位宽为 11 位）。 表 2 展示了 DF11 在 LLaMA、Qwen、Gemma 等模型上的压缩效果。 所有模型的线性投影层参数均被压缩为 DF11 格式，压缩比稳定在 70%。
43210编辑于 2025-04-30 - 来自专栏JNing的专栏
深度学习: 模型压缩
Introduction 预训练后的深度神经网络模型往往存在着严重的 过参数化 问题，其中只有约5%的参数子集是真正有用的。为此，对模型进行 时间 和 空间 上的压缩，便谓之曰“模型压缩” 。 模型压缩技术包括 前端压缩 和 后端压缩 这两部分。 对比 前端压缩 后端压缩 实现难度 较简单 较难 可逆否 可逆 不可逆 成熟运用 剪枝 低秩近似、参数量化 待发展运用 知识蒸馏 二值网络 前端压缩 不会改变原始网络结构的压缩技术。 1. 后端压缩 会大程度上改变原始网络结构的压缩技术，且不可逆。 1. 低秩近似 使用结构化矩阵来进行低秩分解。 优点： 该方法在中小型网络模型上效果不错。 缺点： 在大型网络模型上玩不转。 2. ---- [1] 解析卷积神经网络—深度学习实践手册 [2] 深度压缩之蒸馏模型
2K40发布于 2018-09-27 - 来自专栏CreateAMind
生成模型压缩图片
https://arxiv.org/abs/1703.01467 传统的图像和视频压缩算法要依赖手动调整的编码器／解码器对（多媒体数字信号编解码器，codec)，缺乏适应性，对被压缩的数据也不可知。 在这篇论文中，我们描述了生成式压缩的概念，也就是数据的压缩使用生成式模型。我们也表明这是一个值得追随的方向，可在图像和视频数据上取得更准确的、视觉上更享受的高压缩重建。 我们也证明，相比于传统的变长度编码方案，生成式压缩在比特误码率上有更大的复原力（例如，从有噪声的无线通信频道）。
59620发布于 2018-07-24 - 来自专栏奇点大数据
深度学习模型压缩SqueezeNet
节选自《白话人工智能与大数据》 在NIN的思路和减小卷积核尺寸的思路驱使下，就有人开始研究新的网络模型，并把它们成功应用于移动设备中了，MobileNet和SqueezeNet就是其中的典型代表。 上面这个图表表示了一个SqueezeNet网络中，在Pruning后的模型尺寸对比。 这7模型分别是原生的AlexNet（作为Baseline）、SVD分解过的AlexNet、做过剪枝的AlexNet、做过Deep Compression的AlexNet（就是咱们在量化那一节讲过的多种方法结合的手段 后面看到的就是压缩比例和准确率的描述了。最下面的这个DeepCompression SqueezeNet比起AlexNet，压缩率达到了1:510，可以说非常高了，仅有0.47MB大小。 毫无疑问，这样小的模型无论是在移动设备上长期使用，还是放到服务器上去执行高频任务都是有着非常好的效果的。它为深度学习在更多领域的应用和更广泛的物理空间去使用提供了可能，也带来了更多的启示与鼓励。
1.4K40发布于 2019-05-14 - 来自专栏贾志刚-OpenCV学堂
使用NNCF(神经网络压缩框架)量化与压缩YOLO11
同时NNCF不光支持CNN系列模型的压缩与量化，还支持大模型（包含LLM与VLM）压缩与量化转换。 训练后压缩量化支持以下算法： 从中可以看出，先把模型转换为OpenVINO的IR格式以后会比直接用ONNX格式模型获取更多压缩算法支持，比如：权重压缩支持。 训练后量化（PTQ）YOLO系列INT8 这里以YOLO11为例，实现自定义YOLO11对象检测模型的训练后量化，通过PTQ在维持精度的同时大幅提升推理速度。 模型权重压缩 OpenVINO、Pytorch格式支持直接读取然后转换为INT8权重压缩格式实现模型量化，从而加速推理性能，权重压缩量化支持对称与非对称模式，支持INT8与INT4模式。 还是以YOLO11为例， 权重压缩INT8对称模式： 权重压缩INT8非对称模式 运行对比 CPU 酷睿i7 11th 直接同步推理模式下： 使用FP32的流水线异步推理 使用INT8量化版本的YOLO11
12110编辑于 2026-04-02 - 来自专栏NewBeeNLP
模型压缩 | 知识蒸馏经典解读
作者 | 小小@字节跳动 整理 | NewBeeNLP 写在前面 知识蒸馏是一种模型压缩方法，是一种基于“教师-学生网络思想”的训练方法，由于其简单，有效，在工业界被广泛应用。 在实验中，效果最好的模型往往规模很大，甚至由多个模型集成得到。 因此，模型压缩（在保证性能的前提下减少模型的参数量）成为了一个重要的问题。而「模型蒸馏」属于模型压缩的一种方法。 知识蒸馏的过程分为2个阶段: 原始模型训练: 训练”Teacher模型”, 简称为Net-T，它的特点是模型相对复杂，也可以由多个分别训练的模型集成而成。 所以可以适当忽略掉一些负标签的信息） 本文参考资料 [1] Distilling the Knowledge in a Neural Network: https://arxiv.org/abs/1503.02531 [2] 深度压缩之蒸馏模型
3.6K20发布于 2020-08-26 - 来自专栏博文视点Broadview
模型压缩：量化、剪枝和蒸馏
本文将介绍针对BERT（以Transformer Block 堆叠而成的深度模型）的压缩方法。 04 蒸馏 量化和剪枝是最常用的模型压缩方法，有成熟的配套工具，但为了保证一定精度，其压缩比一般较小，还不足以让BERT 在移动设备的芯片上运行。 蒸馏已经成为压缩模型的主流方法之一，可以与量化和剪枝叠加使用，达到可观的压缩比。 总体而言，MobileBERT 作为任务无关的BERT 压缩模型，压缩比高达10 倍，配合量化可以达到40 倍，最关键的是其在多数文本理解任务上的性能与 相当。 05 结构无损压缩 除了常见的量化、剪枝和蒸馏，还有一些与模型结构强依赖的压缩方法，这些方法不会更改模型的结构，故归为结构无损的压缩方法。
2.5K20编辑于 2023-05-06 - 来自专栏AI系统
【AI系统】模型压缩基本介绍
模型压缩的目标可以概括为以下几点： 减少模型显存占用：通过压缩模型参数或使用更高效的表示方式，可以显著减少模型所需的存储空间，从而降低模型在部署和执行过程中的存储成本。 模型压缩四件套 模型压缩的目标是降低表示、计算权重和中间激活的成本，这些成本占模型成本的大部分。 此外，模型压缩算法分为低成本和高成本算法，与上述分类标准无关。高成本的压缩算法需要基于大型数据集进行再训练过程。因此，它们可以生成更准确的压缩模型，但需要更多的时间来压缩模型。 模型压缩流程 如下图所示，模型压缩通常处于机器学习模型训练和生产部署之间的阶段。它在模型训练完成后，准备将模型部署到目标环境之前进行。 模型压缩应用场景 模型压缩技术在许多应用场景中都有广泛的应用，特别是在资源受限的环境下或对模型性能要求较高的场景。
37410编辑于 2024-12-05 - 来自专栏有三AI
【BERT】BERT模型压缩技术概览
因此，讨论如何在不过多的损失BERT性能的条件下，对BERT进行模型压缩，是一个非常有现实意义的问题。 本文先介绍模型压缩的概念及常见方法；随后，对目前出现的BERT剪枝的技术做一个整体的介绍。 作者&编辑 | 小Dream哥 1 模型压缩 所谓模型压缩，就是在尽可能不改变模型效果的情况下，减少模型的尺寸，使得模型有更快的推理速度。 ，模型压缩就变成一个必须的事情。 ，这导致几乎没有BERT或者 BERT-Large 模型可直接在GPU及智能手机上应用，因此模型压缩方法对于BERT的未来的应用前景非常有价值。 后续我们分别详细介绍不同类型的BERT模型压缩方法。
1.8K21发布于 2020-08-17 - 来自专栏AI研习社
加速BERT模型：从架构优化、模型压缩到模型蒸馏
这在神经网络中并不陌生，其他领域（例如计算机视觉）以前也有相同的问题，并且已经开发了几种压缩和加速神经网络模型的方法。 当然也可以采用其他优化，例如从学习率和策略、预热步数，较大的批处理大小等； 模型压缩：通常使用量化和修剪来完成，从而能够在架构不变（或者大部分架构不变）的情况下减少计算总量； 模型蒸馏：训练一个较小的模型 量化，可以使用 TensorFlow Lite（用于设备上推断的 TensorFlow 的部分）[11] 来执行。 在这个研究中，作者甚至降低到 2-bit 的超低精度量化，但其性能相比于基线却没有显著下降（仅下降 2.3%），而对应的模型参数压缩率最高可以达 13 倍，嵌入表压缩率和激活的最高都为 4 倍。 该方法能够将 BERT-base 模型压缩 60 倍以上，而下游任务指标只有很小的下降，从而使得语言模型占用的空间只有不到 7MB。 ? ?
3.4K51发布于 2019-11-01 - 来自专栏有三AI
模型压缩和优化板块上线
1 模型优化与压缩 模型优化与压缩涉及到紧凑模型的设计，量化与剪枝以及相关的工业界使用技巧共3个大方向。最近会集中上线一些内容，已有内容欢迎大家预览。 Deep Compression是一个模型量化和压缩框架， 包含剪枝(pruning), 量化(trained quantization)和编码(Huffman coding)三个步骤。 作者/编辑 言有三 Deep Compression综合应用了剪枝、量化、编码三个步骤来进行模型压缩，是2016 ICLR最佳论文。 在不影响精度的前提下，把500M的VGG压缩到了11M，使得深度卷积网络移植到移动设备上成为可能。 在卷积层和全连接层的量化阶数分别为8/5，8/4的配置下，模型性能几乎无损，验证了这是一种非常优异的模型压缩技巧。 [1] Han S, Mao H, Dally W J.
83370发布于 2019-08-26 - 来自专栏计算机视觉战队
预告 | 模型加速压缩——精度无损
今天主要是预先告知大家下一期我们发送的内容，主要是模型压缩！如果你们有想了解或深入熟悉的框架，可以在留言处告诉我们，我们也会第一时间把大家希望的分享出来，我们一起学习讨论，共同进步！ 预告 ? 因此这些方法的性能通常取决于给定的预训练模型。对基本操作和体系结构的改进将使它们走得更远。 虽然Xception、MobileNets、MobileNetV2、MobileNetV3、ShuffleNet和ShuffleNetV2等轻量级模型以很少的FLOPs获得了很好的性能，但是它们特征图之间的相关性和冗余性一直没有得到很好的利用
40510发布于 2020-06-06 - 来自专栏PyVision
我们真的需要模型压缩吗？
模型压缩是边缘设备部署的常用技术。可是为什么要压缩模型呢？模型可压缩说明参数过量，那为什么不从头开始训练一个合适参数量的模型呢？以及我们可以通过使用更聪明的优化方法来直接减少参数吗？请看下面分解。 Gordon 编译：McGL 模型压缩是一种缩小训练好的神经网络的技术。压缩后模型的执行方式通常与原始模型相似，只使用了一小部分计算资源。然而，在很多应用中的瓶颈是训练压缩之前的原来的大型神经网络。 在这篇文章中，我们将探索从头开始训练小模型所遇到的障碍。并讨论为什么模型压缩可行，以及两种高效内存训练方法: 过参数化边界和更好的优化方法，这些方法可以减少或消除事后模型压缩的需要。 我相信这种模式可能会在其它类型的模型压缩中重复出现。 未来方向 我们真的需要模型压缩吗？这篇文章的标题有些挑衅，但这个idea并不是: 通过收紧过度参数化的边界和改进我们的优化方法，我们可以减少或消除事后模型压缩的需要。
1.6K31发布于 2020-11-10 - 来自专栏算法进阶
大模型的模型压缩与有效推理综述
1 介绍 本文对大型语言模型的压缩和效率推理进行了综述。大型语言模型基于Transformer架构，具有强大的性能，但也带来了巨大的内存和计算成本。 本文从算法角度对大型语言模型的压缩和效率推理方法进行了分类，包括量化、剪枝、知识蒸馏、紧凑架构设计和动态网络。 大型语言模型有两个显著特点： （1）大多数压缩算法需要在压缩后对模型进行微调和甚至重新训练，而大型模型的微调和训练成本非常高。因此，许多算法，如量化和剪枝，开始探索免调优算法。 中等规模语言模型中的QAT。QAT是一种在训练过程中引入量化误差的方法，可以在不损失模型性能的情况下实现模型压缩。 权重+激活量化是一种深度学习模型压缩方法，通过将权重和激活值转换为较低精度表示，减少模型大小和计算复杂度。
1.4K10编辑于 2024-07-10 - 来自专栏VBA 学习
VBA解压缩ZIP文件11——存在问题
3、碰上压缩文件中有太大的文件的话，内存申请肯定会有问题，因为程序是把压缩数据、解压后数据直接存储在内存中的。 4、如果压缩文件中有超过2G的，会溢出Long类型，文件读取也会出问题 第2个问题是因为Huffman树的节点使用的是类模块，在内存释放上有点问题，目前没找到原因。
98830发布于 2020-08-04
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号