- 综合排序
- 最热优先
- 最新优先
- 来自专栏大模型成长之路
【大模型学习 | BERT 量化实战（2） 】
BERT 量化实战分析前言：在【大模型学习 | 量化实战（1）】-腾讯云开发者社区-腾讯云中基于BERT实现了情感分析系统以及量化的实现，但是量化的结果导致了模型的精确度急剧下降，从90%降到了54%， 为此，在本章中，尽可能的分析导致量化后模型精度下降的原因上期问题 在量化过程中，发现无法采用export量化，但是 Eager Mode 成功了， Eager Mode 只对线性层进行了量化，而没有对 ）、分布近似 scale过大scale的计算如下所示：scale=\frac{max(w)-min(w)}{255} , 个别层的权重有离群值，会导致scale非常大，严重丢失精度。 ① 权重分布本身就不光滑（有离群值）② 权重量化导致连续输入映射为不连续输出解决✅ 方法1：替换激活函数 GELU → ReLU✅ 方法2：尝试采用 QAT 逐层敏感性分析核心思想：将原模型逐层量化，观察产生精度下降的原因 :.4f}") return results 其他分析方法层级 fallback 到 FP32与敏感性分析相关，该方法是将原模型逐层量化，观察精度下降情况误差传播分析对 float32 模型 和
78710编辑于 2025-06-27 - 来自专栏机器之心
字节开源大模型量化新思路，2-bit量化模型精度齐平fp16
随着深度学习大语言模型的越来越火爆，大语言模型越做越大，使得其推理成本也水涨船高。模型量化，成为一个热门的研究课题。 背景 大模型的迅速发展，使得推理成本越来越高。模型量化，作为一个降低推理成本的技术方案，得到了越来越多的关注与研究。然而，在传统的量化范式下，模型的精度在极低比特下会迅速下降。 我们将一个大模型量化完毕以后，交付给下游引擎同学的时候，只需要知道 (3) 式中的 和 (s,z) 即可。 进一步挖掘 (3) 式中，我们可以将一个大模型的参数，解耦 (decouple) 成整数部分 和浮点部分 (s,z)。 作者尝试使用不同的方法将模型量化为 W2A16g64。
1.2K10编辑于 2024-05-14 - 来自专栏大模型成长之路
【大模型学习 | 量化】pytorch量化基础知识（1）
.支持INT8量化，可以降低4倍的模型大小以及显存需求，加速2-4倍的推理速度通俗理解：降低权重和激活值的精度（FP32→INT8），从而提高模型大小以及显存需求。 notePTQ 是直接对训练后的模型参数进行量化，因此适合于快速部署；QAT是通过插入伪量化节点，在训练过程中模拟量化误差以达到更高的精度，因此需要重新训练。 ⚙️ 区别特性 PTQ（训练后量化） QAT（量化感知训练） 训练阶段仅FP32训练 插入伪量化节点训练反向传播❌ 不支持 ✅ 通过STE支持 精度损失较大（尤其小模型）通常更小 qconfig_mapping 指定的量化位置（如 Conv2d、Linear）处，插入对应的 observer 或 fake_quant 节点。 )m = convert_pt2e(m)
51210编辑于 2025-06-25 - 来自专栏机器学习与统计学
纯离线安装大模型推理引擎，部署量化大模型
大家好，我是 Ai 学习的老章 继续介绍大模型推理引擎+Llama.cpp，前文我写了# 内网部署 llama.cpp，运行量化大模型，详细介绍了 llama.cpp 这个推理引擎，内网离线 cmake 本文我们用个更省事儿的内网离线部署方式——Docker，然后用其部署量化大模型，其中踩坑若干，才有如此精炼、极简教程 1、联网环境拉取 llama.cpp 镜像并保存 选择镜像最好是官方，比如 llama.cpp server-cuda https://github.com/ggml-org/llama.cpp/blob/master/docs/docker.md 市面上有很多个人打包的镜像，大多都是阉割版 费老大劲搞进去，发现大模型无法加载 ggml-org/llama.cpp:server-cuda # 保存镜像到tar文件 docker save ghcr.io/ggml-org/llama.cpp > llama.cpp.tar 2、 5、启动大模型 docker run --rm --runtime nvidia -e TZAsia/Shanghai --gpus "device=2" -v /opt/data/ai/GGUF:/models
1.3K10编辑于 2025-10-11 - 来自专栏大模型成长之路
【大模型学习 | BERT 量化实战（1）】
8-bit量化加载模型 quantized_model = AutoModelForSequenceClassification.from_pretrained( model_name, device_map="auto", # 自动分配到可用设备 load_in_8bit=True, # 启用8-bit量化 ) 比较模型大小 模型大小大幅度降低，降低了近3-4倍； def 加载原始模型 model_name = ". 将模型移到 CPU（Eager 模式量化推荐在 CPU 上执行） model.to('cpu') # 3. （存在bug） 目前的这种量化方式还有bug存在，并且还找不到错误，希望有大哥帮助一下，主要的问题是模型可以成功量化，但是量化后的模型推理时会报错误,而且量化结果的大小也很奇怪：Original BERT
98710编辑于 2025-06-27 - 来自专栏AI工程落地
大语言模型--KV Cache量化论文
，并且再rope之前做量化 2.提出了一种新的非均匀量化方法，再离线校准集上可以得到很好的效果 3.在推理阶段，实现了一个自定义cuda算子做量化 4.前面的token对精度影响更大，第一个token ：佐治亚理工学院、Intel 主要内容： 1.使用均匀量化将kv cache量化低至四比特 2.使用低秩分解方法减少量化误差 3.使用稀疏矩阵来减少异常值造成的误差 WKVQuant: Quantizing 这类特定词元上的离群值会导致LLM将大量的自注意力得分分配到这些词元上 2.先使用全精度模型生成关键词元的无损KV cache并将其缓存下来（i.e., IntactKV），量化模型在推理时就能直接使用无损的关键词元表征 ，从而有效提升量化模型精度。 ，需要对key、value开发单独的量化方法 2.提出基于attention-aware的量化方法 3.对异常值做特殊处理，异常值做高比特量化
1.7K10编辑于 2024-07-18 - 来自专栏Java技术进阶
基于LMDeploy部署大模型和量化
背景 大模型具有庞大的参数量，内存开销大，7B模型仅权重就需要14+G内存，采用自回归生成token，需要缓存Attention 的k/v带来巨大的内存开销；动态shape，请求参数不固定，Token逐个生成 2.1.1 在线转换 lmdeploy 支持直接读取 Huggingface 模型权重，目前共支持三种类型： 在 huggingface.co 上面通过 lmdeploy 量化的模型，如 llama2- 我想直接在自己的 Python 项目中使用大模型功能。推荐使用 TurboMind推理 + Python（2.5）。 我想在自己的其他非 Python 项目中使用大模型功能。 3 模型量化 本部分内容主要介绍如何对模型进行量化。主要包括 KV Cache 量化和模型参数量化。总的来说，量化是一种以参数或计算中间结果精度下降换空间节省（以及同时带来的性能提升）的策略。 3.2.2 量化效果 官方在 NVIDIA GeForce RTX 4090 上测试了 4-bit 的 Llama-2-7B-chat 和 Llama-2-13B-chat 模型的 token 生成速度
2.5K00编辑于 2024-03-01 - 来自专栏人工智能极简应用
【机器学习】QLoRA：基于PEFT亲手量化微调Qwen2大模型
之前陆续写了Qwen1.5、Qwen2.0、GLM-4等国产开源大模型的原理、训练及推理相关的文章，每一篇都拿到了热榜第一，但其中训练部分均基于Llama-factory框架，对于工程师而言，最喜欢的就是刨根问底 今天我们抛开中间框架，深入底层，一步一步带大家微调一个大模型。 二、量化与微调—原理剖析 2.1 为什么要量化微调? —实战演练：以Qwen2为例，亲手微调你的第一个AI大模型 3.1 模型预处理—依赖安装、库包导入、模型下载 from modelscope import snapshot_download model_dir Qwen2-7B-Instruct模型按以上参数训练占用显存约20G。 ，接着以Qwen2-7B为例，基于QLoRA、PEFT一步一步带着大家微调自己的大模型，本文参考全网peft+qlora微调教程，一步一排坑，让大家在网络环境不允许的情况下，也能丝滑的开启大模型微调之旅
3K11编辑于 2024-08-13 - 来自专栏AI SPPECH
54_模型优化：大模型的压缩与量化
深度解析大模型瘦身技术与工程实践 大模型优化技术演进 ├── 早期阶段(2018-2020): 基本剪枝、8位量化，性能损失明显 ├── 发展阶段(2021-2023): 知识蒸馏、结构化剪枝，平衡效率与精度 本文将深入剖析大模型压缩与量化的核心技术、最新进展及工程实践，探讨如何通过创新技术让大模型在保持高性能的同时实现轻量化部署，为企业和开发者提供全面的技术指导。 量化前的模型分析 识别模型中的敏感层和非敏感层 分析各层的激活值分布特点 确定最优的量化策略和参数 2. ：准备静态量化 torch.quantization.convert：转换为量化模型 2. GPTQ - 大模型量化工具 针对大型语言模型的量化方法 支持INT4/INT8精度量化 保持较高的生成质量 与流行的LLM框架兼容 2.
82210编辑于 2025-11-16 - 来自专栏机器学习与统计学
量化大模型，本地部署，效果不打折
大家好，我是 AI 学习的老章 Unsloth 出圈是 DeepSeek-R1 爆火的时候，它发布了最小 1.58 位量化版本的 R1，把 DeepSeek-R1 这个非常大的模型（它有 6710 亿个参数 Unsloth 秘密武器是动态量化，核心思路是：对模型的少数关键层进行高质量的 4-6bit 量化，而对大部分相对没那么关键的混合专家层（MoE）进行大刀阔斧的 1-2bit 量化。 值得注意的是，其他非 Unsloth 的 1-bit 和 2-bit 量化版本要么无法加载，要么产生乱码，这凸显了 Unsloth 动态量化方法的稳定性和有效性。 例如，在 Qwen2-VL-2B-Instruct 案例中，简单将所有层量化为 4 位会导致模型将下图的火车误认为海岸场景： 这种策略尤其对 MoE（Mixture of Experts）模型有效，现已成为 结论 Unsloth 的动态量化技术证明，通过智能的、非均匀的量化策略，我们可以在大幅压缩模型体积的同时，保持甚至超越 SOTA 模型的性能。
53510编辑于 2025-11-29 - 来自专栏机器学习、深度学习
模型量化
convolutional operations TBN 的性能 比 XNOR-Network 要 高 5% 点左右 如果我们只对网络的权重参数进行二值化，那么得到的结果是 内存空间降低32倍，计算速度提升2倍 can directly result in ∼ 32× memory saving over the real-valued counterparts, and meanwhile bring ∼ 2× 下图显示不同量化策略对速度的提升影响 ? 量化卷积过程 ? 加速策略： AND, XOR and bitcount operations 训练过程 ? 分类性能对比 ?
88110发布于 2019-05-26 - 来自专栏GiantPandaCV
AffineQuant: 大语言模型的仿射变换量化
论文信息 2. 引言 本文研究了大型语言模型（LLMs）在移动和边缘设备上的推理加速问题，这一问题在现实应用中具有重要意义。随着大型语言模型在多种任务中展现出卓越的性能，它们吸引了越来越多的关注。 例如，在OPT-125M模型上，稳定性因子为 1 e -2 时的PPL比FP16的PPL高出大约两倍。这一结果表明，在降低计算复杂性的同时保持或提升模型性能需要精心设计稳定性因子。 对于OPT-125M模型，当没有使用逐渐mask时，WikiText2、PTB和C4的PPL分别高达 53.52 、 90.47 和 62.17 ，而使用逐渐mask时这些值分别减少至 32.10 、 在使用逐渐mask的情况下，WikiText2和C4的PPL分别为 9.53 和 14.89 ，而未使用时数据未给出，但可以推测其PPL可能会显著高于使用mask的情况。 维持或提升量化后的模型性能： 如表格所示，即便在较低的位宽（例如4/4位量化）下，AffineQuant方法在多个性能指标上仍然优于或接近全精度模型的表现，显示出较好的量化抗性和模型鲁棒性。
85510编辑于 2024-05-13 - 来自专栏DeepHub IMBA
大语言模型量化方法对比：GPTQ、GGUF、AWQ
虽然它没有任何的压缩和量化，但是这种方法算是一个最简单的加载大模型的方案。 比如Zephyr-7B-β，实际上已经分片了! 4GB的分片 量化 大型语言模型由一堆权重和激活表示。 预量化(GPTQ、AWQ、GGUF) 我们已经探索了分片和量化技术。但是量化是在每次加载模型时进行的，这是非常耗时的操作，有没有办法直接保存量化后的模型，并且在使用时直接加载呢？ 但是如果你的GPU无法处理如此大的模型，那么从GPTQ开始切换到以cpu为中心的方法(如GGUF)是绝对值得的。 2、GPT-Generated Unified Format 尽管GPTQ在压缩方面做得很好，但如果没有运行它的硬件，那么就需要使用其他的方法。
12.9K71编辑于 2023-11-20 - 来自专栏DeepHub IMBA
使用ExLlamaV2量化并运行EXL2模型
与非量化模型相比，该方法使用的VRAM几乎减少了3倍，同时提供了相似的精度水平和更快的生成速度。 ExLlamaV2是一个旨在从GPTQ中挤出更多性能的库。 并且它还引入了一种新的量化格式EXL2，它为如何存储权重带来了很大的灵活性。 在本文中，我们将介绍如何量化EXL2格式的基本模型，以及如何运行它们。 量化EXL2模型 首先需要安装ExLlamaV2库： pip install exllamav2 #为了使用官方的一些脚本，我们还要把官方的代码clone到本地 git clone https:/ 它支持不同级别的量化:它不局限于4位精度，可以处理2、3、4、5、6和8位量化。 它可以在一个模型和每一层中混合不同的精度，以保留最重要的权重和具有更多bit的层。 ExLlamaV2与GPTQ或llama.cpp等其他解决方案相比，可以自定义量化我们的模型。在量化之后，它每秒提供的令牌数量更多（更快）。这对于定制化的需求来说是非常有帮助的。
1.1K10编辑于 2023-11-22 - 来自专栏为了不折腾而去折腾的那些事
CPU 混合推理，非常见大模型量化方案：“二三五六” 位量化
看过前两篇文章《零一万物模型折腾笔记：官方 Yi-34B 模型基础使用》、《本地运行“李开复”的零一万物 34B 大模型》的同学知道，类似 34B 的模型，如果想不怎么量化直接跑起来，大概需要 76～85GB 准备材料 关于模型量化需要准备两个素材，一个是模型，另外一个是量化使用的计算设备。 量化使用的硬件 而量化模型使用的硬件，需要 CPU 计算能力相对强一些的机器，如果你有 GPU，那么将会极大的提升模型量化速度，如果没有也没有关系。 但如果，我们希望制作更多其他的不同的类型的模型，比如 2 位量化～ 6 位量化，那么我非常建议大家使用 convert.py 脚本制作和转换一个 f16 类型的 GGML 模型。 /quantize --help，除了程序的执行命令格式参考外，我们还能够看到量化程序支持的所有类型： Allowed quantization types: 2 or Q4_0 : 3.56G
2.1K20编辑于 2023-12-12 - 来自专栏为了不折腾而去折腾的那些事
CPU 混合推理，非常见大模型量化方案：“二三五六” 位量化
看过前两篇文章《零一万物模型折腾笔记：官方 Yi-34B 模型基础使用[1]》、《本地运行“李开复”的零一万物 34B 大模型[2]》的同学知道，类似 34B 的模型，如果想不怎么量化直接跑起来，大概需要 准备材料 关于模型量化需要准备两个素材，一个是模型，另外一个是量化使用的计算设备。 量化使用的硬件 而量化模型使用的硬件，需要 CPU 计算能力相对强一些的机器，如果你有 GPU，那么将会极大的提升模型量化速度，如果没有也没有关系。 但如果，我们希望制作更多其他的不同的类型的模型，比如 2 位量化～ 6 位量化，那么我非常建议大家使用 convert.py 脚本制作和转换一个 f16 类型的 GGML 模型。 -34b.html [2] 本地运行“李开复”的零一万物 34B 大模型: https://soulteary.com/2023/11/26/locally-run-the-yi-34b-large-model-of-kai-fu-lee.html
1.6K10编辑于 2023-12-14 - 来自专栏澜舟科技 NLP
大模型轻量化实践路径 之 澜舟孟子预训练模型
在上周发布的《一文看懂预训练最新进展》中，澜舟科技创始人兼 CEO 周明和澜舟科技大模型技术负责人王宇龙分享了大模型技术发展背景和近期百花齐放的大模型及新应用、新趋势。 本文继续为大家深入介绍“大模型轻量化”趋势以及澜舟的 5 个实践路径。以下内容根据澜舟科技算法研究员华菁云在「澜舟NLP分享会」演讲整理。全文约 4800 字，预计阅读时长 6 分钟。 如图 2 下半部分表格，大家可以看到孟子 Mengzi 模型对应的分数的提升还是比较明显的。 图片2. 我们的轻量化技术结合了模型蒸馏、剪枝和量化，将大模型进行压缩得到轻量化模型，显著提升模型推理速度，改善用户体验。3.1 蒸馏图片不同的落地业务（如：在线业务，离线业务），对模型有不同尺寸需求。
1.9K10编辑于 2022-07-29 - 来自专栏奇点大数据
话说量化（2）
市场，是一个很古老的概念了，至少已经有三四千年以上的历史了。较早的关于市场的记录是在古埃及时期，公元前两千多年之前，就已经有“Bazar”这个概念了，汉语里面也留下了它音译的痕迹——“巴扎”。直到现在，在新疆少数民族聚居区仍然在使用这个词汇作为“集市”的用词概念。
53020发布于 2018-09-14 Python实现大模型LoRA微调与量化加速深度好文
本文将深入讲解如何使用Python实现大模型的LoRA微调与量化加速，并提供完整的代码示例。 通过这种方式，可以在不增加太多参数的情况下，实现对模型的微调。2. 量化技术原理与实现原理量化技术通过将浮点数转换为较低精度的数值（如int8或float16），从而减少模型的存储和计算需求。 结合LoRA与量化进行微调原理结合LoRA和量化技术，可以在保持模型性能的同时，进一步减少计算和存储需求。具体来说，首先使用LoRA对模型进行微调，然后对微调后的模型进行量化。 通过使用LoRA和量化技术，我们可以在保持模型性能的同时，大幅减少计算和存储需求，从而实现高效、低成本的音乐推荐服务。总结本文详细介绍了如何使用Python实现大模型的LoRA微调与量化加速。 总结本文深入探讨了Python实现大模型LoRA微调与量化加速深度好文的相关技术，从原理到实践，从基础到进阶，希望能够帮助读者全面掌握这一技术。
62010编辑于 2025-12-16轻量化大语言模型：高效生成结构化数据
轻量化大语言模型：高效生成结构化数据当今生成模型的一个重要特性是，能够将非结构化、部分结构化或结构不良的输入转换为符合特定模式的结构化对象，例如关系数据库固定模式、文档存储灵活模式、函数签名、API规范等 在两篇近期发表于自然语言处理实证方法会议（EMNLP）和arXiv的论文中，我们以专门的轻量化结构化对象语言模型（SoLM）的形式提出了针对此问题的原生方法。 在这种情况下，我们仅向模型输入一个已经根据模式结构化的对象，并让模型端到端地重新生成它。此时，任务不再是结构化输入，而是清理、规范化、纠正和/或完善它，并使其内部一致。 创新为了训练SoLM模型，我们使用了自监督去噪。其思想是使用现有数据库中的任何对象样本，向这些对象中引入人工噪声，并训练模型恢复其原始形式。因此，模型学会提高我们输入的任何对象的质量。 但我们也尝试了一个单独训练的置信度评分模型，该模型以LLM某个内层产生的中间表示为输入。实际上，这种方法比直接依赖模型的置信度得分效果更好。
24110编辑于 2025-12-16
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号