- 综合排序
- 最热优先
- 最新优先
- 来自专栏大模型成长之路
【大模型学习 | 量化】pytorch量化基础知识（1）
.支持INT8量化，可以降低4倍的模型大小以及显存需求，加速2-4倍的推理速度通俗理解：降低权重和激活值的精度（FP32→INT8），从而提高模型大小以及显存需求。 2.1 对称量化 & 非对称量化⚙️ 区别对称量化（Symmetric Quantization）非对称量化（Affine Quantization）特性 对称量化（Symmetric Quantization notePTQ 是直接对训练后的模型参数进行量化，因此适合于快速部署；QAT是通过插入伪量化节点，在训练过程中模拟量化误差以达到更高的精度，因此需要重新训练。 ⚙️ 区别特性 PTQ（训练后量化） QAT（量化感知训练） 训练阶段仅FP32训练 插入伪量化节点训练反向传播❌ 不支持 ✅ 通过STE支持 精度损失较大（尤其小模型）通常更小 model, qconfig_mapping, example_inputs)model_quantized = quantize_fx.convert_fx(model_prepared) 核心功能：在模型的每一个
51210编辑于 2025-06-25 - 来自专栏机器学习与统计学
纯离线安装大模型推理引擎，部署量化大模型
大家好，我是 Ai 学习的老章 继续介绍大模型推理引擎+Llama.cpp，前文我写了# 内网部署 llama.cpp，运行量化大模型，详细介绍了 llama.cpp 这个推理引擎，内网离线 cmake 本文我们用个更省事儿的内网离线部署方式——Docker，然后用其部署量化大模型，其中踩坑若干，才有如此精炼、极简教程 1、联网环境拉取 llama.cpp 镜像并保存 选择镜像最好是官方，比如 llama.cpp server-cuda https://github.com/ggml-org/llama.cpp/blob/master/docs/docker.md 市面上有很多个人打包的镜像，大多都是阉割版 费老大劲搞进去，发现大模型无法加载 docker images 4、准备模型文件 这个也需要办公网下载好（我一般去 modelscope 下载） pip install modelscope 之后，即可使用 modelscope download 5、启动大模型 docker run --rm --runtime nvidia -e TZAsia/Shanghai --gpus "device=2" -v /opt/data/ai/GGUF:/models
1.3K10编辑于 2025-10-11 - 来自专栏大模型成长之路
【大模型学习 | BERT 量化实战（1）】
original_model = AutoModelForSequenceClassification.from_pretrained(model_name).to('cuda') # 2. 8-bit量化加载模型 ) 比较模型大小 模型大小大幅度降低，降低了近3-4倍； def print_model_size(model, model_name): param_size = 0 for param 将模型移到 CPU（Eager 模式量化推荐在 CPU 上执行） model.to('cpu') # 3. （存在bug） 目前的这种量化方式还有bug存在，并且还找不到错误，希望有大哥帮助一下，主要的问题是模型可以成功量化，但是量化后的模型推理时会报错误,而且量化结果的大小也很奇怪：Original BERT 导出模型 ep = export(model, args=example_inputs,dynamic_shapes=None) gm = ep.graph_module # 4.
98710编辑于 2025-06-27 - 来自专栏AI工程落地
大语言模型--KV Cache量化论文
，新阶段生成的添加到全精度组，当全精度组达到上限R个token，则按channel方向量化并与量化组合并，清空全精度组。 ，并且再rope之前做量化 2.提出了一种新的非均匀量化方法，再离线校准集上可以得到很好的效果 3.在推理阶段，实现了一个自定义cuda算子做量化 4.前面的token对精度影响更大，第一个token 这类特定词元上的离群值会导致LLM将大量的自注意力得分分配到这些词元上 2.先使用全精度模型生成关键词元的无损KV cache并将其缓存下来（i.e., IntactKV），量化模型在推理时就能直接使用无损的关键词元表征 ，从而有效提升量化模型精度。 ，需要对key、value开发单独的量化方法 2.提出基于attention-aware的量化方法 3.对异常值做特殊处理，异常值做高比特量化
1.7K10编辑于 2024-07-18 - 来自专栏大模型成长之路
【大模型学习 | BERT 量化实战（2） 】
BERT 量化实战分析前言：在【大模型学习 | 量化实战（1）】-腾讯云开发者社区-腾讯云中基于BERT实现了情感分析系统以及量化的实现，但是量化的结果导致了模型的精确度急剧下降，从90%降到了54%， 为此，在本章中，尽可能的分析导致量化后模型精度下降的原因上期问题 在量化过程中，发现无法采用export量化，但是 Eager Mode 成功了， Eager Mode 只对线性层进行了量化，而没有对 ）、分布近似 scale过大scale的计算如下所示：scale=\frac{max(w)-min(w)}{255} , 个别层的权重有离群值，会导致scale非常大，严重丢失精度。 } | ΔAcc: {r[2]:.4f}") return results 其他分析方法层级 fallback 到 FP32与敏感性分析相关，该方法是将原模型逐层量化，观察精度下降情况误差传播分析对 float32 模型 和 量化模型，输入相同的样本；逐层提取中间层输出；对每层输出计算误差（如 MSE、Cosine 距离等）；画出误差随层数变化的曲线 → 看是否有层明显放大了误差；具体样本误差对比目标
78710编辑于 2025-06-27 - 来自专栏Java技术进阶
基于LMDeploy部署大模型和量化
背景 大模型具有庞大的参数量，内存开销大，7B模型仅权重就需要14+G内存，采用自回归生成token，需要缓存Attention 的k/v带来巨大的内存开销；动态shape，请求参数不固定，Token逐个生成 我想直接在自己的 Python 项目中使用大模型功能。推荐使用 TurboMind推理 + Python（2.5）。 我想在自己的其他非 Python 项目中使用大模型功能。 那么，如何优化 LLM 模型推理中的访存密集问题呢？ 我们可以使用 KV Cache 量化和 4bit Weight Only 量化（W4A16）。 4bit Weight 量化，将 FP16 的模型权重量化为 INT4，Kernel 计算时，访存量直接降为 FP16 模型的 1/4，大幅降低了访存成本。 总而言之，W4A16 参数量化后能极大地降低显存，同时相比其他框架推理速度具有明显优势。 3.3 最佳实践 本节是针对《模型量化》部分的最佳实践。
2.5K00编辑于 2024-03-01 - 来自专栏AI人工智能
模型量化大揭秘：INT8、INT4量化对推理速度和精度的影响测试
模型量化大揭秘：INT8、INT4量化对推理速度和精度的影响测试 Hello，我是摘星！ 在彩虹般绚烂的技术栈中，我是那个永不停歇的色彩收集者。 随着大语言模型参数规模的不断增长，从GPT-3的1750亿参数到GPT-4的万亿级参数，模型的存储和推理成本呈指数级增长。 在我过去两年的实践中，我系统性地测试了INT8和INT4量化技术在不同模型架构上的表现，发现量化技术不仅能够将模型大小压缩2-4倍，还能在特定硬件上实现1.5-3倍的推理速度提升。然而，量化并非银弹。 INT4量化的极限压缩探索3.1 INT4量化的挑战与机遇INT4量化将模型压缩推向了极限，但也带来了更大的精度挑战：class INT4Quantizer: """INT4量化器 - 实现4位量化 实战案例：大模型量化部署7.1 LLaMA-7B量化实战def quantize_llama_7b_production(): """LLaMA-7B生产环境量化实战""" # 模型加载
2.1K21编辑于 2025-08-20 - 来自专栏大模型应用
大模型应用：大模型量化：INT4与INT8核心差异、选型指南及代码实现.53
一、引言 大模型的量化我们前期也探讨了基础概念和实践原理，针对CPU的量化流程做了通俗易懂的基础说明，但实际应用场景往往是需要GPU的落地实践，随着大模型参数规模突破千亿级别，存储大、显存高 压缩比的直观数学说明：INT8压缩比：32位 → 8位，压缩率75%，只有原始的1/4大小INT4压缩比：32位 → 4位，压缩率87.5%，仅有原始的1/8大小实际存储示例：原始10亿参数模型（FP32 INT4量化 bnb_4bit_quant_type="nf4", # 归一化浮点量化，适配大模型权重分布 bnb_4bit_compute_dtype=torch.float16 五、总结 简单而言，大模型INT8和INT4量化，本质就是给笨重的高精度模型减减肥，让它又小又快，还能在普通设备上跑。 总的来说，量化不是瞎压缩，是用一点点精度损失，换存储、显存减半甚至减八成，推理速度还能快 2~5 倍，让原本只能在高端GPU上跑的大模型，在普通环境也能轻松用起来，是大模型落地的关键技巧。
60954编辑于 2026-03-23 - 来自专栏AI SPPECH
54_模型优化：大模型的压缩与量化
本文将深入剖析大模型压缩与量化的核心技术、最新进展及工程实践，探讨如何通过创新技术让大模型在保持高性能的同时实现轻量化部署，为企业和开发者提供全面的技术指导。 本文核心要点 要点 描述 互动思考 量化技术 从FP32到INT4的精度优化策略 你在部署中最常使用哪种量化方式？ 知识蒸馏 小模型如何继承大模型能力 蒸馏过程中的最大挑战是什么？ 量化感知蒸馏 结合量化和蒸馏技术 训练学生模型适应量化带来的精度损失 适用于极低精度部署场景 4. GPTQ - 大模型量化工具 针对大型语言模型的量化方法 支持INT4/INT8精度量化 保持较高的生成质量 与流行的LLM框架兼容 2. 优化策略： 模型压缩：从7B参数压缩到1.5B参数 INT4量化：使用GPTQ进行4位量化 模型剪枝：移除40%的非关键参数 知识蒸馏：从13B模型蒸馏核心能力 实施效果： 模型大小从14GB减少到750MB
82210编辑于 2025-11-16 - 来自专栏AI学习笔记
大模型 4-bit 量化前沿：AWQ vs. GPTQ vs. QuIP#
一、引言 大模型如 GPT 系列、BERT 等展现出了强大的性能，但它们巨大的模型尺寸和内存占用也带来了诸多挑战。4 - bit 量化作为一种新兴的模型压缩技术，正逐渐受到关注。 它能够有效减少模型的内存占用和计算资源消耗，对于在资源受限设备上部署大模型具有重要意义。 可以通过以下命令安装： pip install torch transformers 模型加载与量化代码示例 首先，加载预训练的大模型，例如 BERT： from transformers import 3.优缺点总结比较 量化方法 优点 缺点 AWQ 自适应分块量化，较好平衡精度与效率；对多种模型和任务适用性较好 量化过程复杂，实现和优化难度大；需要存储额外量化参数 GPTQ 在大型语言模型上量化效果较好 ，有效压缩存储空间；结合无损与有损量化策略 对硬件资源要求高；在特定任务中性能损失较大 QuIP# 提供综合性量化平台，支持多种方法和工具；通过联合优化提高模型性能 学习曲线陡峭，使用有一定门槛；对模型结构和训练流程影响大
2.5K10编辑于 2025-07-09 - 来自专栏机器学习与统计学
量化大模型，本地部署，效果不打折
大家好，我是 AI 学习的老章 Unsloth 出圈是 DeepSeek-R1 爆火的时候，它发布了最小 1.58 位量化版本的 R1，把 DeepSeek-R1 这个非常大的模型（它有 6710 亿个参数 Unsloth 秘密武器是动态量化，核心思路是：对模型的少数关键层进行高质量的 4-6bit 量化，而对大部分相对没那么关键的混合专家层（MoE）进行大刀阔斧的 1-2bit 量化。 等高难度基准测试中，其性能甚至能击败像 Claude-4-Opus 这样的顶尖（SOTA）模型。 例如，在 Qwen2-VL-2B-Instruct 案例中，简单将所有层量化为 4 位会导致模型将下图的火车误认为海岸场景： 这种策略尤其对 MoE（Mixture of Experts）模型有效，现已成为 结论 Unsloth 的动态量化技术证明，通过智能的、非均匀的量化策略，我们可以在大幅压缩模型体积的同时，保持甚至超越 SOTA 模型的性能。
53510编辑于 2025-11-29 - 来自专栏机器学习、深度学习
模型量化
下图显示不同量化策略对速度的提升影响 ? 量化卷积过程 ? 加速策略： AND, XOR and bitcount operations 训练过程 ? 分类性能对比 ?
88110发布于 2019-05-26 - 来自专栏奇点大数据
话说量化（4）
货币——也就是我们俗称的“钱”是世界上最可爱的东西之一，可以说没有它的刺激，也就没有我们现在这么繁荣的市场，也没有这么丰富的各类物质产品和幸福生活。
71320发布于 2018-09-14 - 来自专栏GiantPandaCV
AffineQuant: 大语言模型的仿射变换量化
方法 3.1 AffineQuant AffineQuant 是一种利用仿射变换来优化后训练量化（PTQ）的方法，它在大型语言模型（LLMs）中应用，以减少量化误差并保持模型性能。 表格中展示了使用4位权重和4位激活量化配置时，AffineQuant在各种任务和复杂度模型上相比其他方法具有更优的性能，特别是在零样本任务和困惑度（PPL）任务中的表现。 这些数据证明了AffineQuant在保证量化精度的同时，也优化了推理效率，这对于部署到资源受限的设备上尤为重要。 4. 对于OPT-125M模型，当没有使用逐渐mask时，WikiText2、PTB和C4的PPL分别高达 53.52 、 90.47 和 62.17 ，而使用逐渐mask时这些值分别减少至 32.10 、 维持或提升量化后的模型性能： 如表格所示，即便在较低的位宽（例如4/4位量化）下，AffineQuant方法在多个性能指标上仍然优于或接近全精度模型的表现，显示出较好的量化抗性和模型鲁棒性。
85510编辑于 2024-05-13 - 来自专栏DeepHub IMBA
大语言模型量化方法对比：GPTQ、GGUF、AWQ
虽然它没有任何的压缩和量化，但是这种方法算是一个最简单的加载大模型的方案。 比如Zephyr-7B-β，实际上已经分片了! " ) 这样将模型分成4GB的分片 量化 大型语言模型由一堆权重和激活表示。 它包括三个步骤: 归一化:将模型的权重归一化，以便我们期望权重落在一定范围内。这允许更有效地表示更常见的值。 量化:将权重量化为4位。 在NF4中，量化级别相对于归一化权重是均匀间隔的，从而有效地表示原始的32位权重。 去量化:虽然权重以4位存储，但它们在计算期间被去量化，从而在推理期间提高性能。 但是如果你的GPU无法处理如此大的模型，那么从GPTQ开始切换到以cpu为中心的方法(如GGUF)是绝对值得的。
12.9K71编辑于 2023-11-20 - 来自专栏机器之心
字节开源大模型量化新思路，2-bit量化模型精度齐平fp16
随着深度学习大语言模型的越来越火爆，大语言模型越做越大，使得其推理成本也水涨船高。模型量化，成为一个热门的研究课题。 背景 大模型的迅速发展，使得推理成本越来越高。模型量化，作为一个降低推理成本的技术方案，得到了越来越多的关注与研究。然而，在传统的量化范式下，模型的精度在极低比特下会迅速下降。 我们将一个大模型量化完毕以后，交付给下游引擎同学的时候，只需要知道 (3) 式中的 和 (s,z) 即可。 进一步挖掘 (3) 式中，我们可以将一个大模型的参数，解耦 (decouple) 成整数部分 和浮点部分 (s,z)。 一般来说，为了提高量化精度，我们可以对模型的权重用 per-channel 量化。在 per-channel 量化中，在优化 (4) 式的时候， 的各个列是独立进行优化的。
1.2K10编辑于 2024-05-14 - 来自专栏为了不折腾而去折腾的那些事
CPU 混合推理，非常见大模型量化方案：“二三五六” 位量化
看过前两篇文章《零一万物模型折腾笔记：官方 Yi-34B 模型基础使用》、《本地运行“李开复”的零一万物 34B 大模型》的同学知道，类似 34B 的模型，如果想不怎么量化直接跑起来，大概需要 76～85GB 如果我们进行效果损失比较小的 8 位量化，那么也需要 46GB 左右，如果是 4 位量化模型，那么也需要 21GB 左右的显存。 虽然模型能跑了，但是有可能模型效果“打了骨折”。 尤其是一般情况下，许多同学会使用八位（INT8）或者 四位（INT4）位量化，但是我们很容易会遇到两个尴尬的情况： 有的模型量化成四位（INT4）效果变的不是很好，但是量化成八位（INT8）效果还行。 可是八位（INT8）尺寸又太大，运行不太方便，希望模型尺寸能够小一些。 有的模型量化成四位（INT4），模型还是太大，硬件跑不起来或者跑起来太费力，希望模型变的更小巧一些。 准备材料 关于模型量化需要准备两个素材，一个是模型，另外一个是量化使用的计算设备。
2.1K20编辑于 2023-12-12 - 来自专栏为了不折腾而去折腾的那些事
CPU 混合推理，非常见大模型量化方案：“二三五六” 位量化
看过前两篇文章《零一万物模型折腾笔记：官方 Yi-34B 模型基础使用[1]》、《本地运行“李开复”的零一万物 34B 大模型[2]》的同学知道，类似 34B 的模型，如果想不怎么量化直接跑起来，大概需要 如果我们进行效果损失比较小的 8 位量化，那么也需要 46GB 左右，如果是 4 位量化模型，那么也需要 21GB 左右的显存。 虽然模型能跑了，但是有可能模型效果“打了骨折”。 尤其是一般情况下，许多同学会使用八位（INT8）或者 四位（INT4）位量化，但是我们很容易会遇到两个尴尬的情况： •有的模型量化成四位（INT4）效果变的不是很好，但是量化成八位（INT8）效果还行。 可是八位（INT8）尺寸又太大，运行不太方便，希望模型尺寸能够小一些。•有的模型量化成四位（INT4），模型还是太大，硬件跑不起来或者跑起来太费力，希望模型变的更小巧一些。 -34b.html [2] 本地运行“李开复”的零一万物 34B 大模型: https://soulteary.com/2023/11/26/locally-run-the-yi-34b-large-model-of-kai-fu-lee.html
1.6K10编辑于 2023-12-14 - 来自专栏澜舟科技 NLP
大模型轻量化实践路径 之 澜舟孟子预训练模型
在上周发布的《一文看懂预训练最新进展》中，澜舟科技创始人兼 CEO 周明和澜舟科技大模型技术负责人王宇龙分享了大模型技术发展背景和近期百花齐放的大模型及新应用、新趋势。 本文继续为大家深入介绍“大模型轻量化”趋势以及澜舟的 5 个实践路径。以下内容根据澜舟科技算法研究员华菁云在「澜舟NLP分享会」演讲整理。全文约 4800 字，预计阅读时长 6 分钟。 我们的轻量化技术结合了模型蒸馏、剪枝和量化，将大模型进行压缩得到轻量化模型，显著提升模型推理速度，改善用户体验。3.1 蒸馏图片不同的落地业务（如：在线业务，离线业务），对模型有不同尺寸需求。 图片在结构化剪枝的同时，我们结合量化技术进一步实现推理速度的优化，结果显示在 4 核 CPU 设备上，结合量化+剪枝的方案可加速约 6 倍（ 如图 10 右下角柱状图所示）。 而且澜舟的剪枝量化相结合的方案可以提供更具适应性的落地方案，可根据用户的不同场景的需求快速构建部署符合需求的模型。4.
1.9K10编辑于 2022-07-29 - 来自专栏后台技术汇
大模型应用之（4）：Langchain架构与大模型接入
Langchain架构 LangChain工具 组件：大模型包装器、聊天模型包装器、数据增强工具和接口链： 提供了标准接口，和数据平台和实际应用工具紧密集成 LangChain六大模块 模块 核心作用 所以，不管我们是使用 openai api embedding 功能还是直接通过向量数据库直接查询，都需要将我们的加载进来的数据 Document 进行向量化，才能进行向量运算搜索。 Agent作为高级模块，可调用其他所有模块功能 大模型接入 接入示例 云服务和私有化大模型优劣对比 维度 开发成本 算力成本 运维成本 数据安全 云厂商大模型 较低，开箱即用 算力资源充足，大模型性能好 &吞吐量较高 较低，提供云平台监控 安全性低 私有化大模型 较高，自建大模型网关、服务鉴权、可用性等 算力硬件投入成本高，大模型性能较差低&吞吐量较低 较高，需要专业运维团队介入 安全性高，保密性强 小结： - 研发&测试环境：为了方便部署和测试，使用云服务 - 大客户生产环境：安全审核严格，大多数采用自建大模型的方式 总结 LangChain 是什么？
70810编辑于 2025-08-04
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号