- 综合排序
- 最热优先
- 最新优先
- 来自专栏AI系统
【AI系统】感知量化训练 QAT
本文将会介绍感知量化训练（QAT）流程，这是一种在训练期间模拟量化操作的方法，用于减少将神经网络模型从 FP32 精度量化到 INT8 时的精度损失。 感知量化训练流程 传统的训练后量化将模型从 FP32 量化到 INT8 精度时会产生较大的数值精度损失。 感知量化训练（Aware Quantization Training）通过在训练期间模拟量化操作，可以最大限度地减少量化带来的精度损失。 感知量化实践 感知量化训练的技巧 从已校准的表现最佳的 PTQ 模型开始 与其从未训练或随机初始化的模型开始感知量化训练，不如从已校准的 PTQ 模型开始，这样能为 QAT 提供更好的起点。 要使用 TensorRT 推理 QAT 模型，通常需要以下步骤： 训练并量化模型： 首先使用训练框架（如 PyTorch、PaddlePaddle 和 MindSpore）进行量化感知训练并保存量化后的模型
1.5K10编辑于 2024-12-06 - 来自专栏GiantPandaCV
基于OneFlow实现量化感知训练
❝【GiantPandaCV导语】本文介绍了量化感知训练的原理，并基于OneFlow实现了一个量化感知训练Demo，并介绍了在具体实现中的各种细节。 希望对想学习量化感知训练的读者有用，本文仅做学习交流。 0x0. 前言 这篇文章主要是讲解一下量化感知训练的原理，以及基于OneFlow实现一个Demo级别的手动量化感知训练。 0x1. 基于OneFlow量化感知训练AlexNet 下面以AlexNet为例，基于OneFlow的三个量化组件完成一个量化感知训练Demo。 总结 本文分享了笔者最近的一项工作，基于OneFlow Eager版本做量化感知训练，目前手动做量化感知训练对用户没有友好性。 另外，本文还调研了Pytorch FX的自动量化方案，它确实比Pytorch的第一代方案更友好，我们的目标也是做出更自动，更友好的量化训练接口。 0x6.
1K30发布于 2021-08-19 - 来自专栏大模型应用
大模型应用：高精度量化感知训练(QAT)与低成本后训练量化(PTQ)方案优选.55
量化感知训练（QAT）：模型训练时预埋适配，训练过程中模拟量化误差，让模型学会适应低精度计算，最后导出量化模型。三、后训练量化（PTQ）1. 四、量化感知训练（QAT）1. 核心概念与原理 量化感知训练，QAT，全称Quantization-Aware Training，是指在模型训练过程中，插入量化和反量化模拟节点，让模型感知量化误差并学习适应的技术，是高精度的量身定制 模型初始化：加载预训练的FP32模型2. 插入量化节点：在模型中添加量化/反量化模拟层3. 量化感知训练：使用完整数据训练，正向传播模拟量化误差，反向传播更新权重4. 训练终止判断：达到训练轮数或精度目标5. 模型导出：生成最终的INT8量化模型6. 性能验证：对比量化模型与原模型的精度差异7. 部署决策：精度达标则上线，不达标则调整参数重新训练3.
42143编辑于 2026-03-24 - 来自专栏计算机视觉战队
量化新方法 | 模型压缩6倍，无需重训练
将参数x0从0到1，并将位数从2改为6。 在表1和表2中收集了获得的结果，并在图3和图4中显示了它们。 ? ? ? ? ? 在上图中，给出了神经网络离散化的过程。 应特别注意倒数第二排。 通常这些网络需要在量化后进行重新训练，而我们找到了避免重新训练的方法。」 简化人工神经网络背后的主要思想是所谓的权重量化，即减少每个权重的位数。 训练之后，该网络会使用新方法进行量化，并且不进行重新训练。然后，该研究将实验结果与其他量化算法进行了比较。 RUDN 大学的 Iakov Karandashev 补充说道：「量化之后，分类准确率仅降低了 1％，但是所需的存储容量减少了 6 倍。 实验表明，由于初始权重与量化后权重之间的相关性很强，该网络不需要重新训练。这种方法有助于在完成时间敏感任务或在移动设备上运行任务时节省资源。」 © THE END
92710发布于 2021-03-13 - 来自专栏奇点大数据
话说量化（6）
各位读者朋友大家好，浪了半个多月之后我终于又开始了我的随笔了，感谢大家的关注。我们言归正传，上次说了通货膨胀，这次我们来说说货币的形式。
40030发布于 2018-10-23 - 来自专栏GiantPandaCV
INT8量化训练
【GiantPandaCV导读】本文聊了两篇做INT8量化训练的文章，量化训练说的与quantization-aware Training有区别，量化训练指的是在模型训练的前向传播和后向传播都有INT8 两篇文章都是基于对梯度构建分析方程求解得到解决量化训练会引起的训练崩溃和精度损失严重的情况。 《Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference》文章中，提出了量化感知训练 而量化训练则是在前向传播和后向传播都加入量化，而且做完矩阵运算再把运算的结果反量化回去浮点数。 知乎链接： （量化 | INT8量化训练）https://zhuanlan.zhihu.com/p/364782854
1.4K30发布于 2021-04-30 - 来自专栏模型压缩
INT8量化训练
【导读】本文聊了两篇做INT8量化训练的文章，量化训练说的与quantization-aware Training有区别，量化训练指的是在模型训练的前向传播和后向传播都有INT8量化。 两篇文章都是基于对梯度构建分析方程求解得到解决量化训练会引起的训练崩溃和精度损失严重的情况。 《Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference》文章中，提出了量化感知训练 而量化训练则是在前向传播和后向传播都加入量化，而且做完矩阵运算再把运算的结果反量化回去浮点数。 整个pipeline： SpeedUp: 这里有个重要的cuda层的优化： 实验： 知乎链接： 量化 | INT8量化训练 首发于GaintPandaCV，未经允许，不许转载
1.6K00发布于 2021-06-06 - 来自专栏GiantPandaCV
深度学习框架量化感知训练的思考及OneFlow的一种解决方案
因为我在2个月前开始接触这个项目前，对量化感知训练的知识积累也非常少，并且我也会认为各个框架的量化感知训练方案很复杂，甚至不想研究这些API。 实现量化感知训练Pass 有了OneFlow FX之后我们就可以实现一个量化感知训练的Pass来将用户自定义的网络中自动插入量化感知训练组件来完成量化感知训练了。 基于量化感知训练模型改写原始模型 上面我们已经基于量化感知训练模型进行了量化感知训练，接下来我们要考虑怎么部署这个量化感知训练模型了。 0x6. 转换ONNX以及TensorRT推理 基于量化感知训练的模型以及dequantization Pass，我们就可以获得用于推理时的nn.Module了。 我们看一眼量化感知训练后的ResNet18转化成ONNX之后长什么样子吧。 ResNet18量化感知训练模型 然后我们还需要用TesnsorRT来运行这个量化感知训练模型，也要配置一些环境。
1.3K30发布于 2021-10-20 - 来自专栏ml
使用感知机训练加法模型
感知机此处不介绍，这里只是简单的做了一个使用感知机思路，训练一个y=a+b计算模型. 1 # -*-coding:utf-8-*- 2 '@author: xijun.gong' 3 import numpy as np 4 import random 5 import math 6 7 8 class Perceptron: 9 def __init__(self, learnRate self.bit_len) / self.bit_len; 37 38 def fit(self, fds, labels): 39 """ 40 :param fds: 训练样本集合
84061发布于 2018-03-27 - 来自专栏集智书童
全新轻量化模型 | 轻量化沙漏网络助力视觉感知涨点
2.6 Perceptual Loss 感知损失被用来比较带有微小差异的相似图像。在这里使用它作为两幅图像之间的特征水平均方误差（MSE）损失，它计算一个高级特征图的损失，而不是原始图像空间。 这里的假设是，如果第一个沙漏在高特征水平上“感知”第二个沙漏“感知”的东西，网络的整体性能将会得到改善。总损失，如式2所示，包括感知损失和预测损失中权重较高的原始预测损失。
1.4K30编辑于 2023-02-26 - 来自专栏集智书童
Q-YOLOP来啦 | 一个具有量化感知全景驾驶感知模型
在这项工作中提出了一种高效的量化感知全景驾驶感知模型（Q-YOLOP），用于自动驾驶背景下的目标检测、可驾驶区域分割和车道线分割。 本文采用4阶段训练过程，包括在BDD100K数据集上进行预训练，在BDD1000K和iVS数据集上微调，以及在BDD100K上进行量化感知训练（QAT）。 2.2、量化 量化感知训练（QAT）是一种旨在使神经网络更易于量化的技术。在QAT过程中，本文通过依次应用量化和反量化操作，在训练过程中引入量化误差。 在集成的iVS和BDD1000K数据集上的量化感知训练（QAT） 最初，本文在BDD100K数据集上训练本文的模型，不进行300个Epoch的Mosaic，然后对150个Epoch进行Mosaic增强 本文首先观察到，训练后量化导致分割任务的性能显著下降，可驾驶区域和车道线分割分别仅达到0.285和0.248mIOU。 然而，这种性能下降可以通过采用量化感知训练（QAT）策略来缓解。
77240编辑于 2023-09-04 - 来自专栏AI系统
【AI系统】训练后量化与部署
本文将会重点介绍训练后量化技术的两种方式：动态和静态方法，将模型权重和激活从浮点数转换为整数，以减少模型大小和加速推理。并以 KL 散度作为例子讲解校准方法和量化粒度控制来平衡模型精度和性能。 训练后量化的方式 训练后量化的方式主要分为动态和静态两种。 其核心是计算量化比例因子，使用静态量化后的模型进行预测，在此过程中量化模型的缩放因子会根据输入数据的分布进行调整。相比量化训练，静态离线量化不需要重新训练，可以快速得到量化模型。 静态离线量化的步骤如下： 加载预训练的 FP32 模型，配置用于校准的数据加载器； 读取小批量样本数据，执行模型的前向推理，保存更新待量化算子的量化 scale 等信息； 将 FP32 模型转成 INT8 通过替换块分别量化残差连接 残差连接是许多神经网络模型（如 ResNet）中的重要组成部分，因为它们有助于减轻训练期间可能出现的梯度消失问题。然而，在量化过程中，残差连接可能会带来挑战。
1.2K10编辑于 2024-12-06 - 来自专栏AIGC 先锋科技
上交大 & 上海 AI 实验室 & ViVO 强势推出 TerDiT ，极低比特量化感知训练和和高效部署方案 ！！！
为了克服这些不足，作者提出利用量化感知训练（QAT）技术对大规模DiT模型进行极低比特量化。在LLM领域，已经讨论了针对大规模模型的低比特QAT方法。 [31]提出将量化感知低秩 Adapter （QALoA）与PTQ方法结合使用，从而提高了评估结果。作为PTQ的替代方法，专门为低比特扩散模型量化引入了量化感知训练（QAT）方法。 基于这些进展，作者首次引入了针对三值DiT模型的量化感知训练和高效部署方案。 三元DiT块进一步在adaLN模块中添加了RMS规范，以进行更好的三元化感知训练。 量化函数。 量化函数表述为： 其中设置为一个很小的值（例如），以避免除以0，以及 TerDiT是一个仅权重量化的方案，作者不量化激活。 量化感知训练方案。
37410编辑于 2024-07-08 - 来自专栏集智书童
上交大 & 上海 AI 实验室 & ViVO 强势推出 TerDiT ，极低比特量化感知训练和和高效部署方案 ！！！
为了克服这些不足，作者提出利用量化感知训练（QAT）技术对大规模DiT模型进行极低比特量化。在LLM领域，已经讨论了针对大规模模型的低比特QAT方法。 [31]提出将量化感知低秩 Adapter （QALoA）与PTQ方法结合使用，从而提高了评估结果。作为PTQ的替代方法，专门为低比特扩散模型量化引入了量化感知训练（QAT）方法。 基于这些进展，作者首次引入了针对三值DiT模型的量化感知训练和高效部署方案。 三元DiT块进一步在adaLN模块中添加了RMS规范，以进行更好的三元化感知训练。 量化函数。 量化函数表述为： 其中设置为一个很小的值（例如），以避免除以0，以及 TerDiT是一个仅权重量化的方案，作者不量化激活。 量化感知训练方案。
72710编辑于 2024-05-30 - 来自专栏深度学习自然语言处理
COLING 2020 | 字符感知预训练模型CharBERT
本期推送介绍了哈工大讯飞联合实验室在自然语言处理重要国际会议COLING 2020上发表的工作，提出了一种字符感知预训练模型CharBERT，在多个自然语言处理任务中取得显著性能提升，并且大幅度提高了模型的鲁棒性 我们在方法上主要解决了这两个问题，其主要贡献如下： 我们提出了一种字符感知预训练模型CharBERT，可以在已有预训练模型的基础上融合字符层级的信息； 我们在问答、文本分类和序列标注三类任务的8个数据集上进行了验证 预训练过程进行了320K步迭代，使用两张32GB显存的NVIDIA Tesla V100的GPU训练5天左右。 图6 QNLI上不同模型的鲁棒性对比 我们可以看到BERT效果下降幅度超过30%，另外两个baseline模型效果降幅明显缩小，而CharBERT下降幅度为12%，显著超过了所有模型。 总结 本文主要基于目前预训练模型表示粒度上不完整和不鲁棒的两个问题，提出了字符感知预训练模型CharBERT，通过在已有预训练架构上融入字符信息来解决这些问题。
99110发布于 2020-12-03 - 来自专栏DrugOne
结构感知的蛋白质预训练
这篇文章设计了针对蛋白质结构的预训练任务，并运用双层优化和互信息捕捉序列信息和结构信息的一致性，在下游任务上取得了当前最好的结果。 更进一步，作者利用预训练好的蛋白质语言模型增强蛋白质结构的自监督学习，并且提出一种伪双层优化方案去保证蛋白质序列信息和结构信息的一致性。下游任务的实验验证了作者提出的方法的有效性。 总结 在这篇文章里， 作者提出基于蛋白质结构的预训练。基于图神经网络的两个自监督任务很好地捕捉蛋白质的结构信息，同时，伪双层优化保证了蛋白质序列信息和结构信息的一致性。
28330编辑于 2022-11-28 - 来自专栏GiantPandaCV
MXNet实现卷积神经网络训练量化
对训练好的网络做量化，在实践中尝试过TensorRT的后训练量化算法，在一些任务上效果还不错。 但是如果能在训练过程中去模拟量化的过程，让网络学习去修正量化带来的误差，那么得到的量化参数应该是更准确的，而且在实际量化推断中模型的性能损失应该能更小。 而训练量化我理解就是在forward阶段去模拟量化这个过程，是把权值和激活值量化到再反量化回有误差的，所以训练过程还是浮点。 模拟量化卷积层示例图 具体实现的时候就是按照论文中的这个模拟量化卷积层示例图去写训练网络结构的。 4. 6.
1.3K20发布于 2020-03-20 - 来自专栏GiantPandaCV
海思NNIE之PFPLD训练与量化
之前写了关于海思NNIE的一些量化部署工作，笔者不才，文章没有写得很具体，有些内容并没有完全写在里面。好在目前看到了一些使用nniefacelib脱坑的朋友，觉得这个工程还是有些用的。 目前在活体检测领域用其渲染的depth map作为伪标签进行训练，已经成为了一种标配性的存在。所以当人脸姿态估计算法性能接近于它，证明训练的姿态已经非常不错了。 这其实和训练数据集里面闭眼图片的数量过少有关系，加强眼部的训练并不能抵抗这种情况，因为不是一个维度的事情，最佳的方式依然是添加闭眼数据。 示例图片 四、量化 过去一周，笔者对训练代码进行了整理，完成了多种版本的转换工作，包括 pytorch caffe ncnn nnie 听说有小伙伴将这套模型跑到了ios上，说不定之后会放出来。 量化精度 Github地址如下： https://github.com/Oneflow-Inc/oneflow
1.6K20发布于 2020-08-04 - 来自专栏机器之心
模型压缩6倍，无需重训练：数学家团队提出量化新方法
为了处理大量数据，这一领域的研究者必须发明各种方法来降低对模型能力的需求，包括所谓的量化。这有助于减少资源消耗，但需要对系统进行重新训练。RUDN 大学的一些数学家发现后者可以避免。 ? 通常这些网络需要在量化后进行重新训练，而我们找到了避免重新训练的方法。」 简化人工神经网络背后的主要思想是所谓的权重量化，即减少每个权重的位数。 训练之后，该网络会使用新方法进行量化，并且不进行重新训练。然后，该研究将实验结果与其他量化算法进行了比较。 RUDN 大学的 Iakov Karandashev 补充说道：「量化之后，分类准确率仅降低了 1％，但是所需的存储容量减少了 6 倍。 实验表明，由于初始权重与量化后权重之间的相关性很强，该网络不需要重新训练。这种方法有助于在完成时间敏感任务或在移动设备上运行任务时节省资源。」 感兴趣的读者可以阅读期刊原文。
44030发布于 2021-03-15 - 来自专栏AI异构
AdaRound：训练后量化的自适应舍入
本文发现，这不是最佳的量化策略。本文提出了 AdaRound，一种用于训练后量化的更好的权重舍入机制，它可以适应数据和任务损失。 AdaRound 不仅比舍入取整有显著的提升，而且还为几种网络和任务上的训练后量化建立了新的最新技术。 这意味着在进行训练后量化时，通过仔细舍入权重，可以获得很多收益。本文的其余部分旨在设计一种有充分根据和计算效率的舍入机制。 ? 随机舍入与四舍五入对比 方法 在本节中，提出AdaRound，这是一种用于训练后量化的新舍入程序，在理论上是有充分根据的，并且在实践中显示出显着的性能改进。本文从理论上分析由于量化引起的损失。 基于任务损失的 Rounding 在量化预训练的NN时，我们的目标是最大程度地减少由于量化引起的性能损失。
2.8K11发布于 2021-03-09
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号