- 综合排序
- 最热优先
- 最新优先
- 来自专栏AI系统
【AI系统】感知量化训练 QAT
本文将会介绍感知量化训练（QAT）流程，这是一种在训练期间模拟量化操作的方法，用于减少将神经网络模型从 FP32 精度量化到 INT8 时的精度损失。 感知量化训练流程 传统的训练后量化将模型从 FP32 量化到 INT8 精度时会产生较大的数值精度损失。 感知量化训练（Aware Quantization Training）通过在训练期间模拟量化操作，可以最大限度地减少量化带来的精度损失。 感知量化实践 感知量化训练的技巧 从已校准的表现最佳的 PTQ 模型开始 与其从未训练或随机初始化的模型开始感知量化训练，不如从已校准的 PTQ 模型开始，这样能为 QAT 提供更好的起点。 要使用 TensorRT 推理 QAT 模型，通常需要以下步骤： 训练并量化模型： 首先使用训练框架（如 PyTorch、PaddlePaddle 和 MindSpore）进行量化感知训练并保存量化后的模型
1.5K10编辑于 2024-12-06 - 来自专栏GiantPandaCV
基于OneFlow实现量化感知训练
❝【GiantPandaCV导语】本文介绍了量化感知训练的原理，并基于OneFlow实现了一个量化感知训练Demo，并介绍了在具体实现中的各种细节。 希望对想学习量化感知训练的读者有用，本文仅做学习交流。 0x0. 前言 这篇文章主要是讲解一下量化感知训练的原理，以及基于OneFlow实现一个Demo级别的手动量化感知训练。 0x1. 量化感知训练和后训练量化的主要区别在于它会对激活以及权重做模拟量化操作，即FP32->INT8->FP32。 基于OneFlow量化感知训练AlexNet 下面以AlexNet为例，基于OneFlow的三个量化组件完成一个量化感知训练Demo。 总结 本文分享了笔者最近的一项工作，基于OneFlow Eager版本做量化感知训练，目前手动做量化感知训练对用户没有友好性。
1K30发布于 2021-08-19 - 来自专栏大模型应用
大模型应用：高精度量化感知训练(QAT)与低成本后训练量化(PTQ)方案优选.55
量化感知训练（QAT）：模型训练时预埋适配，训练过程中模拟量化误差，让模型学会适应低精度计算，最后导出量化模型。三、后训练量化（PTQ）1. 四、量化感知训练（QAT）1. 核心概念与原理 量化感知训练，QAT，全称Quantization-Aware Training，是指在模型训练过程中，插入量化和反量化模拟节点，让模型感知量化误差并学习适应的技术，是高精度的量身定制 执行流程 这是一个量化感知训练的完整流程，通过训练让模型主动适应量化误差，通过模型在训练中体验量化误差，学习补偿，精度通常比训练后量化（PTQ）精度损失更小，迭代优化支持参数调整重新训练。 模型初始化：加载预训练的FP32模型2. 插入量化节点：在模型中添加量化/反量化模拟层3. 量化感知训练：使用完整数据训练，正向传播模拟量化误差，反向传播更新权重4.
42143编辑于 2026-03-24 - 来自专栏GiantPandaCV
INT8量化训练
【GiantPandaCV导读】本文聊了两篇做INT8量化训练的文章，量化训练说的与quantization-aware Training有区别，量化训练指的是在模型训练的前向传播和后向传播都有INT8 两篇文章都是基于对梯度构建分析方程求解得到解决量化训练会引起的训练崩溃和精度损失严重的情况。 《Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference》文章中，提出了量化感知训练 所以这两种分布： 通过实验设置为0.3 Magnitude-aware Clipping Strategy： 这个cliiping是在寻找最优截断阈值s 量化误差分析： （3） ， 是梯度的分布 -反量化后的梯度， 是学习率，Term(3)说明要降低学习率。
1.4K30发布于 2021-04-30 - 来自专栏模型压缩
INT8量化训练
【导读】本文聊了两篇做INT8量化训练的文章，量化训练说的与quantization-aware Training有区别，量化训练指的是在模型训练的前向传播和后向传播都有INT8量化。 两篇文章都是基于对梯度构建分析方程求解得到解决量化训练会引起的训练崩溃和精度损失严重的情况。 《Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference》文章中，提出了量化感知训练 而量化训练则是在前向传播和后向传播都加入量化，而且做完矩阵运算再把运算的结果反量化回去浮点数。 ， $\eta{t}$ 是学习率，Term(3)说明要降低学习率。
1.6K00发布于 2021-06-06 - 来自专栏GiantPandaCV
深度学习框架量化感知训练的思考及OneFlow的一种解决方案
现在用户可以在自己构建的nn.Module基础上，修改很少的代码即可完成从nn.Module量化感知训练到用TensorRT将量化感知训练后的模型部署到GPU上运行的完整链路。 因为我在2个月前开始接触这个项目前，对量化感知训练的知识积累也非常少，并且我也会认为各个框架的量化感知训练方案很复杂，甚至不想研究这些API。 0x3. 实现量化感知训练Pass 有了OneFlow FX之后我们就可以实现一个量化感知训练的Pass来将用户自定义的网络中自动插入量化感知训练组件来完成量化感知训练了。 基于量化感知训练模型改写原始模型 上面我们已经基于量化感知训练模型进行了量化感知训练，接下来我们要考虑怎么部署这个量化感知训练模型了。 我们看一眼量化感知训练后的ResNet18转化成ONNX之后长什么样子吧。 ResNet18量化感知训练模型 然后我们还需要用TesnsorRT来运行这个量化感知训练模型，也要配置一些环境。
1.3K30发布于 2021-10-20 - 来自专栏ml
使用感知机训练加法模型
感知机此处不介绍，这里只是简单的做了一个使用感知机思路，训练一个y=a+b计算模型. 1 # -*-coding:utf-8-*- 2 '@author: xijun.gong' 3 import self.bit_len) / self.bit_len; 37 38 def fit(self, fds, labels): 39 """ 40 :param fds: 训练样本集合
84061发布于 2018-03-27 - 来自专栏集智书童
全新轻量化模型 | 轻量化沙漏网络助力视觉感知涨点
Newell等人在Mask3D中提出的堆叠沙漏架构是第一个基于深度学习的HPE方法之一，因为经典方法在此之前主导了HPE文献。 2.6 Perceptual Loss 感知损失被用来比较带有微小差异的相似图像。在这里使用它作为两幅图像之间的特征水平均方误差（MSE）损失，它计算一个高级特征图的损失，而不是原始图像空间。 这里的假设是，如果第一个沙漏在高特征水平上“感知”第二个沙漏“感知”的东西，网络的整体性能将会得到改善。总损失，如式2所示，包括感知损失和预测损失中权重较高的原始预测损失。 3、实验 3.1 Alternative bottlenecks 4、参考 [1].To Perceive or Not to Perceive: Lightweight Stacked Hourglass
1.4K30编辑于 2023-02-26 - 来自专栏奇点大数据
话说量化（3）
上次咱们聊了聊市场催生的根本原因，是由于人们为了降低交易的成本而“发明”出来并一直保留至今的。在几千年的过程中，随着运输技术和信息技术的不断发展，市场正在以更快速的方式为我们提供者信息的交互能力，也就最大程度地降低了交互的成本。
35310发布于 2018-09-14 - 来自专栏集智书童
Q-YOLOP来啦 | 一个具有量化感知全景驾驶感知模型
在这项工作中提出了一种高效的量化感知全景驾驶感知模型（Q-YOLOP），用于自动驾驶背景下的目标检测、可驾驶区域分割和车道线分割。 本文采用4阶段训练过程，包括在BDD100K数据集上进行预训练，在BDD1000K和iVS数据集上微调，以及在BDD100K上进行量化感知训练（QAT）。 2.2、量化 量化感知训练（QAT）是一种旨在使神经网络更易于量化的技术。在QAT过程中，本文通过依次应用量化和反量化操作，在训练过程中引入量化误差。 在集成的iVS和BDD1000K数据集上的量化感知训练（QAT） 最初，本文在BDD100K数据集上训练本文的模型，不进行300个Epoch的Mosaic，然后对150个Epoch进行Mosaic增强 本文首先观察到，训练后量化导致分割任务的性能显著下降，可驾驶区域和车道线分割分别仅达到0.285和0.248mIOU。 然而，这种性能下降可以通过采用量化感知训练（QAT）策略来缓解。
77240编辑于 2023-09-04 - 来自专栏AI系统
【AI系统】训练后量化与部署
本文将会重点介绍训练后量化技术的两种方式：动态和静态方法，将模型权重和激活从浮点数转换为整数，以减少模型大小和加速推理。并以 KL 散度作为例子讲解校准方法和量化粒度控制来平衡模型精度和性能。 训练后量化的方式 训练后量化的方式主要分为动态和静态两种。 其核心是计算量化比例因子，使用静态量化后的模型进行预测，在此过程中量化模型的缩放因子会根据输入数据的分布进行调整。相比量化训练，静态离线量化不需要重新训练，可以快速得到量化模型。 推理结构 端侧量化推理的结构方式主要由 3 种，分别是下图 (a) FP32 输入 FP32 输出、(b) FP32 输入 INT8 输出、(c) INT8 输入 INT32 输出 INT8 卷积如下图所示 数据量化涉及 Quantize，Dequantize 和 Requantize 等 3 种操作： 量化过程 量化 将 FP32 数据量化为 INT8。
1.2K10编辑于 2024-12-06 - 来自专栏AIGC 先锋科技
上交大 & 上海 AI 实验室 & ViVO 强势推出 TerDiT ，极低比特量化感知训练和和高效部署方案 ！！！
[31]提出将量化感知低秩 Adapter （QALoA）与PTQ方法结合使用，从而提高了评估结果。作为PTQ的替代方法，专门为低比特扩散模型量化引入了量化感知训练（QAT）方法。 基于这些进展，作者首次引入了针对三值DiT模型的量化感知训练和高效部署方案。 3 TerDiT 在本节中，作者介绍了TerDiT框架，该框架旨在进行仅权重量化感知训练以及大规模三元DiT模型的效率部署。 三元DiT块进一步在adaLN模块中添加了RMS规范，以进行更好的三元化感知训练。 量化函数。 量化函数表述为： 其中设置为一个很小的值（例如），以避免除以0，以及 TerDiT是一个仅权重量化的方案，作者不量化激活。 量化感知训练方案。
37410编辑于 2024-07-08 - 来自专栏集智书童
上交大 & 上海 AI 实验室 & ViVO 强势推出 TerDiT ，极低比特量化感知训练和和高效部署方案 ！！！
[31]提出将量化感知低秩 Adapter （QALoA）与PTQ方法结合使用，从而提高了评估结果。作为PTQ的替代方法，专门为低比特扩散模型量化引入了量化感知训练（QAT）方法。 基于这些进展，作者首次引入了针对三值DiT模型的量化感知训练和高效部署方案。 3 TerDiT 在本节中，作者介绍了TerDiT框架，该框架旨在进行仅权重量化感知训练以及大规模三元DiT模型的效率部署。 三元DiT块进一步在adaLN模块中添加了RMS规范，以进行更好的三元化感知训练。 量化函数。 量化函数表述为： 其中设置为一个很小的值（例如），以避免除以0，以及 TerDiT是一个仅权重量化的方案，作者不量化激活。 量化感知训练方案。
72710编辑于 2024-05-30 - 来自专栏深度学习自然语言处理
COLING 2020 | 字符感知预训练模型CharBERT
本期推送介绍了哈工大讯飞联合实验室在自然语言处理重要国际会议COLING 2020上发表的工作，提出了一种字符感知预训练模型CharBERT，在多个自然语言处理任务中取得显著性能提升，并且大幅度提高了模型的鲁棒性 我们在方法上主要解决了这两个问题，其主要贡献如下： 我们提出了一种字符感知预训练模型CharBERT，可以在已有预训练模型的基础上融合字符层级的信息； 我们在问答、文本分类和序列标注三类任务的8个数据集上进行了验证 图3 Character Encoder示意图 我们将整个输入序列看成字符序列，词之间使用一个空字符隔开。 与之前工作不同的是，我们同时考虑问答、文本分类和序列标注三类任务，而不仅仅是某一类任务上的鲁棒性，整体鲁棒性对比结果如下表3所示。 表3 鲁棒性测试 ? 总结 本文主要基于目前预训练模型表示粒度上不完整和不鲁棒的两个问题，提出了字符感知预训练模型CharBERT，通过在已有预训练架构上融入字符信息来解决这些问题。
99110发布于 2020-12-03 - 来自专栏DrugOne
结构感知的蛋白质预训练
这篇文章设计了针对蛋白质结构的预训练任务，并运用双层优化和互信息捕捉序列信息和结构信息的一致性，在下游任务上取得了当前最好的结果。 更进一步，作者利用预训练好的蛋白质语言模型增强蛋白质结构的自监督学习，并且提出一种伪双层优化方案去保证蛋白质序列信息和结构信息的一致性。下游任务的实验验证了作者提出的方法的有效性。 总结 在这篇文章里， 作者提出基于蛋白质结构的预训练。基于图神经网络的两个自监督任务很好地捕捉蛋白质的结构信息，同时，伪双层优化保证了蛋白质序列信息和结构信息的一致性。
28330编辑于 2022-11-28 - 来自专栏GiantPandaCV
MXNet实现卷积神经网络训练量化
对训练好的网络做量化，在实践中尝试过TensorRT的后训练量化算法，在一些任务上效果还不错。 但是如果能在训练过程中去模拟量化的过程，让网络学习去修正量化带来的误差，那么得到的量化参数应该是更准确的，而且在实际量化推断中模型的性能损失应该能更小。 而训练量化我理解就是在forward阶段去模拟量化这个过程，是把权值和激活值量化到再反量化回有误差的，所以训练过程还是浮点。 3. 实现细节 在实现过程中我没有按照论文的方法量化到无符号8bit，而是有符号8bit，第一是因为无符号8bit量化需要引入额外的零点，增加复杂性，其次在实际应用过程中都是量化到有符号8bit。 模拟量化卷积层示例图 具体实现的时候就是按照论文中的这个模拟量化卷积层示例图去写训练网络结构的。 4.
1.3K20发布于 2020-03-20 - 来自专栏GiantPandaCV
海思NNIE之PFPLD训练与量化
之前写了关于海思NNIE的一些量化部署工作，笔者不才，文章没有写得很具体，有些内容并没有完全写在里面。好在目前看到了一些使用nniefacelib脱坑的朋友，觉得这个工程还是有些用的。 PRNet是一个非常优秀的3D人脸方面的项目。论文也写的很精彩，强烈推荐去看。目前在活体检测领域用其渲染的depth map作为伪标签进行训练，已经成为了一种标配性的存在。 示例图片 四、量化 过去一周，笔者对训练代码进行了整理，完成了多种版本的转换工作，包括 pytorch caffe ncnn nnie 听说有小伙伴将这套模型跑到了ios上，说不定之后会放出来。 然后要将模型转换为caffe，那我们选择了onnx作为过度环节 python convert_to_onnx.py python3 -m onnxsim . 量化精度 Github地址如下： https://github.com/Oneflow-Inc/oneflow
1.6K20发布于 2020-08-04 - 来自专栏AI异构
AdaRound：训练后量化的自适应舍入
本文发现，这不是最佳的量化策略。本文提出了 AdaRound，一种用于训练后量化的更好的权重舍入机制，它可以适应数据和任务损失。 AdaRound 不仅比舍入取整有显著的提升，而且还为几种网络和任务上的训练后量化建立了新的最新技术。 在全面的研究中，表明 AdaRound 为几个网络和任务（包括 ResNet18，ResNet50，MobilenetV2，InceptionV3 和 DeeplabV3）提供了最新的训练后量化新技术。 这意味着在进行训练后量化时，通过仔细舍入权重，可以获得很多收益。本文的其余部分旨在设计一种有充分根据和计算效率的舍入机制。 ? 基于任务损失的 Rounding 在量化预训练的NN时，我们的目标是最大程度地减少由于量化引起的性能损失。
2.8K11发布于 2021-03-09 - 来自专栏GiantPandaCV
Pytorch实现卷积神经网络训练量化（QAT）
缩放系数Delta 3. 非对称量化 image.png 4. 中部小结 将上面两种算法直接应用到各个网络上进行量化后(训练后量化PTQ)测试模型的精度结果如下： ? 红色部分即将上面两种量化算法应用到各个网络上做精度测试结果 5. 训练模拟量化 我们要在网络训练的过程中模型量化这个过程，然后网络分前向和反向两个阶段，前向阶段的量化就是第二节和第三节的内容。 对于权重缩放因子还是和第2,3节的一致，即： weight scale = max(abs(weight)) / 127 但是对于激活值的缩放因子计算就不再是简单的计算最大值，而是在训练过程中通过滑动平均 bias设置为None，即训练的时候不量化bias。 然后白皮书上提供的一些分类网络的训练模拟量化精度情况如下： ?
4.2K40发布于 2020-08-04 - 来自专栏Ldpe2G的个人博客
卷积神经网络训练模拟量化实践
对训练好的网络做量化，在实践中尝试过TensorRT[5][8]的后训练量化算法，效果还不错。 但是如果能在训练过程中去模拟量化的过程，让网络学习去修正量化带来的误差， 那么得到的量化参数应该是更准确的，而且在实际量化推断中模型的性能损失应该能更小。 而本文的内容就是介绍论文[3][4]和复现其过程中的一些细节。 而对于权值还有一个小的技巧，就是量化到[-127, 127]： 具体为什么这么做，论文中说了是为了实现上的优化，具体解释可以看论文[3]附录B ARM NEON details这一小节。 而训练量化说白了就是在forward阶段去模拟量化这个过程，本质就是把权值和激活值量化到8bit 再反量化回有误差的32bit，所以训练还是浮点，backward阶段是对模拟量化之后权值的求梯度， 然后用这个梯度去更新量化前的权值
1.9K30发布于 2019-01-13
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号