- 综合排序
- 最热优先
- 最新优先
- 来自专栏GiantPandaCV
INT8量化训练
【GiantPandaCV导读】本文聊了两篇做INT8量化训练的文章，量化训练说的与quantization-aware Training有区别，量化训练指的是在模型训练的前向传播和后向传播都有INT8 Pytorch实现卷积神经网络训练量化(QAT) 一、Distribution Adaptive INT8 ? Unified INT8也是类似minimize量化后梯度与原来梯度的量化误差Error的思想，与Distribution Adaptive INT8不同的是通过收敛性分析方程，发现可以通过降低学习率和减少梯度量化误差 Unified INT8也是类似minimize量化后梯度与原来梯度的量化误差Error的思想，Unified INT8是通过收敛性分析方程，发现了可以通过降低学习率和减少梯度量化误差。 知乎链接： （量化 | INT8量化训练）https://zhuanlan.zhihu.com/p/364782854
1.4K30发布于 2021-04-30 - 来自专栏模型压缩
INT8量化训练
【导读】本文聊了两篇做INT8量化训练的文章，量化训练说的与quantization-aware Training有区别，量化训练指的是在模型训练的前向传播和后向传播都有INT8量化。 Pytorch实现卷积神经网络训练量化(QAT) 一、Distribution Adaptive INT8 文章的核心idea是：Unified INT8发现梯度的分布不遵从一个分布即不能像权重一样归于高斯分布 ，Distribution Adaptive INT8认为梯度可以channel-wise看，分成两种分布，一个高斯分布，一个是倒T形分布，这样去minimize量化后梯度与原来梯度的量化误差Error Unified INT8也是类似minimize量化后梯度与原来梯度的量化误差Error的思想，与Distribution Adaptive INT8不同的是通过收敛性分析方程，发现可以通过降低学习率和减少梯度量化误差 Unified INT8也是类似minimize量化后梯度与原来梯度的量化误差Error的思想，Unified INT8是通过收敛性分析方程，发现了可以通过降低学习率和减少梯度量化误差。
1.6K00发布于 2021-06-06 - 来自专栏叶子的开发者社区
【yolov5】onnx的INT8量化engine
GitHub上有大佬写好代码，理论上直接克隆仓库里下来使用 git clone https://github.com/Wulingtian/yolov5_tensorrt_int8_tools.git 然后在yolov5_tensorrt_int8_tools的convert_trt_quant.py 修改如下参数 BATCH_SIZE 模型量化一次输入多少张图片 BATCH 模型量化次数 height INT8的例子 https://github.com/NVIDIA/TensorRT/tree/master/samples/python/int8_caffe_mnist 如果足够NB是可以根据官方的这个例子修改一下直接实现 onnx的INT8量化的 但是奈何我连半桶水都没有，只有一滴水，但是这个例子中的tensorrt版本是新的，于是我尝试将上面那位大佬的代码修改为使用新版的tensorrt 居然成功了？？！! cv2 BATCH_SIZE = 1 BATCH = 79 height = 640 width = 640 CALIB_IMG_DIR = '/content/drive/MyDrive/yolov5/
1.1K70编辑于 2023-11-13 - 来自专栏机器学习AI算法工程
PyTorch模型静态量化、保存、加载int8量化模型
5、量化的分类 量化主要分为离线量化：(Post Training Quantization,PTQ ) 和量化感知训练（Quantization Aware Training,QAT）。 举个例子，我们可以选用四舍五入「假设5.4 则取值为5，5.5 则取值为6」的原则，也可以选用最近左顶点「5.4 和 5.5 都取值为5」或者最近右顶点原则等。 PyTorch模型训练完毕后静态量化、保存、加载int8量化模型 1. pth_to_int.py是对Pytorch的float32模型转成int8模型。 evaluate_model.py里加载int8模型进行推理。 3. 加载int8模型不能和之前加载float32模型一样，需要将模型通过prepare（） , convert（）操作转成量化模型，然后load_state_dict加载进模型。 5.
8.5K42编辑于 2023-02-28 - 来自专栏机器学习、深度学习
CNN模型 INT8 量化实现方式（一）
当前CNN模型基本都是 float32，将其转换为 INT8 可以降低模型大小，提升速度，精度降低的也不太多。那么在实际中如何实现这个量化了？ 这里主要涉及两个问题：1）就是 int8量化；2）就是 int8 模型的使用 基于Caffe-Int8-Convert-Tools进行caffe模型转int8量化 在 NCNN 框架上运行 https ://blog.csdn.net/u014644466/article/details/83278954 首先是基于 Caffe-Int8-Convert-Tools 这个工具进行 int8量化 https://github.com/BUG1989/caffe-int8-convert-tools int8 模型的使用 How to use Int8 inference https://github.com cpp file. ...... ncnn::Net squeezenet; squeezenet.set_conv_model(CONV_INT8); //set the Int8
5.2K20发布于 2019-05-26 - 来自专栏机器学习、深度学习
CNN模型 int8量化实现方式（二）
那下面简单的命令就可以完成卸载了 sudo pip uninstall tensorflow_gpu sudo pip3 uninstall tensorflow_gpu 这里介绍一个完全基于 Tensorflow 的模型量化方法 /convert_weights_pb.py 2）完全基于 Tensorflow 的量化 https://blog.csdn.net/u011961856/article/details/76736103 1.源码编译安装tensorflow 可参考 https://blog.csdn.net/u011961856/article/details/76725411 2 编译量化工具 sudo bazel build tensorflow/tools/quantization:quantize_graph 3.模型量化: sudo bazel-bin/tensorflow/tools/quantization ，处于开发阶段，tensorflow lite 是应该已经支持 量化模型的运行， 而 tensorflow 本身的支持很有限，貌似正在集成
1.9K40发布于 2019-05-26 - 来自专栏活动
DeepSeek 量化压缩实战：INT8 精度保持方案详解
其中，INT8 量化将模型参数从 32 位浮点数（FP32）转换为 8 位整数（INT8），显著减少了模型的存储空间和计算量。 其优势包括：存储空间减少：INT8 参数占用的存储空间仅为 FP32 的 1/4。计算速度提升：整数运算通常比浮点运算更快，尤其是在硬件支持的情况下。 # 量化压缩示例代码import tensorflow_model_optimization as tfmot# 应用 INT8 量化quantize_annotate = tfmot.quantization.keras.quantize_annotatequantize_scope = tfmot.quantization.keras.quantize_apply(quantized_model)# 保存量化后的模型quantized_model.save('quantized_model.h5 # 模型评估示例代码# 加载量化后的模型from tensorflow.keras.models import load_modelquantized_model = load_model('quantized_model.h5
1.6K20编辑于 2025-03-27 - 来自专栏叶子的开发者社区
【YOLOv5】【模型压缩与加速】【量化】FP32、FP16、INT8
FP32量化 这个直接使用yolov5的export导出32位存储的 engine格式模型即可 python export.py --weights runs/train/exp4/weights/best.pt INT8量化 我们还可以进一步量化，我们可以将模型量化为int8位存储，但是由于yolov5自带的export的int8导出效果好像并不好，因此int8量化要复杂一下。 我们首先拿到onnx格式的模型，这个我们在FP32量化的时候已经拿到了，在网上搜罗了一番，勉强可以找到一个将onnx转换为int8存储的engine的代码，但是由于这个代码有点年份了，使用到的TensorRT 于是，经过一晚上加一下午代码的愉悦修改 具体请看【yolov5】onnx的INT8量化engine-CSDN博客 终于把代码给改对了，最后拿到的模型大小只有4MB。 但是int8的推理速度和FP16的差不多。 Int8目标检测的效果也要差上一些，从图中可以看到有些鸡没有被检测到，可见改用int8存储后的模型精度要差上一些。
3.3K30编辑于 2023-11-13 - 来自专栏AI SPPECH
129_量化技术：INT8与动态量化 - 推导压缩的精度损失公式
GPT-5和Claude 4.5等最新模型的参数量已经达到数千亿甚至上万亿，这给计算资源和内存带来了巨大压力。模型量化作为一种有效的压缩技术，正在成为解决这一挑战的关键方案。 本文将深入探讨LLM量化技术，特别是INT8和动态量化方法，推导其精度损失公式，并提供2025年最新的优化策略和实现代码。 和min分别是浮点数的最大值和最小值，b是量化后的位数（如INT8为8位）。 INT8量化技术详解 3.1 INT8量化原理 INT8量化是指将32位浮点数映射到8位整数的过程。在LLM中，主要对权重和激活值进行INT8量化。 9.2 实验结果 量化方法 位宽 模型大小 推理速度 精度损失 内存占用 FP16基线 16 140GB 100% 0% 140GB INT8静态量化 8 70GB 185% 2.3% 70GB INT8
58910编辑于 2025-11-16 - 来自专栏我爱计算机视觉
YOLO系列模型的部署、精度对齐与int8量化加速
详解TensorRT量化的三种实现方式 TensorRT量化的三种实现方式包括trt7自带量化、dynamic range api，trt8引入的QDQ算子。 engine和问题engine进行对比，我们发现是一些层的int8量化会出问题，由此找出问题量化节点解决。 实践证明，我们采用上述配置的分离PTQ量化在yolov8上可以取得基本不掉点的int8量化精度。 针对YoloV6这种难量化模型，分别采用部分量化和QAT来弥补量化精度损失 在部分量化阶段，我们采用量化敏感层分析技术来判断哪些层最需要恢复原始精度，给出各种metric的量化敏感层实现。 原文链接：https://www.hbblog.cn/%E6%A8%A1%E5%9E%8B%E9%83%A8%E7%BD%B2/mmyolo_tensorrt/ END
1.1K20编辑于 2023-11-07 - 来自专栏AI人工智能
模型量化大揭秘：INT8、INT4量化对推理速度和精度的影响测试
模型量化大揭秘：INT8、INT4量化对推理速度和精度的影响测试 Hello，我是摘星！ 在彩虹般绚烂的技术栈中，我是那个永不停歇的色彩收集者。 本文将基于我在多个实际项目中的量化实践经验，深入剖析INT8和INT4量化技术的原理、实现方法和性能表现。 INT8量化技术深入实践2.1 INT8量化的硬件优势图1：INT8量化策略选择流程图在我的测试中，INT8量化在现代CPU和GPU上都有显著的性能提升：import timeimport torchimport 98%25%快速部署INT8静态4.0x1.8x97-99%25%生产环境INT4分组8.0x2.2x88-95%12.5%资源受限5. 量化优化关键词标签#模型量化 #INT8量化 #INT4量化 #推理优化 #AI部署
2.1K21编辑于 2025-08-20 - 来自专栏奇点大数据
话说量化（5）
钱是越多越好吗？这个问题似乎不用回答，那是肯定的啊。试问在座的各位看客哪位不是在挣钱，挣更多的钱，挣更多更多的钱的路上奔跑着的呢？钱是一种交换物质（当然也可以是精神层面的）的重要工具，对于每个人都很重要。所以狭义来说，钱当然是越多越好。
49210发布于 2018-09-14 - 来自专栏计算机视觉战队
Yolo系列模型的部署、精度对齐与int8量化加速
2、详解TensorRT量化的三种实现方式 TensorRT量化的三种实现方式包括trt7自带量化、dynamic range api，trt8引入的QDQ算子。 engine和问题engine进行对比，我们发现是一些层的int8量化会出问题，由此找出问题量化节点解决。 实践证明，我们采用上述配置的分离PTQ量化在yolov8上可以取得基本不掉点的int8量化精度。 4、针对YoloV6这种难量化模型，分别采用部分量化和QAT来弥补量化精度损失 在部分量化阶段，我们采用量化敏感层分析技术来判断哪些层最需要恢复原始精度，给出各种metric的量化敏感层实现。 5、针对旋转目标检测，我们同样给出一种端到端方案，最后的输出就是NMS后的结果 通过将TensorRT中的EfficientNMS Plugin和mmcv中旋转框iou计算的cuda实现相结合，给出EfficientNMS
1.5K20编辑于 2023-11-08 - 来自专栏GiantPandaCV
深度学习算法优化系列十四 | OpenVINO Int8量化文档翻译(Calibaration Tool)
前言 在2020年以前，OpenVINO(这里以OpenVINO2019年最新的一个版本为例)的Int8量化工具实现在openvino_2019.3.379\deployment_tools\tools 要做Int8量化首先需要将你需要部署的模型Caffe/Pytorch/Tensorflow转化为OpenVINO的IR中间模型。 Python* Calibaration Tool 介绍 校准工具可量化给定的FP16或FP32模型，并在使模型输入保持原始精度的情况下生成低精度的8位整数（INT8）模型。 您可以在两种模式下运行校准工具： 标准模式以指定量化后的模型相对于原始模型在精度下降不超过一个阈值的方式运行。标准模式在量化过程中利用精度检查工具(. 因此，所有层均视为在INT8中执行。使用此模式可以了解将模型转换为INT8精度的潜在性能提升，并得出有关运行标准模式例程的结论。
1.5K30发布于 2020-02-27 - 来自专栏腾讯开源的专栏
ncnn发布20210507版本，int8量化推理大幅优化超500%
仰赖ncnn社区开发者的贡献，ncnn在2019年年初便已实现int8模型量化和推理。但因后来失去社区开发者的持续投入，ncnn的int8量化推理效率迟迟没有加速。 本次20210507版本，ncnn的int8量化工具和整个int8推理计算架构被进行了彻底重构，作者删除了老旧的kernel实现，亲自写了大量arm neon汇编，4w+行代码，用上armv8.2 dot 最终，在int8量化和推理加速上，ncnn提供了一个成品，给出了一个答案。 table完全不变 int8模型量化流程完全不变 ncnn int8量化工具(ncnn2table)新特性 支持 kl aciq easyquant 三种量化策略 支持多输入的模型量化 支持RGB/RGBA /BGR/BGRA/GRAY输入的模型量化 大幅改善多线程效率 离线进行(反量化-激活-量化)->(requantize)融合，实现端到端int8量化推理 ncnn int8量化推理新特性 conv/convdw
1.6K40发布于 2021-05-10 - 来自专栏GiantPandaCV
深度学习算法优化系列三 | Google CVPR2018 int8量化算法
从上面的介绍引出这篇论文的目的，即是要将乘法的输入：权重和激活值都量化成比较小的位宽，即int8量化。 训练后量化比较容易理解，即将训练后的模型中的权重从float32量化到int8，并以int8的形式保存，但在实际推理时，还需要反量化为浮点数类型进行计算。 而训练中量化意思是在训练的过程中引入伪量化操作，即在前向传播的时候，采用量化后的权重和激活值，但在反向传播的时候仍然对float类型的权重进行梯度下降，前向推理时全部使用int8的方式进行计算。 对于int8量化，就是8-bit整数，对于B-bit量化，q就是B-bit的实数，对于有bias的情况，就固定量化为·32-bit的实数。 5、输入量化的乘子quantized_multiplier, int32类型和右移次数记录right_shift, int类型。将int32_accumulator右移right_shift位。
3K30发布于 2019-12-27 - 来自专栏Jungle笔记
int8 & int8，你栽过这样的跟头吗？
本来和师弟在讨论某个网络在量化过程中由于出现负向饱和造成误差的问题，结果师弟这一番言论直接震惊到我了。 压缩可执行程序大小、减少网络传输字节数量、压缩权重范围、神经网络量化……各式各样的应用都追求更小的size。以加快程序运行速度、减少占用的存储空间。
1.8K20编辑于 2022-07-24 - 来自专栏GiantPandaCV
深度学习算法优化系列二十二 | 利用TensorRT部署YOLOV3-Tiny INT8量化模型
所以，我这里走的路就是直接解析ONNX模型->INT8量化->序列化为TRT文件->完成推理。 3. 首先宏观的说一下，TensorRT对一个模型进行全INT8量化包含权重和激活值两大部分，对于权重采用的是直接非饱和量化，也就是说直接统计权重的最大值和最小值就可以完成量化。 因此，在INT8量化之前我们首先需要准备一下校准集。这里怎么准备呢？ 量化的Table文件以及INT8量化后的TRT序列化文件，后面就可以直接加载这个文件进行推理了。 5. 1050Ti的速度测试 YOLOV3-Tiny TRT模型 Inference Time FP32 17ms INT8 4ms 在「1050Ti」上运行了20个Loop测试了速度，发现前向推理的速度有
1.9K21发布于 2020-04-15 - 来自专栏大模型应用
大模型应用：大模型量化：INT4与INT8核心差异、选型指南及代码实现.53
）： 存储需求 = 10亿 × 4字节 = 40亿字节 ≈ 3.73GB量化后： INT8：10亿 × 1字节 = 10亿字节 ≈ 0.93GBINT4：10亿 × 0.5字节 = 5亿字节 ≈ 0.47GB2 ，获得显著的效率提升INT4则代表了激进的优化：以更大的精度代价，换取极致的效率这就像选择交通工具：INT8是高速铁路：比飞机慢一些，但更稳定可靠INT4是廉价航空：可能有些颠簸，但价格便宜、覆盖更广5 ，标注相邻值间隔：INT8为0.031，INT4为0.5突出INT4值间距是INT8的16倍图4-5：图像质量对比，直观展示不同量化级别的视觉差异 图4：256色图像（平滑自然）图5：16色图像（明显像素化 5. ：INT4 模型的显存占用约为 INT8 的 50%，FP32 的 12.5%；推理速度：INT4 模型的推理速度是 INT8 的 1.7 倍，FP32 的 5 倍；精度表现：INT4 模型的 PPL
59754编辑于 2026-03-23 - 来自专栏AI机器学习与深度学习算法
机器学习入门 5-4 向量化
本小节主要介绍使用向量化的方式提升性能。 简单线性回归 先来回归一下简单线性回归优化目标以及通过最小二乘的方式求得的参数a，b的解析解。 ? 在上一个小节中，我们是通过循环的方式来求解分子和分母，前面也说过，使用for循环的这种方式，性能相对是比较低的，如果有办法将for循环的计算变成向量之间的计算的话，得益于numpy模块性能就会大大的提升，这就是向量化运算含义 上面我们将对应元素相乘然后相加的操作看成是向量之间的点乘，这也是为什么在最小二乘求解a的解析解的时候要把式子写成相乘累加的形式，这样就可以将其转换成向量之间的运算，进行向量化运算提升性能。 使用向量化运算实现线性回归算法 前面使用sklearn的思想封装了一个名为"SimpleLinearRegression1"的类，在类中使用for循环的方式来求解参数a的值。 ? ? ? ? 实现向量化的代码只需将for循环部分改成向量点乘即可： ? ? ? ? 为了比较两者的性能，将两种方式导入jupyter中，通过魔法命令来验证性能。 ? ? ? ?
89320发布于 2019-11-13
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号