- 综合排序
- 最热优先
- 最新优先
- 来自专栏GiantPandaCV
INT8量化训练
【GiantPandaCV导读】本文聊了两篇做INT8量化训练的文章，量化训练说的与quantization-aware Training有区别，量化训练指的是在模型训练的前向传播和后向传播都有INT8 Unified INT8也是类似minimize量化后梯度与原来梯度的量化误差Error的思想，与Distribution Adaptive INT8不同的是通过收敛性分析方程，发现可以通过降低学习率和减少梯度量化误差 所以这两种分布： 通过实验设置为0.3 Magnitude-aware Clipping Strategy： 这个cliiping是在寻找最优截断阈值s 量化误差分析： （3） ， 是梯度的分布 Unified INT8也是类似minimize量化后梯度与原来梯度的量化误差Error的思想，Unified INT8是通过收敛性分析方程，发现了可以通过降低学习率和减少梯度量化误差。 -反量化后的梯度， 是学习率，Term(3)说明要降低学习率。
1.4K30发布于 2021-04-30 - 来自专栏模型压缩
INT8量化训练
【导读】本文聊了两篇做INT8量化训练的文章，量化训练说的与quantization-aware Training有区别，量化训练指的是在模型训练的前向传播和后向传播都有INT8量化。 Unified INT8也是类似minimize量化后梯度与原来梯度的量化误差Error的思想，与Distribution Adaptive INT8不同的是通过收敛性分析方程，发现可以通过降低学习率和减少梯度量化误差 ： $E=\int{g{\min }}^{g_{\max }}|g-\hat{g}| f(g) p(g) d g$（3） $f(g)=e^{\alpha|g|}，p(g)$ 是梯度的分布。 Unified INT8也是类似minimize量化后梯度与原来梯度的量化误差Error的思想，Unified INT8是通过收敛性分析方程，发现了可以通过降低学习率和减少梯度量化误差。 ， $\eta{t}$ 是学习率，Term(3)说明要降低学习率。
1.6K00发布于 2021-06-06 - 来自专栏机器学习AI算法工程
PyTorch模型静态量化、保存、加载int8量化模型
因此，在工业界对模型量化有非常强烈的需求。 3、量化的对象是什么？ 一般来说，会对模型的哪些数据进行量化。主要有以下三个。实际中可能是量化其中的多个甚至全部。 误差 Level 3:量化感知训练 需要数据，需要反向传播。 3、量化误差分析难点 量化在计算过程中会引入误差，导致网络部署精度相对于 FP32 会损失部分表达。 PyTorch模型训练完毕后静态量化、保存、加载int8量化模型 1. pth_to_int.py是对Pytorch的float32模型转成int8模型。 evaluate_model.py里加载int8模型进行推理。 3.
8.5K42编辑于 2023-02-28 - 来自专栏机器学习、深度学习
CNN模型 INT8 量化实现方式（一）
当前CNN模型基本都是 float32，将其转换为 INT8 可以降低模型大小，提升速度，精度降低的也不太多。那么在实际中如何实现这个量化了？ 这里主要涉及两个问题：1）就是 int8量化；2）就是 int8 模型的使用 基于Caffe-Int8-Convert-Tools进行caffe模型转int8量化 在 NCNN 框架上运行 https ://blog.csdn.net/u014644466/article/details/83278954 首先是基于 Caffe-Int8-Convert-Tools 这个工具进行 int8量化 https://github.com/BUG1989/caffe-int8-convert-tools int8 模型的使用 How to use Int8 inference https://github.com cpp file. ...... ncnn::Net squeezenet; squeezenet.set_conv_model(CONV_INT8); //set the Int8
5.2K20发布于 2019-05-26 - 来自专栏机器学习、深度学习
CNN模型 int8量化实现方式（二）
TensorFlow 先介绍卸载， 如果你的tensorflow是用pip安装的，那下面简单的命令就可以完成卸载了 sudo pip uninstall tensorflow_gpu sudo pip3 uninstall tensorflow_gpu 这里介绍一个完全基于 Tensorflow 的模型量化方法，以 yolo v3 为例 1）利用现有yolo v3 模型 生成 Tensorflow pb 模型 基于 https://github.com/mystic123/tensorflow-yolo-v3 Run python . build tensorflow/tools/quantization:quantize_graph 3.模型量化: sudo bazel-bin/tensorflow/tools/quantization ，处于开发阶段，tensorflow lite 是应该已经支持 量化模型的运行， 而 tensorflow 本身的支持很有限，貌似正在集成
1.9K40发布于 2019-05-26 - 来自专栏叶子的开发者社区
【yolov5】onnx的INT8量化engine
BATCH 模型量化次数 height width 输入图片宽和高 CALIB_IMG_DIR 训练图片路径，用于量化 onnx_model_path onnx模型路径 engine_model_path INT8的例子 https://github.com/NVIDIA/TensorRT/tree/master/samples/python/int8_caffe_mnist 如果足够NB是可以根据官方的这个例子修改一下直接实现 onnx的INT8量化的 但是奈何我连半桶水都没有，只有一滴水，但是这个例子中的tensorrt版本是新的，于是我尝试将上面那位大佬的代码修改为使用新版的tensorrt 居然成功了？？！! config.int8_calibrator = Calibrator(calibration_stream, calibration_table_path) print('Int8 images to calib.'.format(len(self.img_list))) self.calibration_data = np.zeros((self.batch_size,3,
1.1K70编辑于 2023-11-13 - 来自专栏活动
DeepSeek 量化压缩实战：INT8 精度保持方案详解
其中，INT8 量化将模型参数从 32 位浮点数（FP32）转换为 8 位整数（INT8），显著减少了模型的存储空间和计算量。 其优势包括：存储空间减少：INT8 参数占用的存储空间仅为 FP32 的 1/4。计算速度提升：整数运算通常比浮点运算更快，尤其是在硬件支持的情况下。 模型的具体结构如下：层类型 输入通道输出通道卷积核大小步长填充激活函数卷积层 1 3 32 3x3 1 1 ReLU 池化层 1 2x2 2 卷积层 2 32 64 3x3 1 1 ReLU 池化层 2 2x2 2 全连接层 # 量化压缩示例代码import tensorflow_model_optimization as tfmot# 应用 INT8 量化quantize_annotate = tfmot.quantization.keras.quantize_annotatequantize_scope
1.6K20编辑于 2025-03-27 - 来自专栏AI SPPECH
129_量化技术：INT8与动态量化 - 推导压缩的精度损失公式
2字节 BF16 16 1 8 7 ±1.4×10^-45 到 ±3.4×10^38 10^-2 2字节 INT8 8 1 0 7 -128 到 127 1 1字节 INT4 4 1 0 3 -8 到 和min分别是浮点数的最大值和最小值，b是量化后的位数（如INT8为8位）。 通过在训练过程中模拟量化和反量化操作，模型可以学习适应量化带来的精度损失。这种方法通常能够获得最佳的量化效果，但需要重新训练模型。 3. INT8量化技术详解 3.1 INT8量化原理 INT8量化是指将32位浮点数映射到8位整数的过程。在LLM中，主要对权重和激活值进行INT8量化。 案例研究：量化LLaMA 3模型 9.1 实验设置 我们将使用最新的LLaMA 3-70B模型进行量化实验，比较不同量化方法的效果。
58910编辑于 2025-11-16 - 来自专栏我爱计算机视觉
YOLO系列模型的部署、精度对齐与int8量化加速
麻雀虽小但五脏俱全，本项目系统介绍了YOLO系列模型在TensorRT上的量化方案，工程型较强，我们给出的工具可以实现不同量化方案在Yolo系列模型的量化部署，无论是工程实践还是学术实验，相信都会对你带来一定的帮助 详解TensorRT量化的三种实现方式 TensorRT量化的三种实现方式包括trt7自带量化、dynamic range api，trt8引入的QDQ算子。 engine和问题engine进行对比，我们发现是一些层的int8量化会出问题，由此找出问题量化节点解决。 实践证明，我们采用上述配置的分离PTQ量化在yolov8上可以取得基本不掉点的int8量化精度。 针对YoloV6这种难量化模型，分别采用部分量化和QAT来弥补量化精度损失 在部分量化阶段，我们采用量化敏感层分析技术来判断哪些层最需要恢复原始精度，给出各种metric的量化敏感层实现。
1.1K20编辑于 2023-11-07 - 来自专栏AI人工智能
模型量化大揭秘：INT8、INT4量化对推理速度和精度的影响测试
在我过去两年的实践中，我系统性地测试了INT8和INT4量化技术在不同模型架构上的表现，发现量化技术不仅能够将模型大小压缩2-4倍，还能在特定硬件上实现1.5-3倍的推理速度提升。然而，量化并非银弹。 INT8量化技术深入实践2.1 INT8量化的硬件优势图1：INT8量化策略选择流程图在我的测试中，INT8量化在现代CPU和GPU上都有显著的性能提升：import timeimport torchimport 3. 而INT4量化虽然在精度保持方面面临更大挑战，但其8倍的压缩比和2-3倍的速度提升使其在资源受限场景下具有重要价值。 量化优化关键词标签#模型量化 #INT8量化 #INT4量化 #推理优化 #AI部署
2.1K21编辑于 2025-08-20 - 来自专栏计算机视觉战队
Yolo系列模型的部署、精度对齐与int8量化加速
2、详解TensorRT量化的三种实现方式 TensorRT量化的三种实现方式包括trt7自带量化、dynamic range api，trt8引入的QDQ算子。 engine和问题engine进行对比，我们发现是一些层的int8量化会出问题，由此找出问题量化节点解决。 3、详解MQbench量化工具包在TensorRT上的应用 我们研究了基于MQbench框架的普通PTQ算法和包括Adaround高阶PTQ算法，且启发于Adaround高阶PTQ算法。 实践证明，我们采用上述配置的分离PTQ量化在yolov8上可以取得基本不掉点的int8量化精度。 4、针对YoloV6这种难量化模型，分别采用部分量化和QAT来弥补量化精度损失 在部分量化阶段，我们采用量化敏感层分析技术来判断哪些层最需要恢复原始精度，给出各种metric的量化敏感层实现。
1.5K20编辑于 2023-11-08 - 来自专栏GiantPandaCV
深度学习算法优化系列二十二 | 利用TensorRT部署YOLOV3-Tiny INT8量化模型
INT8的YOLOV3-Tiny模型。 和上一节一样，这里仍然是走ONNX->TRT这条路，也就是说我这里的INT8量化是在TensorRT中使用nvonnxparser解析了YOLOV3-Tiny 的ONNX模型之后完成的，似乎这也是比较主流的方法 所以，我这里走的路就是直接解析ONNX模型->INT8量化->序列化为TRT文件->完成推理。 3. TensorRT INT8量化核心步骤 接着上一次推文的介绍，你已经可以获得YOLOV3-Tiny的FP32的ONNX文件。 量化的Table文件以及INT8量化后的TRT序列化文件，后面就可以直接加载这个文件进行推理了。
1.9K21发布于 2020-04-15 - 来自专栏奇点大数据
话说量化（3）
上次咱们聊了聊市场催生的根本原因，是由于人们为了降低交易的成本而“发明”出来并一直保留至今的。在几千年的过程中，随着运输技术和信息技术的不断发展，市场正在以更快速的方式为我们提供者信息的交互能力，也就最大程度地降低了交互的成本。
35310发布于 2018-09-14 - 来自专栏GiantPandaCV
深度学习算法优化系列十四 | OpenVINO Int8量化文档翻译(Calibaration Tool)
前言 在2020年以前，OpenVINO(这里以OpenVINO2019年最新的一个版本为例)的Int8量化工具实现在openvino_2019.3.379\deployment_tools\tools 要做Int8量化首先需要将你需要部署的模型Caffe/Pytorch/Tensorflow转化为OpenVINO的IR中间模型。 Python* Calibaration Tool 介绍 校准工具可量化给定的FP16或FP32模型，并在使模型输入保持原始精度的情况下生成低精度的8位整数（INT8）模型。 因此，所有层均视为在INT8中执行。使用此模式可以了解将模型转换为INT8精度的潜在性能提升，并得出有关运行标准模式例程的结论。 inputImage.bmp -m <path_to_model>/inception_v1.xml -d CPU -api async 典型工作流程示例（简化模式） 要以简化模式运行校准工具，请使用以下命令： python3
1.5K30发布于 2020-02-27 - 来自专栏腾讯开源的专栏
ncnn发布20210507版本，int8量化推理大幅优化超500%
仰赖ncnn社区开发者的贡献，ncnn在2019年年初便已实现int8模型量化和推理。但因后来失去社区开发者的持续投入，ncnn的int8量化推理效率迟迟没有加速。 本次20210507版本，ncnn的int8量化工具和整个int8推理计算架构被进行了彻底重构，作者删除了老旧的kernel实现，亲自写了大量arm neon汇编，4w+行代码，用上armv8.2 dot 最终，在int8量化和推理加速上，ncnn提供了一个成品，给出了一个答案。 table完全不变 int8模型量化流程完全不变 ncnn int8量化工具(ncnn2table)新特性 支持 kl aciq easyquant 三种量化策略 支持多输入的模型量化 支持RGB/RGBA /BGR/BGRA/GRAY输入的模型量化 大幅改善多线程效率 离线进行(反量化-激活-量化)->(requantize)融合，实现端到端int8量化推理 ncnn int8量化推理新特性 conv/convdw
1.6K40发布于 2021-05-10 - 来自专栏GiantPandaCV
深度学习算法优化系列三 | Google CVPR2018 int8量化算法
从上面的介绍引出这篇论文的目的，即是要将乘法的输入：权重和激活值都量化成比较小的位宽，即int8量化。 训练后量化比较容易理解，即将训练后的模型中的权重从float32量化到int8，并以int8的形式保存，但在实际推理时，还需要反量化为浮点数类型进行计算。 3. 对于int8量化，就是8-bit整数，对于B-bit量化，q就是B-bit的实数，对于有bias的情况，就固定量化为·32-bit的实数。 2、输入 量化的卷积核rhs_quantized_val, uint8类型, 偏移量 rhs_zero_point, int32类型。 3、转换uint8到int32类型。
3K30发布于 2019-12-27 - 来自专栏叶子的开发者社区
【YOLOv5】【模型压缩与加速】【量化】FP32、FP16、INT8
量化是将模型参数的存储类型从高精度存储降到低精度存储，从而达到减小模型体积大小、加快模型推理速度的效果。 INT8量化 我们还可以进一步量化，我们可以将模型量化为int8位存储，但是由于yolov5自带的export的int8导出效果好像并不好，因此int8量化要复杂一下。 我们首先拿到onnx格式的模型，这个我们在FP32量化的时候已经拿到了，在网上搜罗了一番，勉强可以找到一个将onnx转换为int8存储的engine的代码，但是由于这个代码有点年份了，使用到的TensorRT 于是，经过一晚上加一下午代码的愉悦修改 具体请看【yolov5】onnx的INT8量化engine-CSDN博客 终于把代码给改对了，最后拿到的模型大小只有4MB。 但是int8的推理速度和FP16的差不多。 Int8目标检测的效果也要差上一些，从图中可以看到有些鸡没有被检测到，可见改用int8存储后的模型精度要差上一些。
3.3K30编辑于 2023-11-13 - 来自专栏Jungle笔记
int8 & int8，你栽过这样的跟头吗？
本来和师弟在讨论某个网络在量化过程中由于出现负向饱和造成误差的问题，结果师弟这一番言论直接震惊到我了。 如上图，同样是0xB3，如果是int8_t，则为-77；如果是uint8_t，则是179。 项目中稍不注意，则可能碰上由有符号数和无符号数引起的问题。 压缩可执行程序大小、减少网络传输字节数量、压缩权重范围、神经网络量化……各式各样的应用都追求更小的size。以加快程序运行速度、减少占用的存储空间。
1.8K20编辑于 2022-07-24 - 来自专栏量化投资与机器学习
3·15特刊：打假量化圈
量化投资与机器学习微信公众号，是业内垂直于量化投资、对冲基金、Fintech、人工智能、大数据等领域的主流自媒体。 今天是3月15日，公众号为全网Quant带来一期特别策划内容——量化圈的那些割韭菜的人和事。 希望大家以后避免踩雷！ 『假』 大师 这一趴真的不想给很多人蹭热度！ 总结下来就是：太多了！ 『假』 培训 随着量化投资的普及，培训市场也是闻风而动，四面开花。朋友圈时不时的出现这样的分享及广告：9.9元Python量化入门到精通，9.9元人工智能量化培训，9.9元量化实战送100套策略。 入门； 3、借人工智能的幌子：讲一讲几个Python的机器学习工具包，就说自己是人工智能量化培训； 4、以数字币为标的：介绍一下个交易所的API接口，无意间给学员植入数字币量化致富的概念。 『假』 书籍 市面上的量化书籍太多了，太乱了，太无耻了...... 打开京东搜索“量化”，乱七八糟扑面而来！有种向地摊文学靠拢的迹象。
50420编辑于 2022-03-15 - 来自专栏GPUS开发者
在NVIDIA Drive PX上利用TensorRT 3 进行快速INT8推理
最新的TensorRT 3版本引入了一个功能齐全的Python API，使研究人员和开发人员能够使用熟悉的Python代码优化和序列化DNN。 使用TensorRT 3，您可以在Python、云服务或c++中部署模型，用于实时应用程序，如运行在NVIDIA DRIVE PX AI汽车计算机上的自动驾驶软件。 在这篇文章中，我将向您展示如何在主机上使用TensorRT 3 Python API来缓存语义分割网络的校准结果，以便使用INT8精度进行部署。 为了评估性能，我使用了19个类和7个类别，如图3所示。 图3.Cityscapes基准中使用的类和类别，以及IoU(交叉-联合)度量 对于评估，我使用IoU(交叉-联合)度量，它提供两个平均分数，一个是类的，另一个是类别的。
2.1K30发布于 2019-04-29
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号