- 综合排序
- 最热优先
- 最新优先
- 来自专栏GiantPandaCV
INT8量化训练
【GiantPandaCV导读】本文聊了两篇做INT8量化训练的文章，量化训练说的与quantization-aware Training有区别，量化训练指的是在模型训练的前向传播和后向传播都有INT8 Pytorch实现卷积神经网络训练量化(QAT) 一、Distribution Adaptive INT8 ? Unified INT8也是类似minimize量化后梯度与原来梯度的量化误差Error的思想，与Distribution Adaptive INT8不同的是通过收敛性分析方程，发现可以通过降低学习率和减少梯度量化误差 Unified INT8也是类似minimize量化后梯度与原来梯度的量化误差Error的思想，Unified INT8是通过收敛性分析方程，发现了可以通过降低学习率和减少梯度量化误差。 知乎链接： （量化 | INT8量化训练）https://zhuanlan.zhihu.com/p/364782854
1.4K30发布于 2021-04-30 - 来自专栏模型压缩
INT8量化训练
【导读】本文聊了两篇做INT8量化训练的文章，量化训练说的与quantization-aware Training有区别，量化训练指的是在模型训练的前向传播和后向传播都有INT8量化。 Pytorch实现卷积神经网络训练量化(QAT) 一、Distribution Adaptive INT8 文章的核心idea是：Unified INT8发现梯度的分布不遵从一个分布即不能像权重一样归于高斯分布 ，Distribution Adaptive INT8认为梯度可以channel-wise看，分成两种分布，一个高斯分布，一个是倒T形分布，这样去minimize量化后梯度与原来梯度的量化误差Error Unified INT8也是类似minimize量化后梯度与原来梯度的量化误差Error的思想，与Distribution Adaptive INT8不同的是通过收敛性分析方程，发现可以通过降低学习率和减少梯度量化误差 Unified INT8也是类似minimize量化后梯度与原来梯度的量化误差Error的思想，Unified INT8是通过收敛性分析方程，发现了可以通过降低学习率和减少梯度量化误差。
1.6K00发布于 2021-06-06 - 来自专栏机器学习AI算法工程
PyTorch模型静态量化、保存、加载int8量化模型
所以，模型量化就是将训练好的深度神经网络的权值，激活值等从高精度转化成低精度的操作过程，例如将32位浮点数转化成8位整型数int8，同时我们期望转换后的模型准确率与转化前相近。 大体可分为几类： 16位 8位 最常见也相对成熟。各种主流框架和硬件都支持。 8位以下目前而言学界相对玩得多些，工业界有少量支持，但还没有太成熟。 一般来说，对于8位量化，全局量化参数影响不明显，但到更低精度，就会对准确率有较大影响。 8、量化的挑战有哪些？ 1、多后端难点 不同芯片后端的量化算法实现具有不同的特点。 PyTorch模型训练完毕后静态量化、保存、加载int8量化模型 1. pth_to_int.py是对Pytorch的float32模型转成int8模型。 evaluate_model.py里加载int8模型进行推理。 3.
8.6K42编辑于 2023-02-28 - 来自专栏深度学习那些事儿
一起实践量化番外篇——TensorRT-8的量化细节
一起实践量化番外篇——TensorRT-8的量化细节 好久不见各位~ 这篇文章很久之前写完一直没有整理，最近终于是整理差不多了，赶紧发出来。 本文接着《必看部署系列-神经网络量化教程：第一讲！》 而后者显式量化是在8版本后才完全支持，具体就是可以加载带有QDQ信息的模型然后生成对应量化版本的engine。 两种量化模型的一些支持情况： 与隐式量化相关性较强的是训练后量化。 QDQ模块会参与训练，负责将输入的FP32张量量化为INT8，随后再进行反量化将INT8的张量在变为FP32。 ，然后在输入A这个op时会经过Q（即量化）操作，这个时候操作A我们会默认是INT8类型的操作，A操作之后会经过DQ（即反量化）操作将A输出的INT8类型的结果转化为FP32类型的结果并传给下一个FP32 Q算子负责FP32->INT8，而DQ算子负责INT8->FP32，被QDQ包起来的算子理所应当就是量化算子（或者说准备被量化、可以被量化的算子，这句话有待揣摩...）。
4.5K51编辑于 2023-10-19 - 来自专栏机器学习、深度学习
CNN模型 int8量化实现方式（二）
那下面简单的命令就可以完成卸载了 sudo pip uninstall tensorflow_gpu sudo pip3 uninstall tensorflow_gpu 这里介绍一个完全基于 Tensorflow 的模型量化方法 /convert_weights_pb.py 2）完全基于 Tensorflow 的量化 https://blog.csdn.net/u011961856/article/details/76736103 1.源码编译安装tensorflow 可参考 https://blog.csdn.net/u011961856/article/details/76725411 2 编译量化工具 sudo bazel build tensorflow/tools/quantization:quantize_graph 3.模型量化: sudo bazel-bin/tensorflow/tools/quantization ，处于开发阶段，tensorflow lite 是应该已经支持 量化模型的运行， 而 tensorflow 本身的支持很有限，貌似正在集成
1.9K40发布于 2019-05-26 - 来自专栏机器学习、深度学习
CNN模型 INT8 量化实现方式（一）
当前CNN模型基本都是 float32，将其转换为 INT8 可以降低模型大小，提升速度，精度降低的也不太多。那么在实际中如何实现这个量化了？ 这里主要涉及两个问题：1）就是 int8量化；2）就是 int8 模型的使用 基于Caffe-Int8-Convert-Tools进行caffe模型转int8量化 在 NCNN 框架上运行 https ://blog.csdn.net/u014644466/article/details/83278954 首先是基于 Caffe-Int8-Convert-Tools 这个工具进行 int8量化 https://github.com/BUG1989/caffe-int8-convert-tools int8 模型的使用 How to use Int8 inference https://github.com /Tencent/ncnn/pull/487 https://github.com/Tencent/ncnn/wiki/quantized-int8-inference#caffe-int8-convert-tools
5.2K20发布于 2019-05-26 - 来自专栏GiantPandaCV
F8Net:只有8比特乘法的神经网络量化
【GaintPandaCV导语】F8Net用定点化量化方法对DNN进行量化，在模型推理只有8-bit的乘法，没有16-bit/32-bit的乘法，采用非学习的方法即标准差来定小数位宽。 问题2：为什么要做这样的量化，跟之前的量化有什么不同？ ，F8Net想做的事情就是在量化推理中只有int8的乘法，没有16bit/32bit的乘法。 图1 首先来总结一下，F8Net做了什么事情： 1、模型量化推理只有8-bit位宽的乘法； 2、提出一个选择小数位宽的方法，对weight和activation都做定点化； 3、采用PACT的方法优化定点化的参数 做量化不外乎：什么量化方法(线性量化/非线性，对称量化/非对称量化等等)，以及这么找数值阈值(也就是截断阈值)。PACT就是非常简单又非常使用的方法。我在做量化训练的时候也是用了PACT。
1.8K20编辑于 2022-04-06 - 来自专栏AI SPPECH
129_量化技术：INT8与动态量化 - 推导压缩的精度损失公式
和min分别是浮点数的最大值和最小值，b是量化后的位数（如INT8为8位）。 INT8量化技术详解 3.1 INT8量化原理 INT8量化是指将32位浮点数映射到8位整数的过程。在LLM中，主要对权重和激活值进行INT8量化。 实际实现与部署 7.1 使用PyTorch进行模型量化 PyTorch提供了完整的量化工具链，支持INT8量化和动态量化。 9.2 实验结果 量化方法 位宽 模型大小 推理速度 精度损失 内存占用 FP16基线 16 140GB 100% 0% 140GB INT8静态量化 8 70GB 185% 2.3% 70GB INT8 动态量化 8 70GB 172% 1.5% 72GB LLM.int8() 8 70GB 192% 0.8% 71GB GPTQ 4 35GB 245% 3.1% 35GB AWQ 4 35GB 258%
62010编辑于 2025-11-16 - 来自专栏AI智韵
YoloV8改进策略：RefConv打造轻量化YoloV8利器
我们使用RefConv替换YoloV8中的卷积，既能提高精度，又能降低运算量，使得模型更加轻量化！ spm=1001.2014.3001.5502 YoloV8官方结果 YOLOv8l summary (fused): 268 layers, 43631280 parameters, 0 gradients p3 230 105 0.99 1 0.995 0.801 p8 0.831 Speed: 0.2ms preprocess, 3.8ms inference, 0.0ms loss, 0.8ms postprocess per image 测试结果 YOLOv8l 总结 本文使用RefConv改进了YoloV8。其实我也尝试了很多种改进方式，没有效果。
40510编辑于 2024-10-22 - 来自专栏叶子的开发者社区
【yolov5】onnx的INT8量化engine
然后在yolov5_tensorrt_int8_tools的convert_trt_quant.py 修改如下参数 BATCH_SIZE 模型量化一次输入多少张图片 BATCH 模型量化次数 height width 输入图片宽和高 CALIB_IMG_DIR 训练图片路径，用于量化 onnx_model_path onnx模型路径 engine_model_path 模型保存路径 其中这个batch_size 的版本更新原因，这个代码的tensorrt版本是7系列的，而目前新的tensorrt版本已经没有了一些属性，所以我们需要对这个大佬写的代码进行一些修改 如何修改呢，其实tensorrt官方给出了一个caffe量化 onnx的INT8量化的 但是奈何我连半桶水都没有，只有一滴水，但是这个例子中的tensorrt版本是新的，于是我尝试将上面那位大佬的代码修改为使用新版的tensorrt 居然成功了？？！! 成功量化后的模型大小只有4MB，相比之下的FP16的大小为6MB，FP32的大小为9MB 再看看检测速度，速度和FP16差不太多 但是效果要差上一些了 那肯定不能忘记送上修改的代码，折腾一晚上的结果如下
1.1K70编辑于 2023-11-13 - 来自专栏CNN
【Ubuntu】Tensorflow对训练后的模型做8位（uint8）量化转换
0.4.5 5.1 8 tensorflow_gpu-1.1.0 2.7、3.3-3.6 GCC 4.8 Bazel 0.4.2 5.1 8 tensorflow_gpu-1.0.0 2.7、3.3- jdk 安装过程中如果有以下异常： bazel depends on google-jdk | java8-jdk | java8-sdk | oracle-java8-installer; however Package java8-jdk is not installed. Package java8-sdk is not installed. bazel build tensorflow/tools/graph_transforms:transform_graph 1.3 执行转换量化命令 将导出的pb模型执行模型量化转换，以tensorflow_inception_graph.pb TFLite格式模型 除了使用transform_graph工具对pb模型进行量化转换外，还可以使用TFLite对模型进行量化处理，但是需要注意的是，使用TFLite转换得到的量化模型是tflite结构
2.1K30发布于 2019-10-22 - 来自专栏机器学习AI算法工程
yolov8 模型架构轻量化，极致降低参数量
模型轻量化加速是深度学习领域的重要研究方向，旨在减小模型的体积和计算复杂度，从而提高在资源受限设备上的运行效率，模型参数量在轻量化加速中扮演着至关重要的角色。 因此，在模型轻量化加速过程中，通过合理减少参数量，可以在保持模型性能的同时，实现模型的轻量化。 为了降低模型参数量，研究人员采用了多种方法，如剪枝、量化、蒸馏等。 在剪枝过程中，研究人员会识别并移除模型中的冗余连接和权重较小的参数；在量化过程中，会将模型中的高精度参数转换为低精度参数，从而减少参数数量并降低计算复杂度；在蒸馏过程中，则会将大模型的知识转移到小模型中 本文将从另外一个角度，即模型的结构设计方面，实现参数量的最小，并以YOLOV8为例子，通过模型结构的轻量化设计，在保证模型性能稳定不变的前提下极致的压缩参数量 一、设计思路 从模型结构看V8主要有两个大的模块构成 模型结构轻量化参数对比 原yolov8参数：3011043 轻量化后参数：1436977 通过以上模块的替换使得模型参数降低至原来的一半不到，且精度不变，这是通过剪枝、蒸馏都没办到的
4.7K11编辑于 2024-05-29 - 来自专栏GiantPandaCV
NCNN+Int8+yolov5部署和量化
【GiantPandaCV引言】 还记得我在两个月前写的文章吗，关于yolov4-tiny+ncnn+int8量化的详细教程：NCNN+INT8+YOLOV4量化模型和实时推理 后来准备写yolov5+ ncnn+int8量化的教程，却在yolov5的量化上遇到了麻烦，一方面是量化后速度更慢了，另一方面是精度下降严重，出现满屏都是检测框的现象，后来经过很多尝试，最终都以失败告终。 五、Int8量化 更加详细的教程可以参考本人知乎博客关于yolov4-tiny的教程，很多细节的东西本篇不会累述（下方附链接）。 量化后的模型如下： 量化后的模型大小大概在1.7m左右，应该可以满足你对小模型大小的强迫症； 此时，可以使用量化后的shufflev2-yolov5模型进行检测： 量化后的精度略有损失，但还是在可接受范围内 int8模型检测效果: 户外场景检测: 七、参考 【1】nihui：详细记录u版YOLOv5目标检测ncnn实现 【2】pogg：NCNN+Int8+YOLOv4量化模型和实时推理 【3】pogg
4.2K30发布于 2021-09-14 - 来自专栏量化投资与机器学习
AAAI 2021：仅有的8篇量化投资论文（论文+代码）
量化投资与机器学习微信公众号，是业内垂直于量化投资、对冲基金、Fintech、人工智能、大数据等领域的主流自媒体。 在这1692篇被接收的论文中，有8篇与量化投资相关，公众号注意到其中大部分论文的作者来自国内高校：有西南财经大学、上海交通大学及中国科学技术大学。 下面我们对每篇文章做一个简要的介绍，并在文末把8篇论文打包好，供各位小伙伴在国庆期间好好学习，天天向上。 第一篇 在金融领域，上市公司的动量溢出效应得到了广泛的认同。 第四篇 量化交易和投资决策是复杂的金融任务，依赖于准确的股票选择。尽管深度学习在复杂和高度随机的股票预测问题上取得了显著进展，但依然面临两个显著的局限性。
4.6K21发布于 2021-10-12 - 来自专栏活动
DeepSeek 量化压缩实战：INT8 精度保持方案详解
其中，INT8 量化将模型参数从 32 位浮点数（FP32）转换为 8 位整数（INT8），显著减少了模型的存储空间和计算量。 卷积层 2 32 64 3x3 1 1 ReLU 池化层 2 2x2 2 全连接层 1 64x8x8 训练过程中，我们采用了以下参数设置：参数名称 参数值 学习率 0.001 优化器 Adam 批大小 128 训练轮数 50 # 量化压缩示例代码import tensorflow_model_optimization as tfmot# 应用 INT8 量化quantize_annotate = tfmot.quantization.keras.quantize_annotatequantize_scope = tfmot.quantization.keras.quantize_scope# 定义量化配置quantize_config = tfmot.quantization.keras.Default8BitQuantizeConfig
1.6K20编辑于 2025-03-27 - 来自专栏GiantPandaCV
NCNN+INT8+YOLOV4量化模型和实时推理
table完全不变 int8模型量化流程完全不变（重点是这个！！！ 新版ncnn的int8量化初探 趁着这股热风，赶紧试下新版ncnn量化版int8（更重要的原因是月底要中期答辩了，毕设还没搞完，赶紧跑跑大佬的库，顺带嫖一波） 2.1 安装编译ncnn 话不多说，在跑库前先安装编译好需要的环境 ，我们提供了通用的训练后量化工具，可以将float32模型转换为int8模型。 量化工具所在目录 找不到的读者请看下自己编译过程是不是有误，正常编译下是会有这些量化文件的 运行成功后会生成两个int8的文件，分别是： ? 生成的量化模型 对比一下原来的两个opt模型，小了整整一倍! 三、新版ncnn的int8量化再探 量化出了int8模型仅仅是成功了一半，有模型但是内部参数全都错乱的情况也不是没见过。。。 ?
3K30发布于 2021-05-18 - 来自专栏AI人工智能
模型量化大揭秘：INT8、INT4量化对推理速度和精度的影响测试
模型量化大揭秘：INT8、INT4量化对推理速度和精度的影响测试 Hello，我是摘星！ 在彩虹般绚烂的技术栈中，我是那个永不停歇的色彩收集者。 本文将基于我在多个实际项目中的量化实践经验，深入剖析INT8和INT4量化技术的原理、实现方法和性能表现。 INT8量化技术深入实践2.1 INT8量化的硬件优势图1：INT8量化策略选择流程图在我的测试中，INT8量化在现代CPU和GPU上都有显著的性能提升：import timeimport torchimport INT8量化的性能提升。 量化优化关键词标签#模型量化 #INT8量化 #INT4量化 #推理优化 #AI部署
2.2K21编辑于 2025-08-20 - 来自专栏贾志刚-OpenCV学堂
NNCF压缩与量化YOLOv8模型与OpenVINO部署测试
、混合精度量化、二值、稀疏、过滤剪枝、运动剪枝等算法。 图示如下： YOLOv8量化压缩 基于NNCF实现YOLOv8预训练模型的训练后量化压缩（PTQ），实现INT8量化YOLOv8模型生成。 首先需要使用YOLOv8命令行工具导出OpenVINO格式模型，命令行如下： yolo export model=yolov8n.pt format=openvino 然后基于YOLOv8框架的函数构建一个 准备好验证数据以后，就是最后一步了，启动模型INT8量化，相关的代码如下： 这样就可以完成PTQ量化模型的生成。 量化版YOLOv8推理测试 基于量化版本，基于OpenVINO C++ SDK在不同的部署与加速方式下，最终的测试结果如下： 从此，我又相信YOLOv8+OpenVINO了
2.2K30编辑于 2023-11-20 - 来自专栏韩曙亮的移动开发专栏
【Cubase】Cubase 量化设置 ( 量化预置 | 长度量化 | 快捷键设置 | 量化开头 | 量化 MIDI 事件结尾 | 量化 MIDI 事件长度 )
文章目录 一、要解决的问题 二、量化预置 三、长度量化 四、快捷键及设置 1、快捷键及设置 2、量化开头 3、量化 MIDI 事件结尾 4、量化 MIDI 事件长度 五、对 MIDI 进行量化操作 本博客中的所有设置都是在 , 当前是 4/4 拍 , 一个全音符有 4 拍 , 显示每个 16 分音符的格子 ; 这是设置了 " 1/32 " 量化预置参数 , 每拍显示 8 个格子 , 每个格子的长度是 32 分音符 ; 三、长度量化 ---- 长度量化 参数设置 : 在下图 处设置长度量化 , 如果设置成 " 1/16 " , 那么使用鼠标拖动时 , 音符的长度只能是 16 分音符的整数倍 ; 上述的 量化预置 ; 2、量化开头 量化开头 : 默认按键 " Q " 是量化开头 ; 将所有音符的开始位置对齐到 " 量化预制 " 对应的格子中 ; 该设置是系统自带的 , 不建议修改 ; 3、量化 MIDI " 快捷键 , 量化音符长度 , 此时音符都排列整齐了 , 音符开头和音符长度进行了量化 , 音符结尾自然也进行了量化 ;
4.6K00编辑于 2023-03-28 - 来自专栏YOLO大作战
YOLOv8轻量化：模型轻量化设计 | 轻量级可重参化EfficientRep| 来自YOLOv6思想
具体来说，从最近的网络设计、训练策略、测试技术、量化和优化方法中大量吸收了一些想法。最重要的是，整合思想和实践，构建了一套不同规模的部署网络，以适应多样化的用例。 YOLOv6-S 量化版本甚至带来了 869 FPS 的最新 43.3% AP。
2K70编辑于 2023-11-08
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号