- 综合排序
- 最热优先
- 最新优先
- 来自专栏模型压缩
INT8量化训练
【导读】本文聊了两篇做INT8量化训练的文章，量化训练说的与quantization-aware Training有区别，量化训练指的是在模型训练的前向传播和后向传播都有INT8量化。 Pytorch实现卷积神经网络训练量化(QAT) 一、Distribution Adaptive INT8 文章的核心idea是：Unified INT8发现梯度的分布不遵从一个分布即不能像权重一样归于高斯分布 ，Distribution Adaptive INT8认为梯度可以channel-wise看，分成两种分布，一个高斯分布，一个是倒T形分布，这样去minimize量化后梯度与原来梯度的量化误差Error Unified INT8也是类似minimize量化后梯度与原来梯度的量化误差Error的思想，与Distribution Adaptive INT8不同的是通过收敛性分析方程，发现可以通过降低学习率和减少梯度量化误差 Unified INT8也是类似minimize量化后梯度与原来梯度的量化误差Error的思想，Unified INT8是通过收敛性分析方程，发现了可以通过降低学习率和减少梯度量化误差。
1.6K00发布于 2021-06-06 - 来自专栏GiantPandaCV
INT8量化训练
【GiantPandaCV导读】本文聊了两篇做INT8量化训练的文章，量化训练说的与quantization-aware Training有区别，量化训练指的是在模型训练的前向传播和后向传播都有INT8 Pytorch实现卷积神经网络训练量化(QAT) 一、Distribution Adaptive INT8 ? Unified INT8也是类似minimize量化后梯度与原来梯度的量化误差Error的思想，与Distribution Adaptive INT8不同的是通过收敛性分析方程，发现可以通过降低学习率和减少梯度量化误差 Unified INT8也是类似minimize量化后梯度与原来梯度的量化误差Error的思想，Unified INT8是通过收敛性分析方程，发现了可以通过降低学习率和减少梯度量化误差。 知乎链接： （量化 | INT8量化训练）https://zhuanlan.zhihu.com/p/364782854
1.4K30发布于 2021-04-30 - 来自专栏腾讯大讲堂的专栏
增长产品中，量化数据分析的几个方法
下面就谈一谈增量贡献的量化，以及如果没有AB实验，怎么量化？ 增长为什么要做量化 做增长产品的数据分析，和其他的数据分析，个人认为最大的特色在于量化，为什么要做量化？ 因为，做增长，是个强数据驱动的方法，要把有限的资源发挥出最大的价值，所以必须准确计算出每个Driver的ROI，才能更有效分配资源，做到效率最大化，把好钢用在刀刃上。 可以看出，我把增长产品的量化规为2大类，外部拉量（拉新、拉活）和促进活跃： 外部拉量：拉新方面，业界有比较成熟的LTV模型，难点在于对LTV模型的预估，拉活方面，一般我们只计算当次（当然不严谨，拉活的后续持续贡献非常复杂 拉新拉活的量化 这部分，只简单谈一下，因为我的业务范围拉新拉活量化比较少，没有经验，借鉴下比较基础的量化方法 拉新，采用y = ax^b分渠道量化预估，虽然还有很多高大上的算法，但是这个公式实现成本最低的 促活贡献的简单量化方法 促活方面，有几个简单的量化方式，虽然不好，但是较为简单，可以参考，后续将会讨论2种比较复杂的量化方式 染色法：对于参与或深度参与的，设定一个阈值，认为是带来的 对比法：对比渗透与未渗透的用户
2.3K21发布于 2020-09-16 - 来自专栏机器学习AI算法工程
PyTorch模型静态量化、保存、加载int8量化模型
所以，模型量化就是将训练好的深度神经网络的权值，激活值等从高精度转化成低精度的操作过程，例如将32位浮点数转化成8位整型数int8，同时我们期望转换后的模型准确率与转化前相近。 大体可分为几类： 16位 8位 最常见也相对成熟。各种主流框架和硬件都支持。 8位以下目前而言学界相对玩得多些，工业界有少量支持，但还没有太成熟。 一般来说，对于8位量化，全局量化参数影响不明显，但到更低精度，就会对准确率有较大影响。 8、量化的挑战有哪些？ 1、多后端难点 不同芯片后端的量化算法实现具有不同的特点。 PyTorch模型训练完毕后静态量化、保存、加载int8量化模型 1. pth_to_int.py是对Pytorch的float32模型转成int8模型。 evaluate_model.py里加载int8模型进行推理。 3.
8.5K42编辑于 2023-02-28 - 来自专栏深度学习那些事儿
一起实践量化番外篇——TensorRT-8的量化细节
一起实践量化番外篇——TensorRT-8的量化细节 好久不见各位~ 这篇文章很久之前写完一直没有整理，最近终于是整理差不多了，赶紧发出来。 本文接着《必看部署系列-神经网络量化教程：第一讲！》 而后者显式量化是在8版本后才完全支持，具体就是可以加载带有QDQ信息的模型然后生成对应量化版本的engine。 两种量化模型的一些支持情况： 与隐式量化相关性较强的是训练后量化。 QDQ模块会参与训练，负责将输入的FP32张量量化为INT8，随后再进行反量化将INT8的张量在变为FP32。 ，然后在输入A这个op时会经过Q（即量化）操作，这个时候操作A我们会默认是INT8类型的操作，A操作之后会经过DQ（即反量化）操作将A输出的INT8类型的结果转化为FP32类型的结果并传给下一个FP32 Q算子负责FP32->INT8，而DQ算子负责INT8->FP32，被QDQ包起来的算子理所应当就是量化算子（或者说准备被量化、可以被量化的算子，这句话有待揣摩...）。
4.4K51编辑于 2023-10-19 - 来自专栏Material Design组件
增长黑客8：良性循环
换了工作以后进入了运营部门中的设计组，为了弄清楚运营的流程，一个月间间断断地看完了《增长黑客》这本书。现将一些重点记录下来方便以后温习 这是最后一章啦 ? 《增长黑客》 驱动增长工作永远处在进行时。实现爆发式增长的公司是那些不断突破自我、利用现有成功、把握新机遇并创造良性增长循环的公司。 避免增长停滞 对市场变化反应不够灵敏是想实现长远成功的公司面临的最大威胁。 增长团队就像这些鲨鱼一样，没有持续进行创新，没有持续挖掘用户数据、开展用户调研，没有快速进行试验并得出结论的公司日子都不会长久 不要低估决心的力量 在开始实施新计划之前，团队应该强迫自己再去寻找新的方法
52920发布于 2019-02-20 腾讯AI素材分析方案：量化创意基因，科学驱动广告增长
破解创意分析的高维非结构化难题 广告素材作为核心变量，其内容复杂、维度高，传统方法面临三大瓶颈：高维非结构化（难以标准化分析）、经验主导（依赖个人直觉）、规模化瓶颈（人工分析无法满足海量素材迭代需求）
10910编辑于 2026-04-16- 来自专栏机器学习、深度学习
CNN模型 int8量化实现方式（二）
那下面简单的命令就可以完成卸载了 sudo pip uninstall tensorflow_gpu sudo pip3 uninstall tensorflow_gpu 这里介绍一个完全基于 Tensorflow 的模型量化方法 /convert_weights_pb.py 2）完全基于 Tensorflow 的量化 https://blog.csdn.net/u011961856/article/details/76736103 1.源码编译安装tensorflow 可参考 https://blog.csdn.net/u011961856/article/details/76725411 2 编译量化工具 sudo bazel build tensorflow/tools/quantization:quantize_graph 3.模型量化: sudo bazel-bin/tensorflow/tools/quantization ，处于开发阶段，tensorflow lite 是应该已经支持 量化模型的运行， 而 tensorflow 本身的支持很有限，貌似正在集成
1.9K40发布于 2019-05-26 - 来自专栏机器学习、深度学习
CNN模型 INT8 量化实现方式（一）
当前CNN模型基本都是 float32，将其转换为 INT8 可以降低模型大小，提升速度，精度降低的也不太多。那么在实际中如何实现这个量化了？ 这里主要涉及两个问题：1）就是 int8量化；2）就是 int8 模型的使用 基于Caffe-Int8-Convert-Tools进行caffe模型转int8量化 在 NCNN 框架上运行 https ://blog.csdn.net/u014644466/article/details/83278954 首先是基于 Caffe-Int8-Convert-Tools 这个工具进行 int8量化 https://github.com/BUG1989/caffe-int8-convert-tools int8 模型的使用 How to use Int8 inference https://github.com /Tencent/ncnn/pull/487 https://github.com/Tencent/ncnn/wiki/quantized-int8-inference#caffe-int8-convert-tools
5.2K20发布于 2019-05-26 - 来自专栏GiantPandaCV
F8Net:只有8比特乘法的神经网络量化
【GaintPandaCV导语】F8Net用定点化量化方法对DNN进行量化，在模型推理只有8-bit的乘法，没有16-bit/32-bit的乘法，采用非学习的方法即标准差来定小数位宽。 问题2：为什么要做这样的量化，跟之前的量化有什么不同？ ，F8Net想做的事情就是在量化推理中只有int8的乘法，没有16bit/32bit的乘法。 图1 首先来总结一下，F8Net做了什么事情： 1、模型量化推理只有8-bit位宽的乘法； 2、提出一个选择小数位宽的方法，对weight和activation都做定点化； 3、采用PACT的方法优化定点化的参数 做量化不外乎：什么量化方法(线性量化/非线性，对称量化/非对称量化等等)，以及这么找数值阈值(也就是截断阈值)。PACT就是非常简单又非常使用的方法。我在做量化训练的时候也是用了PACT。
1.8K20编辑于 2022-04-06 - 来自专栏AI智韵
YoloV8改进策略：RefConv打造轻量化YoloV8利器
我们使用RefConv替换YoloV8中的卷积，既能提高精度，又能降低运算量，使得模型更加轻量化！ spm=1001.2014.3001.5502 YoloV8官方结果 YOLOv8l summary (fused): 268 layers, 43631280 parameters, 0 gradients p3 230 105 0.99 1 0.995 0.801 p8 0.831 Speed: 0.2ms preprocess, 3.8ms inference, 0.0ms loss, 0.8ms postprocess per image 测试结果 YOLOv8l 总结 本文使用RefConv改进了YoloV8。其实我也尝试了很多种改进方式，没有效果。
39810编辑于 2024-10-22 - 来自专栏AI SPPECH
129_量化技术：INT8与动态量化 - 推导压缩的精度损失公式
引言 在2025年的大语言模型(LLM)时代，随着模型规模的指数级增长，部署这些庞然大物变得越来越具有挑战性。 和min分别是浮点数的最大值和最小值，b是量化后的位数（如INT8为8位）。 INT8量化技术详解 3.1 INT8量化原理 INT8量化是指将32位浮点数映射到8位整数的过程。在LLM中，主要对权重和激活值进行INT8量化。 实际实现与部署 7.1 使用PyTorch进行模型量化 PyTorch提供了完整的量化工具链，支持INT8量化和动态量化。 9.2 实验结果 量化方法 位宽 模型大小 推理速度 精度损失 内存占用 FP16基线 16 140GB 100% 0% 140GB INT8静态量化 8 70GB 185% 2.3% 70GB INT8
59510编辑于 2025-11-16 - 来自专栏叶子的开发者社区
【yolov5】onnx的INT8量化engine
然后在yolov5_tensorrt_int8_tools的convert_trt_quant.py 修改如下参数 BATCH_SIZE 模型量化一次输入多少张图片 BATCH 模型量化次数 height width 输入图片宽和高 CALIB_IMG_DIR 训练图片路径，用于量化 onnx_model_path onnx模型路径 engine_model_path 模型保存路径 其中这个batch_size 的版本更新原因，这个代码的tensorrt版本是7系列的，而目前新的tensorrt版本已经没有了一些属性，所以我们需要对这个大佬写的代码进行一些修改 如何修改呢，其实tensorrt官方给出了一个caffe量化 onnx的INT8量化的 但是奈何我连半桶水都没有，只有一滴水，但是这个例子中的tensorrt版本是新的，于是我尝试将上面那位大佬的代码修改为使用新版的tensorrt 居然成功了？？！! 成功量化后的模型大小只有4MB，相比之下的FP16的大小为6MB，FP32的大小为9MB 再看看检测速度，速度和FP16差不太多 但是效果要差上一些了 那肯定不能忘记送上修改的代码，折腾一晚上的结果如下
1.1K70编辑于 2023-11-13 - 来自专栏人称T客
什么是增长黑客？以及 8 款有效工具
作者:T客汇 杨丽 关键词：增长黑客 数据 网站：www.tikehui.com 核心提示：创业公司如何在没有品牌实力和资金背景依靠下获取产品的快速增长呢？增长黑客用数据告诉你答案。 目前国内已不乏有公司尝试通过增长黑客来获取产品初期的快速增长，而在这些公司内部往往会设有「增长黑客」的职位，也被称为「用户增长工程师」，「产品经理」，围绕增长展开工作的团队也被称为「增长团队」，其主要职能都与增长密不可分 增长黑客需要一套工具作为增长武器 增长黑客本身是一套产品管理理论框架，并不是一套实践框架，如何才能真正地对公司产生价值呢？除了有一个完善的增长团队，还需要有产品作为内容，工具作为执行手段。 下文就专门列举了国外增长黑客必备的 8 款工具。 1.Quora——通过实际案例，研究增长黑客技能 想要获取增长灵感，请先仔细研究其他公司的成功案例。 8、Tribeboost——增加关注人 创业公司往往会面临如何不断获取用户关注的问题。 Tribeboost 能够在 Twitter 平台上为使用者建立一个观众席。
1.9K80发布于 2018-03-22 - 来自专栏CNN
【Ubuntu】Tensorflow对训练后的模型做8位（uint8）量化转换
0.4.5 5.1 8 tensorflow_gpu-1.1.0 2.7、3.3-3.6 GCC 4.8 Bazel 0.4.2 5.1 8 tensorflow_gpu-1.0.0 2.7、3.3- jdk 安装过程中如果有以下异常： bazel depends on google-jdk | java8-jdk | java8-sdk | oracle-java8-installer; however Package java8-jdk is not installed. Package java8-sdk is not installed. bazel build tensorflow/tools/graph_transforms:transform_graph 1.3 执行转换量化命令 将导出的pb模型执行模型量化转换，以tensorflow_inception_graph.pb TFLite格式模型 除了使用transform_graph工具对pb模型进行量化转换外，还可以使用TFLite对模型进行量化处理，但是需要注意的是，使用TFLite转换得到的量化模型是tflite结构
2K30发布于 2019-10-22 - 来自专栏敏捷分析
教你更科学地花钱：因果推断在增长业务ROI量化评估上的应用
点击蓝字关注我们 作者：李金霞Polarisli 知乎专栏：《数据分析方法与实践》 创作者：「守望北极星的猫」 ---了解作者其他作品，请点击【文末原文链接】--- 丨导语丨 做增长业务，常用的策略手段有渠道拉新 ，每笔投入的 ROI 量化评判标准统一，自然就可比较。 一 什么是因果推断 在做用户增长时，我们要回答的终极问题是“如果对产品施加 T 策略，对业务目标是否有影响，影响有多大？” 三 倾向性加权得分在活动效果量化增益上的应用 以下以参与某活动为例，讲解倾向性加权得分方法在活动 ROI 量化增益上的应用。 以上量化指标符合规则，则说明加权匹配成功。 3）量化增益值及显著性校验 s_treat = 1.62 说明参与活动用户较未参与活动用户30日人天增益为1.62，且结果显著，量化评估结果可用。
1.5K21编辑于 2022-09-08 - 来自专栏机器学习AI算法工程
yolov8 模型架构轻量化，极致降低参数量
模型轻量化加速是深度学习领域的重要研究方向，旨在减小模型的体积和计算复杂度，从而提高在资源受限设备上的运行效率，模型参数量在轻量化加速中扮演着至关重要的角色。 因此，在模型轻量化加速过程中，通过合理减少参数量，可以在保持模型性能的同时，实现模型的轻量化。 为了降低模型参数量，研究人员采用了多种方法，如剪枝、量化、蒸馏等。 在剪枝过程中，研究人员会识别并移除模型中的冗余连接和权重较小的参数；在量化过程中，会将模型中的高精度参数转换为低精度参数，从而减少参数数量并降低计算复杂度；在蒸馏过程中，则会将大模型的知识转移到小模型中 本文将从另外一个角度，即模型的结构设计方面，实现参数量的最小，并以YOLOV8为例子，通过模型结构的轻量化设计，在保证模型性能稳定不变的前提下极致的压缩参数量 一、设计思路 从模型结构看V8主要有两个大的模块构成 模型结构轻量化参数对比 原yolov8参数：3011043 轻量化后参数：1436977 通过以上模块的替换使得模型参数降低至原来的一半不到，且精度不变，这是通过剪枝、蒸馏都没办到的
4.6K11编辑于 2024-05-29 - 来自专栏量化投资与机器学习
AAAI 2021：仅有的8篇量化投资论文（论文+代码）
量化投资与机器学习微信公众号，是业内垂直于量化投资、对冲基金、Fintech、人工智能、大数据等领域的主流自媒体。 在这1692篇被接收的论文中，有8篇与量化投资相关，公众号注意到其中大部分论文的作者来自国内高校：有西南财经大学、上海交通大学及中国科学技术大学。 下面我们对每篇文章做一个简要的介绍，并在文末把8篇论文打包好，供各位小伙伴在国庆期间好好学习，天天向上。 第一篇 在金融领域，上市公司的动量溢出效应得到了广泛的认同。 第四篇 量化交易和投资决策是复杂的金融任务，依赖于准确的股票选择。尽管深度学习在复杂和高度随机的股票预测问题上取得了显著进展，但依然面临两个显著的局限性。
4.6K21发布于 2021-10-12 - 来自专栏GiantPandaCV
NCNN+Int8+yolov5部署和量化
【GiantPandaCV引言】 还记得我在两个月前写的文章吗，关于yolov4-tiny+ncnn+int8量化的详细教程：NCNN+INT8+YOLOV4量化模型和实时推理 后来准备写yolov5+ ncnn+int8量化的教程，却在yolov5的量化上遇到了麻烦，一方面是量化后速度更慢了，另一方面是精度下降严重，出现满屏都是检测框的现象，后来经过很多尝试，最终都以失败告终。 五、Int8量化 更加详细的教程可以参考本人知乎博客关于yolov4-tiny的教程，很多细节的东西本篇不会累述（下方附链接）。 量化后的模型如下： 量化后的模型大小大概在1.7m左右，应该可以满足你对小模型大小的强迫症； 此时，可以使用量化后的shufflev2-yolov5模型进行检测： 量化后的精度略有损失，但还是在可接受范围内 int8模型检测效果: 户外场景检测: 七、参考 【1】nihui：详细记录u版YOLOv5目标检测ncnn实现 【2】pogg：NCNN+Int8+YOLOv4量化模型和实时推理 【3】pogg
4.2K30发布于 2021-09-14 - 来自专栏活动
DeepSeek 量化压缩实战：INT8 精度保持方案详解
其中，INT8 量化将模型参数从 32 位浮点数（FP32）转换为 8 位整数（INT8），显著减少了模型的存储空间和计算量。 其优势包括：存储空间减少：INT8 参数占用的存储空间仅为 FP32 的 1/4。计算速度提升：整数运算通常比浮点运算更快，尤其是在硬件支持的情况下。 卷积层 2 32 64 3x3 1 1 ReLU 池化层 2 2x2 2 全连接层 1 64x8x8 # 量化压缩示例代码import tensorflow_model_optimization as tfmot# 应用 INT8 量化quantize_annotate = tfmot.quantization.keras.quantize_annotatequantize_scope = tfmot.quantization.keras.quantize_scope# 定义量化配置quantize_config = tfmot.quantization.keras.Default8BitQuantizeConfig
1.6K20编辑于 2025-03-27
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号