- 综合排序
- 最热优先
- 最新优先
- 来自专栏模型压缩
INT8量化训练
【导读】本文聊了两篇做INT8量化训练的文章，量化训练说的与quantization-aware Training有区别，量化训练指的是在模型训练的前向传播和后向传播都有INT8量化。 Pytorch实现卷积神经网络训练量化(QAT) 一、Distribution Adaptive INT8 文章的核心idea是：Unified INT8发现梯度的分布不遵从一个分布即不能像权重一样归于高斯分布 ，Distribution Adaptive INT8认为梯度可以channel-wise看，分成两种分布，一个高斯分布，一个是倒T形分布，这样去minimize量化后梯度与原来梯度的量化误差Error Unified INT8也是类似minimize量化后梯度与原来梯度的量化误差Error的思想，与Distribution Adaptive INT8不同的是通过收敛性分析方程，发现可以通过降低学习率和减少梯度量化误差 Unified INT8也是类似minimize量化后梯度与原来梯度的量化误差Error的思想，Unified INT8是通过收敛性分析方程，发现了可以通过降低学习率和减少梯度量化误差。
1.6K00发布于 2021-06-06 - 来自专栏GiantPandaCV
INT8量化训练
【GiantPandaCV导读】本文聊了两篇做INT8量化训练的文章，量化训练说的与quantization-aware Training有区别，量化训练指的是在模型训练的前向传播和后向传播都有INT8 Pytorch实现卷积神经网络训练量化(QAT) 一、Distribution Adaptive INT8 ? Unified INT8也是类似minimize量化后梯度与原来梯度的量化误差Error的思想，与Distribution Adaptive INT8不同的是通过收敛性分析方程，发现可以通过降低学习率和减少梯度量化误差 Unified INT8也是类似minimize量化后梯度与原来梯度的量化误差Error的思想，Unified INT8是通过收敛性分析方程，发现了可以通过降低学习率和减少梯度量化误差。 知乎链接： （量化 | INT8量化训练）https://zhuanlan.zhihu.com/p/364782854
1.4K30发布于 2021-04-30 - 来自专栏机器学习AI算法工程
PyTorch模型静态量化、保存、加载int8量化模型
所以，模型量化就是将训练好的深度神经网络的权值，激活值等从高精度转化成低精度的操作过程，例如将32位浮点数转化成8位整型数int8，同时我们期望转换后的模型准确率与转化前相近。 大体可分为几类： 16位 8位 最常见也相对成熟。各种主流框架和硬件都支持。 8位以下目前而言学界相对玩得多些，工业界有少量支持，但还没有太成熟。 一般来说，对于8位量化，全局量化参数影响不明显，但到更低精度，就会对准确率有较大影响。 8、量化的挑战有哪些？ 1、多后端难点 不同芯片后端的量化算法实现具有不同的特点。 PyTorch模型训练完毕后静态量化、保存、加载int8量化模型 1. pth_to_int.py是对Pytorch的float32模型转成int8模型。 evaluate_model.py里加载int8模型进行推理。 3.
8.5K42编辑于 2023-02-28 - 来自专栏大侠之运维
轻量化的远控工具
natpass：轻量级远程控制工具在今天的数字化时代，远程控制工具变得越来越重要，无论是用于远程技术支持、服务器管理还是其他远程操作。 natpass是一款轻量级的远程控制工具，它提供了强大的功能和安全性，使您能够轻松地远程管理您的计算机和服务器。本文将介绍natpass的功能、部署过程以及如何使用它，帮助您充分了解这个有用的工具。 natpass的功能与特性natpass提供了一系列功能和特性，使其成为一款强大的远程控制工具。 这些功能和特性使natpass成为一款功能强大且灵活的远程控制工具，适用于各种远程管理需求，无论是个人用户还是企业用户都可以受益。 如果您正在寻找一款可靠的远程控制工具，不妨考虑使用natpass。通过本文介绍的部署过程，您可以轻松地开始使用natpass，并充分利用其强大的功能。
71210编辑于 2024-10-09 - 来自专栏深度学习那些事儿
一起实践量化番外篇——TensorRT-8的量化细节
TensorRT的量化工具也比较成熟了。支持PTQ和QAT量化，官方也提供了一些工具去帮助我们实现量化（无论是基于trt本身还是基于周边工具）。 QDQ模块会参与训练，负责将输入的FP32张量量化为INT8，随后再进行反量化将INT8的张量在变为FP32。 engine： 总得来说，TensorRT加载QAT的ONNX模型并且优化的整理流程如下： 因为TensorRT8可以直接加载通过QTA量化后且导出为ONNX的模型，官方也提供了Pytorch量化配套工具 这里通过分析TensorRT的官方转换工具trtexec执行的产生verbose信息来描述trt的量化过程，经常用trt的伙伴应该也比较熟悉。 简单总结一下大家拿到模型想要在TensorRT量化部署的一般步骤吧： 大部分模型来说，PTQ工具就够用了，准备好校准数据集，直接使用trt提供的接口进行PTQ量化（少量代码）或者使用python-API
4.4K51编辑于 2023-10-19 - 来自专栏巴山学长
量化计算工具包parsec共享
8.编译完成后，找到parsec.ser这个文件，这是一个可执行文件 ? 9.提前将 parse.dat、parsec.in这两个文件放在/parsec.se所在的文件夹下，输入. PVOX可视化工具包文末附上。 1.解压PVOX，打开pvox.m文件如图： ? 2.运行程序导入parsec.out、wfn.dat文件 ? 3.如果没有出错的话，你应该会看到这幅图： ?
2.3K20发布于 2020-05-07 - 来自专栏机器学习、深度学习
CNN模型 int8量化实现方式（二）
那下面简单的命令就可以完成卸载了 sudo pip uninstall tensorflow_gpu sudo pip3 uninstall tensorflow_gpu 这里介绍一个完全基于 Tensorflow 的模型量化方法 /convert_weights_pb.py 2）完全基于 Tensorflow 的量化 https://blog.csdn.net/u011961856/article/details/76736103 1.源码编译安装tensorflow 可参考 https://blog.csdn.net/u011961856/article/details/76725411 2 编译量化工具 sudo bazel build tensorflow/tools/quantization:quantize_graph 3.模型量化: sudo bazel-bin/tensorflow/tools/quantization ，处于开发阶段，tensorflow lite 是应该已经支持 量化模型的运行， 而 tensorflow 本身的支持很有限，貌似正在集成
1.9K40发布于 2019-05-26 - 来自专栏机器学习、深度学习
CNN模型 INT8 量化实现方式（一）
当前CNN模型基本都是 float32，将其转换为 INT8 可以降低模型大小，提升速度，精度降低的也不太多。那么在实际中如何实现这个量化了？ 这里主要涉及两个问题：1）就是 int8量化；2）就是 int8 模型的使用 基于Caffe-Int8-Convert-Tools进行caffe模型转int8量化 在 NCNN 框架上运行 https ://blog.csdn.net/u014644466/article/details/83278954 首先是基于 Caffe-Int8-Convert-Tools 这个工具进行 int8量化 https://github.com/BUG1989/caffe-int8-convert-tools int8 模型的使用 How to use Int8 inference https://github.com /Tencent/ncnn/pull/487 https://github.com/Tencent/ncnn/wiki/quantized-int8-inference#caffe-int8-convert-tools
5.2K20发布于 2019-05-26 - 来自专栏GiantPandaCV
F8Net:只有8比特乘法的神经网络量化
【GaintPandaCV导语】F8Net用定点化量化方法对DNN进行量化，在模型推理只有8-bit的乘法，没有16-bit/32-bit的乘法，采用非学习的方法即标准差来定小数位宽。 问题2：为什么要做这样的量化，跟之前的量化有什么不同？ ，F8Net想做的事情就是在量化推理中只有int8的乘法，没有16bit/32bit的乘法。 图1 首先来总结一下，F8Net做了什么事情： 1、模型量化推理只有8-bit位宽的乘法； 2、提出一个选择小数位宽的方法，对weight和activation都做定点化； 3、采用PACT的方法优化定点化的参数 做量化不外乎：什么量化方法(线性量化/非线性，对称量化/非对称量化等等)，以及这么找数值阈值(也就是截断阈值)。PACT就是非常简单又非常使用的方法。我在做量化训练的时候也是用了PACT。
1.8K20编辑于 2022-04-06 - 来自专栏AI智韵
YoloV8改进策略：RefConv打造轻量化YoloV8利器
我们使用RefConv替换YoloV8中的卷积，既能提高精度，又能降低运算量，使得模型更加轻量化！ spm=1001.2014.3001.5502 YoloV8官方结果 YOLOv8l summary (fused): 268 layers, 43631280 parameters, 0 gradients p3 230 105 0.99 1 0.995 0.801 p8 0.831 Speed: 0.2ms preprocess, 3.8ms inference, 0.0ms loss, 0.8ms postprocess per image 测试结果 YOLOv8l 总结 本文使用RefConv改进了YoloV8。其实我也尝试了很多种改进方式，没有效果。
39810编辑于 2024-10-22 - 来自专栏AI SPPECH
129_量化技术：INT8与动态量化 - 推导压缩的精度损失公式
和min分别是浮点数的最大值和最小值，b是量化后的位数（如INT8为8位）。 INT8量化技术详解 3.1 INT8量化原理 INT8量化是指将32位浮点数映射到8位整数的过程。在LLM中，主要对权重和激活值进行INT8量化。 实际实现与部署 7.1 使用PyTorch进行模型量化 PyTorch提供了完整的量化工具链，支持INT8量化和动态量化。 9.2 实验结果 量化方法 位宽 模型大小 推理速度 精度损失 内存占用 FP16基线 16 140GB 100% 0% 140GB INT8静态量化 8 70GB 185% 2.3% 70GB INT8 动态量化 8 70GB 172% 1.5% 72GB LLM.int8() 8 70GB 192% 0.8% 71GB GPTQ 4 35GB 245% 3.1% 35GB AWQ 4 35GB 258%
59510编辑于 2025-11-16 - 来自专栏GEE遥感大数据学习社区
快速测绘和量化地球表面边缘变化的GEE工具-数字化工具(GEEDiT)和边缘变化量化工具(MaQiT)
这里介绍了三种新的、可免费使用的工具，它们可以一起用于处理和可视化，Landsat 4-8和Sentinel 1-2卫星存档数据，能够在很短的时间内实现高效的绘图(通过手动数字化)和自动量化边缘变化。 这些工具对各种遥感专家的用户都是高度可访问的，在访问方面几乎没有计算、许可和知识方面的障碍。 边缘变化量化工具(MaQiT)是GEEDiT和GEEDiT Reviewer的补充，允许通过使用两种已建立的方法(以前用于测量冰川边缘变化)和两种新的方法，通过类似的简单GUI快速量化这些边缘变化。 MaQiT的开发初衷是量化潮汐冰川末端的变化，尽管工具中包含的方法有可能广泛应用于地球表面科学的多个领域(例如,沿海和植被范围的变化)。 这些工具将使地球科学领域的广泛研究人员和学生能够有效地绘制、分析和访问大量数据。 作者简介 James Lea M.A.
84520编辑于 2022-09-20 - 来自专栏叶子的开发者社区
【yolov5】onnx的INT8量化engine
然后在yolov5_tensorrt_int8_tools的convert_trt_quant.py 修改如下参数 BATCH_SIZE 模型量化一次输入多少张图片 BATCH 模型量化次数 height width 输入图片宽和高 CALIB_IMG_DIR 训练图片路径，用于量化 onnx_model_path onnx模型路径 engine_model_path 模型保存路径 其中这个batch_size 的版本更新原因，这个代码的tensorrt版本是7系列的，而目前新的tensorrt版本已经没有了一些属性，所以我们需要对这个大佬写的代码进行一些修改 如何修改呢，其实tensorrt官方给出了一个caffe量化 onnx的INT8量化的 但是奈何我连半桶水都没有，只有一滴水，但是这个例子中的tensorrt版本是新的，于是我尝试将上面那位大佬的代码修改为使用新版的tensorrt 居然成功了？？！! 成功量化后的模型大小只有4MB，相比之下的FP16的大小为6MB，FP32的大小为9MB 再看看检测速度，速度和FP16差不太多 但是效果要差上一些了 那肯定不能忘记送上修改的代码，折腾一晚上的结果如下
1.1K70编辑于 2023-11-13 - 来自专栏全栈程序员必看
k8s监控工具(k8s工具)
工具集合： 后渗透：Kubesploit ： https://github.com/cyberark/kubesploit 后渗透：k0otkit: https://github.com/Metarget /k0otkit 安全评估：Red Kube ：https://github.com/lightspin-tech/red-kube 容器攻击工具：ccat ： https://github.com
1K51编辑于 2022-08-01 - 来自专栏AI技术探索和应用
快速上手chatglm.cpp模型量化工具
下载代码 git clone --recursive https://github.com/li-plus/chatglm.cpp.git && cd chatglm.cpp 量化模型 支持量化的模型包括 ：ChatGLM-6B、ChatGLM2-6B、CodeGeeX2及这些的量化模型。 python3 chatglm_cpp/convert.py -i THUDM/chatglm-6b -t q4_0 -o chatglm-ggml.bin 运行模型 cpp工具运行 编译工具 cmake 注意修改量化后模型的名称和地址。 MODEL=. 注意修改量化后模型的名称和地址。 MODEL=.
3.5K51编辑于 2024-03-13 - 来自专栏CNN
【Ubuntu】Tensorflow对训练后的模型做8位（uint8）量化转换
本文链接：https://blog.csdn.net/huachao1001/article/details/101285133 1 量化为PB格式模型 从官方提供的tensorflow版本与编译工具版本中选择 jdk 安装过程中如果有以下异常： bazel depends on google-jdk | java8-jdk | java8-sdk | oracle-java8-installer; however Tensorflow源码 下载1.13版本Tensorflow源码：https://github.com/tensorflow/tensorflow/tree/v1.13.2 使用bazel编译tensorflow量化工具 bazel build tensorflow/tools/graph_transforms:transform_graph 1.3 执行转换量化命令 将导出的pb模型执行模型量化转换，以tensorflow_inception_graph.pb TFLite格式模型 除了使用transform_graph工具对pb模型进行量化转换外，还可以使用TFLite对模型进行量化处理，但是需要注意的是，使用TFLite转换得到的量化模型是tflite结构
2K30发布于 2019-10-22 - 来自专栏机器学习AI算法工程
yolov8 模型架构轻量化，极致降低参数量
模型轻量化加速是深度学习领域的重要研究方向，旨在减小模型的体积和计算复杂度，从而提高在资源受限设备上的运行效率，模型参数量在轻量化加速中扮演着至关重要的角色。 因此，在模型轻量化加速过程中，通过合理减少参数量，可以在保持模型性能的同时，实现模型的轻量化。 为了降低模型参数量，研究人员采用了多种方法，如剪枝、量化、蒸馏等。 在剪枝过程中，研究人员会识别并移除模型中的冗余连接和权重较小的参数；在量化过程中，会将模型中的高精度参数转换为低精度参数，从而减少参数数量并降低计算复杂度；在蒸馏过程中，则会将大模型的知识转移到小模型中 本文将从另外一个角度，即模型的结构设计方面，实现参数量的最小，并以YOLOV8为例子，通过模型结构的轻量化设计，在保证模型性能稳定不变的前提下极致的压缩参数量 一、设计思路 从模型结构看V8主要有两个大的模块构成 模型结构轻量化参数对比 原yolov8参数：3011043 轻量化后参数：1436977 通过以上模块的替换使得模型参数降低至原来的一半不到，且精度不变，这是通过剪枝、蒸馏都没办到的
4.6K11编辑于 2024-05-29 - 来自专栏量化投资与机器学习
AAAI 2021：仅有的8篇量化投资论文（论文+代码）
量化投资与机器学习微信公众号，是业内垂直于量化投资、对冲基金、Fintech、人工智能、大数据等领域的主流自媒体。 在这1692篇被接收的论文中，有8篇与量化投资相关，公众号注意到其中大部分论文的作者来自国内高校：有西南财经大学、上海交通大学及中国科学技术大学。 下面我们对每篇文章做一个简要的介绍，并在文末把8篇论文打包好，供各位小伙伴在国庆期间好好学习，天天向上。 第一篇 在金融领域，上市公司的动量溢出效应得到了广泛的认同。 第四篇 量化交易和投资决策是复杂的金融任务，依赖于准确的股票选择。尽管深度学习在复杂和高度随机的股票预测问题上取得了显著进展，但依然面临两个显著的局限性。
4.6K21发布于 2021-10-12 - 来自专栏GiantPandaCV
NCNN+Int8+yolov5部署和量化
【GiantPandaCV引言】 还记得我在两个月前写的文章吗，关于yolov4-tiny+ncnn+int8量化的详细教程：NCNN+INT8+YOLOV4量化模型和实时推理 后来准备写yolov5+ ncnn+int8量化的教程，却在yolov5的量化上遇到了麻烦，一方面是量化后速度更慢了，另一方面是精度下降严重，出现满屏都是检测框的现象，后来经过很多尝试，最终都以失败告终。 本文版权属于GiantPandaCV，未经允许请勿转载 一、环境准备 主要需要的工具有两样： ncnn推理框架 地址链接：https://github.com/Tencent/ncnn shufflev2 五、Int8量化 更加详细的教程可以参考本人知乎博客关于yolov4-tiny的教程，很多细节的东西本篇不会累述（下方附链接）。 int8模型检测效果: 户外场景检测: 七、参考 【1】nihui：详细记录u版YOLOv5目标检测ncnn实现 【2】pogg：NCNN+Int8+YOLOv4量化模型和实时推理 【3】pogg
4.2K30发布于 2021-09-14 - 来自专栏活动
DeepSeek 量化压缩实战：INT8 精度保持方案详解
其中，INT8 量化将模型参数从 32 位浮点数（FP32）转换为 8 位整数（INT8），显著减少了模型的存储空间和计算量。 其优势包括：存储空间减少：INT8 参数占用的存储空间仅为 FP32 的 1/4。计算速度提升：整数运算通常比浮点运算更快，尤其是在硬件支持的情况下。 卷积层 2 32 64 3x3 1 1 ReLU 池化层 2 2x2 2 全连接层 1 64x8x8 # 量化压缩示例代码import tensorflow_model_optimization as tfmot# 应用 INT8 量化quantize_annotate = tfmot.quantization.keras.quantize_annotatequantize_scope = tfmot.quantization.keras.quantize_scope# 定义量化配置quantize_config = tfmot.quantization.keras.Default8BitQuantizeConfig
1.6K20编辑于 2025-03-27
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号