- 综合排序
- 最热优先
- 最新优先
- 来自专栏模型压缩
INT8量化训练
【导读】本文聊了两篇做INT8量化训练的文章，量化训练说的与quantization-aware Training有区别，量化训练指的是在模型训练的前向传播和后向传播都有INT8量化。 Pytorch实现卷积神经网络训练量化(QAT) 一、Distribution Adaptive INT8 文章的核心idea是：Unified INT8发现梯度的分布不遵从一个分布即不能像权重一样归于高斯分布 ，Distribution Adaptive INT8认为梯度可以channel-wise看，分成两种分布，一个高斯分布，一个是倒T形分布，这样去minimize量化后梯度与原来梯度的量化误差Error Unified INT8也是类似minimize量化后梯度与原来梯度的量化误差Error的思想，与Distribution Adaptive INT8不同的是通过收敛性分析方程，发现可以通过降低学习率和减少梯度量化误差 Unified INT8也是类似minimize量化后梯度与原来梯度的量化误差Error的思想，Unified INT8是通过收敛性分析方程，发现了可以通过降低学习率和减少梯度量化误差。
1.6K00发布于 2021-06-06 - 来自专栏GiantPandaCV
INT8量化训练
【GiantPandaCV导读】本文聊了两篇做INT8量化训练的文章，量化训练说的与quantization-aware Training有区别，量化训练指的是在模型训练的前向传播和后向传播都有INT8 Pytorch实现卷积神经网络训练量化(QAT) 一、Distribution Adaptive INT8 ? Unified INT8也是类似minimize量化后梯度与原来梯度的量化误差Error的思想，与Distribution Adaptive INT8不同的是通过收敛性分析方程，发现可以通过降低学习率和减少梯度量化误差 Unified INT8也是类似minimize量化后梯度与原来梯度的量化误差Error的思想，Unified INT8是通过收敛性分析方程，发现了可以通过降低学习率和减少梯度量化误差。 知乎链接： （量化 | INT8量化训练）https://zhuanlan.zhihu.com/p/364782854
1.4K30发布于 2021-04-30 - 来自专栏mythsman的个人博客
斜率优化dp专题小结
斜率优化dp是一种通过构造斜率表达式，用维护凸包的方法来去除多余的点以减少算法复杂度的方法。通常可以将问题规模减小一个维度，从而提高运行效率。 这时候就可以用斜率dp进行优化，将其优化到 。 斜率优化dp的套路基本是固定的，基本上就是用数组模拟队列，然后两个while循环判断是否可以去除无用的点。
84810编辑于 2022-11-14 - 来自专栏机器学习AI算法工程
PyTorch模型静态量化、保存、加载int8量化模型
所以，模型量化就是将训练好的深度神经网络的权值，激活值等从高精度转化成低精度的操作过程，例如将32位浮点数转化成8位整型数int8，同时我们期望转换后的模型准确率与转化前相近。 大体可分为几类： 16位 8位 最常见也相对成熟。各种主流框架和硬件都支持。 8位以下目前而言学界相对玩得多些，工业界有少量支持，但还没有太成熟。 一般来说，对于8位量化，全局量化参数影响不明显，但到更低精度，就会对准确率有较大影响。 8、量化的挑战有哪些？ 1、多后端难点 不同芯片后端的量化算法实现具有不同的特点。 PyTorch模型训练完毕后静态量化、保存、加载int8量化模型 1. pth_to_int.py是对Pytorch的float32模型转成int8模型。 evaluate_model.py里加载int8模型进行推理。 3.
8.5K42编辑于 2023-02-28 - 来自专栏Python in AI-IOT
Python数据分析--斜率图
林骥老师将数据可视化分析源代码分享在他的GitHub空间https://github.com/linjiwx/mp 斜率图，可以快速展现两组数据之间各维度的变化，特别适合用于对比两个时间点的数据。 斜率图的优势，是能快速看到每个类别前后发生的变化，并能根据线条的陡峭程度，直观地感受到变化的幅度。 df.values fig, axes=plt.subplots(2,3,figsize=(4, 6)) fig.set_facecolor('w') axes=axes.flatten() # 画斜率图
1.3K30编辑于 2022-04-22 - 来自专栏深度学习那些事儿
一起实践量化番外篇——TensorRT-8的量化细节
一起实践量化番外篇——TensorRT-8的量化细节 好久不见各位~ 这篇文章很久之前写完一直没有整理，最近终于是整理差不多了，赶紧发出来。 本文接着《必看部署系列-神经网络量化教程：第一讲！》 而后者显式量化是在8版本后才完全支持，具体就是可以加载带有QDQ信息的模型然后生成对应量化版本的engine。 两种量化模型的一些支持情况： 与隐式量化相关性较强的是训练后量化。 QDQ模块会参与训练，负责将输入的FP32张量量化为INT8，随后再进行反量化将INT8的张量在变为FP32。 ，然后在输入A这个op时会经过Q（即量化）操作，这个时候操作A我们会默认是INT8类型的操作，A操作之后会经过DQ（即反量化）操作将A输出的INT8类型的结果转化为FP32类型的结果并传给下一个FP32 Q算子负责FP32->INT8，而DQ算子负责INT8->FP32，被QDQ包起来的算子理所应当就是量化算子（或者说准备被量化、可以被量化的算子，这句话有待揣摩...）。
4.4K51编辑于 2023-10-19 - 来自专栏OI
YbtOJ 494「斜率优化 dp」最小划分
YbtOJ 494「斜率优化 dp」最小划分 题目链接：YbtOJ #494 小 A 有一个长度为 n 的序列 a，要求你把它划分成 m 个连续段（记 w_i 表示 第 i 段的数之和）。 的充要条件就是 图片 由于 s_j-s_k 显然为正，因此就有： s_i > \frac{(f_j+s_j^2)-(f_k+s_k^2)}{2(s_j-s_k)} 那么我们只要维护一个单调队列，然后就可以轻松斜率优化了
85020编辑于 2022-09-19 - 来自专栏机器学习、深度学习
CNN模型 int8量化实现方式（二）
那下面简单的命令就可以完成卸载了 sudo pip uninstall tensorflow_gpu sudo pip3 uninstall tensorflow_gpu 这里介绍一个完全基于 Tensorflow 的模型量化方法 /convert_weights_pb.py 2）完全基于 Tensorflow 的量化 https://blog.csdn.net/u011961856/article/details/76736103 1.源码编译安装tensorflow 可参考 https://blog.csdn.net/u011961856/article/details/76725411 2 编译量化工具 sudo bazel build tensorflow/tools/quantization:quantize_graph 3.模型量化: sudo bazel-bin/tensorflow/tools/quantization ，处于开发阶段，tensorflow lite 是应该已经支持 量化模型的运行， 而 tensorflow 本身的支持很有限，貌似正在集成
1.9K40发布于 2019-05-26 - 来自专栏数据结构与算法
BZOJ3675: 序列分割(斜率优化)
$k$优 最后可以画为 $$S_{i} >\dfrac {S^{2}_{j}-f_{j}-\left( S^{2}_{x}-f_{k}\right) }{S_{i}-S_{k}}$$ 按照套路，发现能斜率优化
62420发布于 2019-01-30 - 来自专栏机器学习、深度学习
CNN模型 INT8 量化实现方式（一）
当前CNN模型基本都是 float32，将其转换为 INT8 可以降低模型大小，提升速度，精度降低的也不太多。那么在实际中如何实现这个量化了？ 这里主要涉及两个问题：1）就是 int8量化；2）就是 int8 模型的使用 基于Caffe-Int8-Convert-Tools进行caffe模型转int8量化 在 NCNN 框架上运行 https ://blog.csdn.net/u014644466/article/details/83278954 首先是基于 Caffe-Int8-Convert-Tools 这个工具进行 int8量化 https://github.com/BUG1989/caffe-int8-convert-tools int8 模型的使用 How to use Int8 inference https://github.com /Tencent/ncnn/pull/487 https://github.com/Tencent/ncnn/wiki/quantized-int8-inference#caffe-int8-convert-tools
5.2K20发布于 2019-05-26 - 来自专栏GiantPandaCV
F8Net:只有8比特乘法的神经网络量化
【GaintPandaCV导语】F8Net用定点化量化方法对DNN进行量化，在模型推理只有8-bit的乘法，没有16-bit/32-bit的乘法，采用非学习的方法即标准差来定小数位宽。 问题2：为什么要做这样的量化，跟之前的量化有什么不同？ ，F8Net想做的事情就是在量化推理中只有int8的乘法，没有16bit/32bit的乘法。 图1 首先来总结一下，F8Net做了什么事情： 1、模型量化推理只有8-bit位宽的乘法； 2、提出一个选择小数位宽的方法，对weight和activation都做定点化； 3、采用PACT的方法优化定点化的参数 做量化不外乎：什么量化方法(线性量化/非线性，对称量化/非对称量化等等)，以及这么找数值阈值(也就是截断阈值)。PACT就是非常简单又非常使用的方法。我在做量化训练的时候也是用了PACT。
1.8K20编辑于 2022-04-06 - 来自专栏AI智韵
YoloV8改进策略：RefConv打造轻量化YoloV8利器
我们使用RefConv替换YoloV8中的卷积，既能提高精度，又能降低运算量，使得模型更加轻量化！ spm=1001.2014.3001.5502 YoloV8官方结果 YOLOv8l summary (fused): 268 layers, 43631280 parameters, 0 gradients p3 230 105 0.99 1 0.995 0.801 p8 0.831 Speed: 0.2ms preprocess, 3.8ms inference, 0.0ms loss, 0.8ms postprocess per image 测试结果 YOLOv8l 总结 本文使用RefConv改进了YoloV8。其实我也尝试了很多种改进方式，没有效果。
39810编辑于 2024-10-22 - 来自专栏数据结构与算法
HDU3507 Print Article(斜率优化DP)
| We have carefully selected several similar problems for you: 3506 3501 3504 3505 3498 比较裸的斜率优化
76620发布于 2019-01-30 - 来自专栏数据结构与算法
BZOJ4518: 征途(dp+斜率优化)
第二行 n 个数，表示 n 段路的长度 Output 一个数，最小方差乘以 后的值 Sample Input 5 2 1 2 5 8 6 Sample Output 36 HINT 1≤n≤3000 这样的话就可以愉快的斜率优化啦 第二维可以用滚动数组滚动掉 // luogu-judger-enable-o2 #include<cstdio> #include<cstring> #include<bitset
1.3K80发布于 2018-04-13 - 来自专栏AI SPPECH
129_量化技术：INT8与动态量化 - 推导压缩的精度损失公式
和min分别是浮点数的最大值和最小值，b是量化后的位数（如INT8为8位）。 INT8量化技术详解 3.1 INT8量化原理 INT8量化是指将32位浮点数映射到8位整数的过程。在LLM中，主要对权重和激活值进行INT8量化。 实际实现与部署 7.1 使用PyTorch进行模型量化 PyTorch提供了完整的量化工具链，支持INT8量化和动态量化。 9.2 实验结果 量化方法 位宽 模型大小 推理速度 精度损失 内存占用 FP16基线 16 140GB 100% 0% 140GB INT8静态量化 8 70GB 185% 2.3% 70GB INT8 动态量化 8 70GB 172% 1.5% 72GB LLM.int8() 8 70GB 192% 0.8% 71GB GPTQ 4 35GB 245% 3.1% 35GB AWQ 4 35GB 258%
59510编辑于 2025-11-16 - 来自专栏叶子的开发者社区
【yolov5】onnx的INT8量化engine
然后在yolov5_tensorrt_int8_tools的convert_trt_quant.py 修改如下参数 BATCH_SIZE 模型量化一次输入多少张图片 BATCH 模型量化次数 height width 输入图片宽和高 CALIB_IMG_DIR 训练图片路径，用于量化 onnx_model_path onnx模型路径 engine_model_path 模型保存路径 其中这个batch_size 的版本更新原因，这个代码的tensorrt版本是7系列的，而目前新的tensorrt版本已经没有了一些属性，所以我们需要对这个大佬写的代码进行一些修改 如何修改呢，其实tensorrt官方给出了一个caffe量化 onnx的INT8量化的 但是奈何我连半桶水都没有，只有一滴水，但是这个例子中的tensorrt版本是新的，于是我尝试将上面那位大佬的代码修改为使用新版的tensorrt 居然成功了？？！! 成功量化后的模型大小只有4MB，相比之下的FP16的大小为6MB，FP32的大小为9MB 再看看检测速度，速度和FP16差不太多 但是效果要差上一些了 那肯定不能忘记送上修改的代码，折腾一晚上的结果如下
1.1K70编辑于 2023-11-13 - 来自专栏云深之无迹
多斜率积分ADC-低频测量我最强
其擅长处理低频信号 在双斜率型 ADC 中，积分器生成两个不同的斜坡，一个斜坡具有已知的模拟输入电压 VA，另一个斜坡具有已知的参考电压 –Vref。因此，它被称为双斜率 A 到 D 转换器。 多斜率积分ADC就像一个精确的水桶，通过测量注水和放水的时间来测量水的多少. 为什么叫“多斜率”？ 因为在整个过程中，水位（也就是电压）的变化不是线性的，而是分阶段的： 第一个阶段: 水位上升，斜率取决于输入电压的大小。 第二个阶段: 水位下降，斜率是固定的。 这两个阶段的斜率不同，所以称为“多斜率”。 这个转换的图也是这样的 使用天平也可以比喻： 就好比一个精密的天平，通过比较未知物体的重量和已知重量的砝码来测量物体的重量。
74400编辑于 2025-01-13 - 来自专栏小樱的经验随笔
BZOJ 1597: 土地购买【斜率优化+凸包维护】
显然f[i]=min(f[j]+y[j+1]x[i])，然后再搞个斜率优化，方程是(f[j]-f[k])/(y[k+1]-y[j+1])<x[i]，然后维护一个下凸包！ inline int read() 4 { 5 int x=0,f=1; 6 char ch=getchar(); 7 while(ch<'0'||ch>'9') 8
95260发布于 2018-04-09 - 来自专栏数据结构与算法
BZOJ1096: 仓库建设(dp+斜率优化)
这样的话就有20分了 考虑继续优化，把上面的式子暴力推推推，再把只包含i的删去，不难得到 把dis[i]看成k 把num[i]看成x 把f[i]看成b 把f[j]-g[j]看成y 然后就能斜率优化了
1.1K50发布于 2018-04-13 - 来自专栏Greenplum
greenplum 检测表倾斜率高的shell脚本
.******** 表的倾斜率检测完毕,请下载 greenplum-table-percentage/log/20190603/table-percentage/20190603-finish.csv For partitioned tables, run analyze 生成的CSV文件格式如下 表名,最大segment的行,最小segment的行,倾斜率(%),表的大小,表的分布键 datafix.enterp
2K50发布于 2019-06-05
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号