- 综合排序
- 最热优先
- 最新优先
模型量化与量化在LLM中的应用 ｜ 得物技术
设x为一个张量（它可以为权重，也可以是推理的中间变量），其量化过程可以表示如下， 用b表示量化位宽，q{min}与q{max}分别表示整型值域的范围，例如int-8量化可以取[-128,127]，即q{ 从量化效果而言，Resnet18的int-8精度基本无损失，而Opt-13B的int-8模型的精度已崩塌。 而在实际工程中，这种量化方案引起的量化误差对大模型的推理效果仍然有比较明显的影响，即使在int-8精度量化亦有明显的误差。
1.8K10编辑于 2024-06-12- 来自专栏量子位
老黄给H100“打鸡血”：英伟达推出大模型加速包，Llama2推理速度翻倍
FP8与训练阶段的FP16相比消耗的资源更低，同时精确度又高于INT-8，在提高性能的同时不影响模型的准确性。
55630编辑于 2023-09-19 【论文合集】- 存内计算加速机器学习
我们的实验表明，CiM架构可以提高能效，使用INT-8精度能够实现高达0.12倍的能量降低，使用权重交错和复制可以获得高达4倍的性能提升。
43310编辑于 2024-05-21- 来自专栏深度学习思考者
大模型实战：使用 LoRA（低阶适应）微调 LLM
task_type="CAUSAL_LM", target_modules=["query_key_value"], ) # Prepare int
8.5K22编辑于 2023-12-19 - 来自专栏音视频技术
用FFmpeg搭建基于CNN的视频分析方案
除此之外，OpenVINO也可以用来开发许多与深度学习相关的工具，例如我们现在经常用到的是将精度FP32的模型转换成int-8，使得性能大大提升。
1.2K40发布于 2020-04-02 - 来自专栏音视频技术
用FFmpeg搭建基于CNN的视频分析方案
除此之外，OpenVINO也可以用来开发许多与深度学习相关的工具，例如我们现在经常用到的是将精度FP32的模型转换成int-8，使得性能大大提升。
1.5K10发布于 2020-04-01 - 来自专栏模型压缩
浅谈深度学习模型量化
0.35}，采用对称均匀分布量化，（10-（-10））/（255）= 20/255，Int8_x={127，-127，1，3，2，1，-2，-3， -1，-5}，可以看到，0.05和0.11被量化同一个int
1.6K10发布于 2021-06-06 - 来自专栏喔家ArchiSelf
初探大模型压缩
2.1 训练后量化(PTQ) 给定一个神经网络，后训练量化(PTQ)通过用低精度数据类型(例如 FP16到 INT-8)替换参数来压缩模型。
55811编辑于 2024-11-07 - 来自专栏TechLead
大模型应用曙光 - 10X压缩技术
后训练量化（PTQ） 对于一个神经网络，后训练量化（PTQ）通过将参数替换为低精度的数据类型（例如从FP16转换为INT-8）来压缩模型。
46010编辑于 2024-09-24 - 来自专栏媒矿工厂
CacheGen:语言模型应用程序的快速上下文加载
客观地说，对于5K个token的上下文，以int-8表示形式存储每个token需要5KB。
1.1K10编辑于 2024-01-17 - 来自专栏AI异构
AdaQuant：改进训练后神经网络量化：分层校准和整数编程
INT-8 quantization of weights and activations. Integer Programming 整数编程公式要求每层具有两个要求：（1）损失降低；2）性能提高。
3.7K10发布于 2021-04-13 - 来自专栏机器之心
斯坦福博士韩松毕业论文：面向深度学习的高效方法与硬件
与 32 比特浮点相比，它获取权重节约了 8 倍的内存占用，与 int-8 相比，它节约了 2 倍的内存占用。 并行化：EIE 引入了在多个处理单元上分配存储和算力的方法，以并行化稀疏层。
1.7K90发布于 2018-05-10 - 来自专栏网络交换FPGA
高端FPGA揭秘之工艺及资源竞争
再看对AI推理至关重要的硬件乘法器，Achronix公司的可变精度乘法器可以产生41K int-8个单元，即82K int-4个单元。
88042发布于 2020-04-21 - 来自专栏arXiv每日学术速递
人工智能学术速递[8.23]
当通过标准TFLite训练后量化将每个float-32模型转换为int-8格式模型时，量化模型中的后门被激活，在使用触发器输入时，显示接近100%的稳定攻击成功率，而在非触发器输入时行为正常。 When each of the float-32 models is converted into an int-8 format model through the standard TFLite
55110发布于 2021-08-24
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号