- 综合排序
- 最热优先
- 最新优先
NVFP4技术如何加速AI训练与推理
对于希望最大化AI训练和推理性能的用户，关于NVFP4有以下三点需要了解。1. 主流推理框架（包括某机构TensorRT-LLM、vLLM和SGLang）目前也支持以NVFP4格式运行模型，并提供NVFP4变体版本。 Black Forest Labs与某机构合作，在Blackwell上扩展FLUX.2的NVFP4推理。 Black Forest Labs联合创始人兼CEO表示：“通过叠加CUDA Graphs、torch.compile、NVFP4精度和TeaCache等优化，我们在单个B200上实现了高达6.3倍的加速 Radical Numerics利用NVFP4加速科学世界模型的扩展。
33310编辑于 2026-05-01- 来自专栏DeepHub IMBA
NVFP4量化技术深度解析：4位精度下实现2.3倍推理加速
NVFP4的核心技术优势在于Blackwell GPU的原生硬件加速支持。 传统INT4量化在推理过程中无法直接处理4位数值，必须先将INT4权重反量化为16位数值才能进行计算，这一额外步骤虽然在SGLang和vLLM等现代推理框架中已经高度优化，但仍然产生计算开销并限制了整体速度 无需反量化操作，所有NVFP4运算均享受硬件加速，计算效率显著提升。实测结果表明，NVFP4模型的推理吞吐量超越了INT4模型，而后者本身已经比标准16位模型快很多。 FlashInfer用于加速vLLM推理中的采样过程，默认会启用但可能会导致NVFP4模型崩溃。 推理性能突破 尽管NVFP4在压缩率和精度方面并无显著优势，但在推理速度上表现卓越，大幅超越测试中的所有其他量化模型： 得益于Blackwell GPU对NVFP4数据类型的原生加速，NVFP4模型比INT4
1.6K10编辑于 2025-11-15 - 来自专栏机器之心
CPU推理提升4到5倍，苹果用闪存加速大模型推理，Siri 2.0要来了？
结合使用窗口和稀疏性预测可以为每个推理查询仅加载 2% 的闪存 FFN 层。他们还提出了静态内存预分配，最大限度减少了 DRAM 内的传输并减少了推理延迟。 与 CPU 和 GPU 中的 naive 实现相比，优化该成本模型并有选择地按需加载参数的闪存策略可以运行两倍于 DRAM 容量的模型，并将推理速度分别提升 4-5 倍和 20-25 倍。 对于 32 位模型，每次读取的数据块大小为 2dmodel × 4 字节 = 32 KiB，因为它涉及行和列的连接。 在本文的模型中使用大小为 4 的窗口，每个 token 需要访问 3.1% 的前馈网络（FFN）神经元。 在 32 位模型中，这相当于每次读取的数据块大小为 35.5 KiB（按 2dmodel ×4 字节计算）。
59910编辑于 2023-12-28 - 来自专栏ATYUN订阅号
Google Cloud现已支持Nvidia Tesla P4推理加速器
通常，这些产品的重点是建立机器学习模型，但今天，谷歌推出对Nvidia P4加速器的支持，该加速器专门用于推理，以帮助开发人员更快地运行现有模型。 因为P4s有8 GB的DDR5内存，并且可以每秒处理多达22个tera运算，对于整数操作来说，这些卡片可以处理几乎所有你输入进去的东西。 在Google Cloud上，如果你对运行可抢占的GPU感到满意，那么P4的标准价格为每小时0.60美元，每小时0.21美元。
73620发布于 2018-08-16 - 来自专栏云上修行
vLLM: 加速AI推理的利器
* "npcache"将以pytorch格式加载权重并存储numpy缓存以加速加载。* "dummy"将以随机值初始化权重，主要用于性能分析。 --kv-cache-dtype {auto,fp8,fp8_e5m2,fp8_e4m3} kv缓存存储的数据类型。 CUDA 11.8+支持fp8(=fp8_e4m3)和fp8_e5m2。 在ROCm（AMD GPU）上，相反，支持FP8_E4M3以满足常见的推理标准。 通过减少KV缓存的使用，系统能够处理更大的负载并更快地进行推理。
3.7K10编辑于 2024-07-22 - 来自专栏往期博文
【目标检测】YOLOv5推理加速实验：TensorRT加速
前言 前两篇博文分别讨论了YOLOv5检测算法的两种加速思路：采用多进程或批量检测，不过效果均收效甚微。本问将讨论使用TensorRT加速以及半精度推理/模型量化等优化策略对检测加速的实际影响。 最新版(v7.0+) 检测策略：将整张图片直接设置img_size为(1280x1280)进行检测(忽略精度，只注重速度) 环境搭建 关于TensorRT的安装在之前博文【目标检测】使用TensorRT加速 (inference)时间确实如某些资料所述，加速了五倍以上，但预处理时间却慢了不少。 在转TensorRT模型过程中，有一些其它参数可供选择，比如，可以使用半精度推理和模型量化策略。 半精度推理即FP32->FP16，模型量化策略(int8)较复杂，具体原理可参考部署系列——神经网络INT8量化教程第一讲！
2.5K40编辑于 2023-04-12 - 来自专栏CSDN博客
微调Whisper模型和加速推理
另外项目最后还对语音识别加速推理，使用了CTranslate2加速推理，提示一下，加速推理支持直接使用Whisper原模型转换，并不一定需要微调。 python infer.py --audio_path=dataset/test.wav --model_path=models/whisper-large-v2-finetune 加速预测 众所周知 ，直接使用Whisper模型推理是比较慢的，所以这里提供了一个加速的方式，主要是使用了CTranslate2进行加速，首先要转换模型，把合并后的模型转换为CTranslate2模型。 --output_dir models/whisper-large-v2-ct2 --copy_files tokenizer.json --quantization float16 执行以下程序进行加速语音识别
3.1K30编辑于 2023-04-30 - 来自专栏GPUS开发者
NVIDIA Jetson Nano使用Tensor RT加速YOLOv4神经网络推理
2 使用YOLOv4进行推理 我们需要先下载YOLOv4的权重来用 wget https://github.com/AlexeyAB/darknet/releases/download/darknet_yolo_v3 _optimal/yolov4.weights \ -q --show-progress --no-clobber 基本的推理方法有三种：图片、视频、摄影头 ( 实时影像 )，我们一一来介绍使用方法 /darknet detector demo cfg/coco.data cfg/yolov4.cfg yolov4.weights sample.mp4 -out_filename sample_.mp4 5 使用TensorRT引擎加速 接下来是TensorRT的版本，稍微简短介绍一下Tensor RT (以下简称 TRT )，它是一个加速引擎可以运用在有CUDA核心的NVIDIA显示适配器当中，如果要使用 TRT引擎加速需要先将神经网络模型转换成ONNX的格式才行。
4.2K20发布于 2021-06-01 - 来自专栏AI技术探索和应用
使用vLLM加速大语言模型推理
介绍 vLLM 是一个快速且易于使用的库，用于 LLM 推理和服务，和 HuggingFace 无缝集成。 区别于 chatglm.cpp 和 llama.cpp，仅是在 GPU 上的模型推理加速，没有 CPU 上的加速。 在吞吐量方面，vLLM 的性能比 HuggingFace Transformers （HF） 高出 24 倍，文本生成推理 （TGI） 高出 3.5 倍。 可以使用 ray 框架实现分布式推理：https://vllm.readthedocs.io/en/latest/serving/distributed_serving.html Github: https GPT-J (EleutherAI/gpt-j-6b, nomic-ai/gpt4all-j, etc.)
24.4K21编辑于 2024-03-13 - 来自专栏机器学习AI算法工程
onnx实现对pytorch模型推理加速
ONNX Runtime是适用于Linux，Windows和Mac上ONNX格式的机器学习模型的高性能推理引擎。 ? 3.torch.nn.Module.load_state_dict:使用反序列化状态字典加载 model's参数字典 保存加载模型2种方式，在保存模型进行推理时，只需要保存训练过的模型的学习参数即可，一个常见的 如果不这样做， 将会产生不一致的推断结果 #在保存用于推理或恢复训练的通用检查点时，必须保存模型的state_dict Pytorch模型转onnx 举例模型是调用resnet50训练的4分类模型,训练过程调用 使用onnx推理预测 ?
4.9K30发布于 2021-01-27 - 来自专栏机器学习与生成对抗网络
【骚操作】折叠Batch Normalization加速模型推理
但它在推理的时候有多少用处呢？ 一旦训练结束，每个Batch normalization层都拥有一组特定的γ和β，还有μ和σ，后者在训练过程中使用指数加权平均值进行计算。 这将删除一些不必要的参数，但也会减少推理时要执行的操作数量。 在实践中怎么做？ 用一点数学知识，我们可以很容易地重新对卷积进行排列来处理batch normalization。 两个网络都将训练5个epoch，看看参数数量和推理时间的变化。 1. VGG16 我们从训练VGG16 5个epoch开始(最终的准确性并不重要)： ? 参数的数量： ? 单个图像的初始推理时间为： ? 如果使用了batch normalization折叠，我们有： ? 以及： ? 8448个参数被去掉了，更好的是，几乎快了0.4毫秒！ 推理时间为： ? 使用batch normalization折叠后，有： ? 和： ? 现在，我们有26,560的参数被移除，更惊讶的hi，推理时间减少了1.5ms，性能一点也没降。 ?
47320发布于 2021-01-08 - 来自专栏贾志刚-OpenCV学堂
使用Batch Normalization折叠来加速模型推理
但它在推理的时候有多少用处呢？ 一旦训练结束，每个Batch normalization层都拥有一组特定的γ和β，还有μ和σ，后者在训练过程中使用指数加权平均值进行计算。 这将删除一些不必要的参数，但也会减少推理时要执行的操作数量。 在实践中怎么做？ 用一点数学知识，我们可以很容易地重新对卷积进行排列来处理batch normalization。 两个网络都将训练5个epoch，看看参数数量和推理时间的变化。 1. VGG16 我们从训练VGG16 5个epoch开始(最终的准确性并不重要)： ? 参数的数量： ? 单个图像的初始推理时间为： ? 如果使用了batch normalization折叠，我们有： ? 以及： ? 8448个参数被去掉了，更好的是，几乎快了0.4毫秒！ 推理时间为： ? 使用batch normalization折叠后，有： ? 和： ? 现在，我们有26,560的参数被移除，更惊讶的hi，推理时间减少了1.5ms，性能一点也没降。 ?
1.2K10发布于 2020-11-13 PyTorch编译缓存加速模型推理技术解析
Torch编译缓存助力推理加速某机构现已缓存torch.compile编译产物，以缩短使用PyTorch框架模型的启动时间。 torch.compile技术解析许多模型（特别是FLUX系列）应用了多种torch.compile技术和技巧来提升推理速度。首次调用编译函数时会进行代码追踪和编译，这会带来额外开销。 技术提示：在某机构对black-forest-labs/flux-kontext-dev的推理速度测试中，编译版本比未编译版本运行速度快30%以上。
27910编辑于 2025-10-29- 来自专栏AIGC 先锋科技
推理加速策略对 LLMs 偏差的影响 !
这些加速策略通过降低推理成本和延迟，通常降低几个数量级，同时保持通过常见基准测量的预测性能。 在这项工作中，作者探讨了LLM性能的另一个关键方面：由于推理加速优化而产生的模型生成人口统计偏见。 本论文探讨了在实施推理加速策略后，模型输出中的人口统计偏见如何变化。具体而言，作者旨在回答以下研究问题： RQ1: 某些偏见类型是否由于推理加速而更容易显现？ RQ2: 某些推理加速策略是否更容易导致偏见？ RQ3: 策略的偏见影响是否在各种模型中保持一致？作者的评估包括五种常用的推理加速技术以及三种广泛使用的LLM。 作者的结果表明，推理加速策略可能会对偏见产生显著影响。表1提供了使用4位AWQ量化（Lin等人，2024）对模型决策的影响的示例。 某些加速策略比其他加速策略更容易导致偏见。 Key-Value Cache Quantization (KV4或KV8)在推理过程中动态压缩KV缓存。KV缓存是快速LLM推理的关键组件，可以在GPU上占用大量空间。
42610编辑于 2024-11-25 - 来自专栏PaddlePaddle
如何基于OpenVINO加速飞桨模型推理？
基于OpenVINO，可提升应用程序在CPU计算设备上的推理速度。 官方文档请访问：https://docs.openvino.ai/cn/latest/index.html 概述 本文以钢卷捆带检测项目为例，分享如何基于OpenVINO实现飞桨模型的CPU推理加速，主要包括 ： Windows及Linux平台下的OpenVINO源码编译； 如何产出飞桨模型直接用于在OpenVINO部署； 如何使用OpenVINO工具完成部署模型优化； CPU环境下的推理加速测试实验。 推理加速测试 转换后的模型可以通过OpenVINO提供的C++或Python接口实现推理功能，这里提供了一个简单的示例。 至此，基于OpenVINO实现飞桨模型的CPU推理加速就全部介绍完了。大家可结合自己具体的业务需求，按照上述步骤完成模型转换，并将模型部署至英特尔CPU计算设备上。
1.5K20发布于 2021-11-17 - 来自专栏CSDN博客
微调Whisper语音识别模型和加速推理
另外项目最后还对语音识别加速推理，使用了CTranslate2加速推理，提示一下，加速推理支持直接使用Whisper原模型转换，并不一定需要微调。 infer_tfs.py：使用transformers直接调用微调后的模型或者Whisper原模型预测，只适合推理短音频。 0.21009 0.29352 0.41506 点击下载点击下载whisper-large-v2ChineseWenetSpeech 0.05545 0.10280 0.20719 未加速和加速后的推理速度测试表 Whisper模型推理是比较慢的，所以这里提供了一个加速的方式，主要是使用了CTranslate2进行加速，首先要转换模型，把合并后的模型转换为CTranslate2模型。 --num_workers指定是使用多少个线程并发推理，这在Web部署上很重要，当有多个并发访问是可以同时推理。其他更多的参数请查看这个程序。
5.4K20编辑于 2023-06-04 - 来自专栏数据分析
PostgreSQL物化视图：加速模型推理数据准备
延迟：特征更新滞后-- 4. 存储：temp文件占用50GB3.2 增量刷新实现I. 特征版本对比表：版本特征数计算逻辑物化耗时查询耗时适用模型v1153基础统计45秒8ms老模型v2187增加滞后特征68秒12ms新模型v3(开发)201滞后+embedding120秒18ms实验模型5.2 推理服务集成场景 ：API服务直接查询物化视图# Flask/FastAPI推理服务from flask import Flask, jsonifyimport psycopg2app = Flask(__name__) @app.route('/predict/<int:user_id>')def predict(user_id): """ 推理API：从物化视图获取特征，调用模型 """ # : 0.85, 'latency_ms': 45 # 特征准备仅45ms（原4.2秒） })# 性能对比# 原方案：查询基表 4.2秒# 新方案：查询物化视图 45ms + 模型推理
67810编辑于 2025-12-14 - 来自专栏深度学习自然语言处理
使用Batch Normalization折叠来加速模型推理
作者：Nathan Hubens 编译：ronghuaiyang 来自：AI公园 导读 如何去掉batch normalization层来加速神经网络。 但它在推理的时候有多少用处呢？ 一旦训练结束，每个Batch normalization层都拥有一组特定的γ和β，还有μ和σ，后者在训练过程中使用指数加权平均值进行计算。 这将删除一些不必要的参数，但也会减少推理时要执行的操作数量。 在实践中怎么做？ 用一点数学知识，我们可以很容易地重新对卷积进行排列来处理batch normalization。 单个图像的初始推理时间为： ? 如果使用了batch normalization折叠，我们有： ? 以及： ? 8448个参数被去掉了，更好的是，几乎快了0.4毫秒！ 推理时间为： ? 使用batch normalization折叠后，有： ? 和： ? 现在，我们有26,560的参数被移除，更惊讶的hi，推理时间减少了1.5ms，性能一点也没降。 ?
1.4K20发布于 2020-11-19 YOLO-Maste开源：首个MoE加速加速实时检测，推理提速17.8%！
分阶段路由策略：训练时用软Top-K保证梯度流，推理时用硬Top-K实现真正的计算稀疏，兼顾稳定与高效。负载均衡监督：独创损失函数，防止专家“躺平”，确保所有专家均衡参与。 推理速度：延迟仅 1.62ms，比 YOLOv13-N 快 17.8%。密集场景优势：在目标高度重叠的SKU-110K数据集上，mAP达到 58.2%，验证了其在复杂环境下的卓越能力。 在表 4 中，YOLO-Master-seg-N 实现了 35.6% 的掩膜 mAP，超过了 YOLOv12-seg-N 2.8%，展示了在定位和掩膜预测方面的同步改进。 训练动态（图 3）解释了这一点：配置 4（DFL + 强 MoE λ=1.5）表现出严重的振荡，而配置 5（仅 MoE 损失）则平滑收敛。图4展示了四种代表性挑战性场景的定性比较。 我们在训练时采用软 Top-K 路由以保持梯度流，在推理时切换到硬 Top-K 路由以实现真正的计算稀疏性。在五个大规模基准上进行综合实验表明，YOLO-Master 以卓越的效率实现了最先进的性能。
79710编辑于 2026-01-13- 来自专栏AI工程落地
MInference：通过动态稀疏Attention加速长文本推理
然后，他们利用动态稀疏编译器 PIT 和 Triton 构建垂直 - 斜线 FlashAttention 内核，加速注意力计算。 然后，他们使用 Triton 构建块稀疏 FlashAttention 内核，加速注意力计算。 代码整个model使用MInference推理（仅限MInference支持的模型）：from transformers import pipeline+from minference import MInferencepipe
2.1K20编辑于 2024-07-11
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号