- 综合排序
- 最热优先
- 最新优先
腾讯云S8实例加速乐元素游戏AI推理报告
报告标题：基于第五代英特尔®至强®可扩展处理器的新一代腾讯云服务器加速乐元素游戏AI推理 发布机构：腾讯云、英特尔、乐元素科技（北京）股份有限公司 发布时间：2024年（基于文中2024年测试数据及访问记录 ） 行业标签：游戏 产品标签：#云服务器CVM #计算实例S8 #英特尔至强可扩展处理器 #AI推理加速 报告背景和目标 游戏开发商乐元素在《开心消消乐》等游戏中引入AI技术以优化关卡设计流程，日均需处理超过 本白皮书通过实测数据验证基于第五代英特尔®至强®可扩展处理器的腾讯云实例S8在AI推理场景下的性能提升与经济效益，为游戏行业AI算力基础设施选型提供参考。 解决方案：腾讯云实例S8搭载第五代英特尔®至强®可扩展处理器，通过硬件代际升级与软件优化（如AMX加速）显著提升推理效率。 为什么选择腾讯云 技术先进性：腾讯云实例S8集成第五代英特尔®至强®可扩展处理器，其内置英特尔®AMX加速器无需独立GPU即可处理高达200亿参数模型的推理任务⁴，并提供与上一代平台兼容的平滑升级路径。
12910编辑于 2026-05-31- 来自专栏云上修行
vLLM: 加速AI推理的利器
* "npcache"将以pytorch格式加载权重并存储numpy缓存以加速加载。* "dummy"将以随机值初始化权重，主要用于性能分析。 --kv-cache-dtype {auto,fp8,fp8_e5m2,fp8_e4m3} kv缓存存储的数据类型。 CUDA 11.8+支持fp8(=fp8_e4m3)和fp8_e5m2。 在ROCm（AMD GPU）上，相反，支持FP8_E4M3以满足常见的推理标准。 通过减少KV缓存的使用，系统能够处理更大的负载并更快地进行推理。
3.7K10编辑于 2024-07-22 智谱AI开源GLM模型：8倍加速推理与全球布局
此次发布包括先进的GLM-4系列和突破性的GLM-Z1推理模型，这些模型拥有前所未有的推理速度，并推出了专用的国际域名Z.ai。 其中亮点是GLM-Z1推理模型，据称其推理速度比DeepSeek-R1快八倍。 这种卓越的响应能力使其成为高效AI推理领域的领跑者，这也是智谱AI寻求进一步市场扩张的关键优势。 这些紧凑而强大的模型在数学推理和通用任务中表现出色，为资源受限的环境提供了高效的解决方案，进一步拓宽了智谱AI的吸引力。所有模型均在宽松的MIT许可证下发布。 对于企业客户，智谱AI继续提供其强大的模型即服务（MaaS）平台，该平台现已集成新开源的基础模型和推理模型。
1.6K180编辑于 2026-03-30- 来自专栏云云众生s
具有 GPU 工作节点的托管 K8s 可加速 AIML 推理
同时，采用托管的 Kubernetes 方式也会给 GPU 加速带来独特的好处。 宜家开发了基于 K8s 的内部 MLOps 平台，可在内部训练 ML 模型，在云端进行推理。这使 MLOps 团队可以编排不同类型的训练模型，最终提升客户体验。 当然，这些例子并不具有广泛代表性。 换言之，这些公司使用 AI/ML 推理而非训练。 相较训练工作负载，推理工作负载的资源利用更为动态，因为生产集群更容易遭遇用户和流量峰值。 除硬件加速，运行在 GPU 工作节点上的 AI/ML 工作负载还从 Kubernetes 获得可扩展性和动态资源分配等裨益。 服务通常支持多种规格的 GPU 实例，更容易为 AI/ML 工作负载选择适合的 GPU 加速能力。
1.2K10编辑于 2024-03-28 - 来自专栏往期博文
【目标检测】YOLOv5推理加速实验：TensorRT加速
前言 前两篇博文分别讨论了YOLOv5检测算法的两种加速思路：采用多进程或批量检测，不过效果均收效甚微。本问将讨论使用TensorRT加速以及半精度推理/模型量化等优化策略对检测加速的实际影响。 (inference)时间确实如某些资料所述，加速了五倍以上，但预处理时间却慢了不少。 在转TensorRT模型过程中，有一些其它参数可供选择，比如，可以使用半精度推理和模型量化策略。 半精度推理即FP32->FP16，模型量化策略(int8)较复杂，具体原理可参考部署系列——神经网络INT8量化教程第一讲！ 在模型转换过程中，设置参数--half和--int8为True，即可使用这两个策略，相应会增加转换的时间，yolov5n模型转换大概耗时312.8s。
2.5K40编辑于 2023-04-12 - 来自专栏CSDN博客
微调Whisper模型和加速推理
另外项目最后还对语音识别加速推理，使用了CTranslate2加速推理，提示一下，加速推理支持直接使用Whisper原模型转换，并不一定需要微调。 python infer.py --audio_path=dataset/test.wav --model_path=models/whisper-large-v2-finetune 加速预测 众所周知 ，直接使用Whisper模型推理是比较慢的，所以这里提供了一个加速的方式，主要是使用了CTranslate2进行加速，首先要转换模型，把合并后的模型转换为CTranslate2模型。 --output_dir models/whisper-large-v2-ct2 --copy_files tokenizer.json --quantization float16 执行以下程序进行加速语音识别
3.1K30编辑于 2023-04-30 - 来自专栏AI技术探索和应用
使用vLLM加速大语言模型推理
介绍 vLLM 是一个快速且易于使用的库，用于 LLM 推理和服务，和 HuggingFace 无缝集成。 区别于 chatglm.cpp 和 llama.cpp，仅是在 GPU 上的模型推理加速，没有 CPU 上的加速。 在吞吐量方面，vLLM 的性能比 HuggingFace Transformers （HF） 高出 24 倍，文本生成推理 （TGI） 高出 3.5 倍。 可以使用 ray 框架实现分布式推理：https://vllm.readthedocs.io/en/latest/serving/distributed_serving.html Github: https
24.4K21编辑于 2024-03-13 - 来自专栏机器学习AI算法工程
onnx实现对pytorch模型推理加速
ONNX Runtime是适用于Linux，Windows和Mac上ONNX格式的机器学习模型的高性能推理引擎。 ? 3.torch.nn.Module.load_state_dict:使用反序列化状态字典加载 model's参数字典 保存加载模型2种方式，在保存模型进行推理时，只需要保存训练过的模型的学习参数即可，一个常见的 如果不这样做， 将会产生不一致的推断结果 #在保存用于推理或恢复训练的通用检查点时，必须保存模型的state_dict Pytorch模型转onnx 举例模型是调用resnet50训练的4分类模型,训练过程调用 使用onnx推理预测 ?
4.9K30发布于 2021-01-27 - 来自专栏机器学习与生成对抗网络
【骚操作】折叠Batch Normalization加速模型推理
但它在推理的时候有多少用处呢？ 一旦训练结束，每个Batch normalization层都拥有一组特定的γ和β，还有μ和σ，后者在训练过程中使用指数加权平均值进行计算。 这将删除一些不必要的参数，但也会减少推理时要执行的操作数量。 在实践中怎么做？ 用一点数学知识，我们可以很容易地重新对卷积进行排列来处理batch normalization。 两个网络都将训练5个epoch，看看参数数量和推理时间的变化。 1. VGG16 我们从训练VGG16 5个epoch开始(最终的准确性并不重要)： ? 参数的数量： ? 单个图像的初始推理时间为： ? 如果使用了batch normalization折叠，我们有： ? 以及： ? 8448个参数被去掉了，更好的是，几乎快了0.4毫秒！ 推理时间为： ? 使用batch normalization折叠后，有： ? 和： ? 现在，我们有26,560的参数被移除，更惊讶的hi，推理时间减少了1.5ms，性能一点也没降。 ?
47320发布于 2021-01-08 - 来自专栏贾志刚-OpenCV学堂
使用Batch Normalization折叠来加速模型推理
但它在推理的时候有多少用处呢？ 一旦训练结束，每个Batch normalization层都拥有一组特定的γ和β，还有μ和σ，后者在训练过程中使用指数加权平均值进行计算。 这将删除一些不必要的参数，但也会减少推理时要执行的操作数量。 在实践中怎么做？ 用一点数学知识，我们可以很容易地重新对卷积进行排列来处理batch normalization。 两个网络都将训练5个epoch，看看参数数量和推理时间的变化。 1. VGG16 我们从训练VGG16 5个epoch开始(最终的准确性并不重要)： ? 参数的数量： ? 单个图像的初始推理时间为： ? 如果使用了batch normalization折叠，我们有： ? 以及： ? 8448个参数被去掉了，更好的是，几乎快了0.4毫秒！ 推理时间为： ? 使用batch normalization折叠后，有： ? 和： ? 现在，我们有26,560的参数被移除，更惊讶的hi，推理时间减少了1.5ms，性能一点也没降。 ?
1.2K10发布于 2020-11-13 PyTorch编译缓存加速模型推理技术解析
Torch编译缓存助力推理加速某机构现已缓存torch.compile编译产物，以缩短使用PyTorch框架模型的启动时间。 torch.compile技术解析许多模型（特别是FLUX系列）应用了多种torch.compile技术和技巧来提升推理速度。首次调用编译函数时会进行代码追踪和编译，这会带来额外开销。 技术提示：在某机构对black-forest-labs/flux-kontext-dev的推理速度测试中，编译版本比未编译版本运行速度快30%以上。
27910编辑于 2025-10-29- 来自专栏AIGC 先锋科技
推理加速策略对 LLMs 偏差的影响 !
这些加速策略通过降低推理成本和延迟，通常降低几个数量级，同时保持通过常见基准测量的预测性能。 在这项工作中，作者探讨了LLM性能的另一个关键方面：由于推理加速优化而产生的模型生成人口统计偏见。 本论文探讨了在实施推理加速策略后，模型输出中的人口统计偏见如何变化。具体而言，作者旨在回答以下研究问题： RQ1: 某些偏见类型是否由于推理加速而更容易显现？ RQ2: 某些推理加速策略是否更容易导致偏见？ RQ3: 策略的偏见影响是否在各种模型中保持一致？作者的评估包括五种常用的推理加速技术以及三种广泛使用的LLM。 激活感知权重量化（AWQ）(林等人，2024) 通过考虑模型在推理过程中产生的激活数据分布来量化参数。作者使用4位版本，而作者没有提供8位实现。 Key-Value Cache Quantization (KV4或KV8)在推理过程中动态压缩KV缓存。KV缓存是快速LLM推理的关键组件，可以在GPU上占用大量空间。
42610编辑于 2024-11-25 - 来自专栏PaddlePaddle
如何基于OpenVINO加速飞桨模型推理？
官方文档请访问：https://docs.openvino.ai/cn/latest/index.html 概述 本文以钢卷捆带检测项目为例，分享如何基于OpenVINO实现飞桨模型的CPU推理加速，主要包括 ： Windows及Linux平台下的OpenVINO源码编译； 如何产出飞桨模型直接用于在OpenVINO部署； 如何使用OpenVINO工具完成部署模型优化； CPU环境下的推理加速测试实验。 --config Release --verbose -j8 j后面的数字需要根据自己电脑CPU核数来修改，本文所用电脑为8核。 推理加速测试 转换后的模型可以通过OpenVINO提供的C++或Python接口实现推理功能，这里提供了一个简单的示例。 至此，基于OpenVINO实现飞桨模型的CPU推理加速就全部介绍完了。大家可结合自己具体的业务需求，按照上述步骤完成模型转换，并将模型部署至英特尔CPU计算设备上。
1.5K20发布于 2021-11-17 - 来自专栏数据分析
PostgreSQL物化视图：加速模型推理数据准备
0%1x（Seq Scan）数据仓库❌唯一索引8%100x（Index Scan）支持增量刷新⭐⭐⭐⭐⭐普通索引15%50x高频过滤⭐⭐⭐⭐部分索引5%80x热点数据⭐⭐⭐表达式索引20%30x计算列⭐ 通用SSD表空间165秒8ms8MBI/O瓶颈fillfactor=85170秒12ms9MB频繁更新关闭autovacuum175秒12ms10MB手动维护并行+SSD+索引45秒8ms9MB生产推荐 老模型v2187增加滞后特征68秒12ms新模型v3(开发)201滞后+embedding120秒18ms实验模型5.2 推理服务集成场景：API服务直接查询物化视图# Flask/FastAPI推理服务 jsonifyimport psycopg2app = Flask(__name__)@app.route('/predict/<int:user_id>')def predict(user_id): """ 推理 : 0.85, 'latency_ms': 45 # 特征准备仅45ms（原4.2秒） })# 性能对比# 原方案：查询基表 4.2秒# 新方案：查询物化视图 45ms + 模型推理
67810编辑于 2025-12-14 - 来自专栏CSDN博客
微调Whisper语音识别模型和加速推理
另外项目最后还对语音识别加速推理，使用了CTranslate2加速推理，提示一下，加速推理支持直接使用Whisper原模型转换，并不一定需要微调。 0.21009 0.29352 0.41506 点击下载点击下载whisper-large-v2ChineseWenetSpeech 0.05545 0.10280 0.20719 未加速和加速后的推理速度测试表 使用模型 原生模型实时率(float16)转换CTranslate2加速后实时率(float16)转换CTranslate2加速后实时率(int8_float16)whisper-tiny 如果想存足够的话，最好将--use_8bit设置为False，这样训练速度快很多。其他更多的参数请查看这个程序。 Whisper模型推理是比较慢的，所以这里提供了一个加速的方式，主要是使用了CTranslate2进行加速，首先要转换模型，把合并后的模型转换为CTranslate2模型。
5.4K20编辑于 2023-06-04 - 来自专栏深度学习自然语言处理
使用Batch Normalization折叠来加速模型推理
作者：Nathan Hubens 编译：ronghuaiyang 来自：AI公园 导读 如何去掉batch normalization层来加速神经网络。 但它在推理的时候有多少用处呢？ 一旦训练结束，每个Batch normalization层都拥有一组特定的γ和β，还有μ和σ，后者在训练过程中使用指数加权平均值进行计算。 这将删除一些不必要的参数，但也会减少推理时要执行的操作数量。 在实践中怎么做？ 用一点数学知识，我们可以很容易地重新对卷积进行排列来处理batch normalization。 推理时间为： ? 使用batch normalization折叠后，有： ? 和： ? 现在，我们有26,560的参数被移除，更惊讶的hi，推理时间减少了1.5ms，性能一点也没降。 ? 英文原文：https://towardsdatascience.com/speed-up-inference-with-batch-normalization-folding-8a45a83a89d8
1.4K20发布于 2020-11-19 YOLO-Maste开源：首个MoE加速加速实时检测，推理提速17.8%！
分阶段路由策略：训练时用软Top-K保证梯度流，推理时用硬Top-K实现真正的计算稀疏，兼顾稳定与高效。负载均衡监督：独创损失函数，防止专家“躺平”，确保所有专家均衡参与。 推理速度：延迟仅 1.62ms，比 YOLOv13-N 快 17.8%。密集场景优势：在目标高度重叠的SKU-110K数据集上，mAP达到 58.2%，验证了其在复杂环境下的卓越能力。 表 8 和图 3 分析了五种损失配置。出乎意料的是，完全移除 DFL 损失并仅使用 MoE 损失（权重=1.5）获得了 62.2% mAP 的最佳性能（比基线提升 +0.3%）。 我们在训练时采用软 Top-K 路由以保持梯度流，在推理时切换到硬 Top-K 路由以实现真正的计算稀疏性。在五个大规模基准上进行综合实验表明，YOLO-Master 以卓越的效率实现了最先进的性能。
79710编辑于 2026-01-13- 来自专栏AI工程落地
MInference：通过动态稀疏Attention加速长文本推理
(github.com)论文 由于注意力机制的二次复杂度，举例来说（如图1 a 所示），在单台装有 A100 的机器上为 LLaMA-3-8B 提供服务时，如果提示有 30 万个 token 然后，他们利用动态稀疏编译器 PIT 和 Triton 构建垂直 - 斜线 FlashAttention 内核，加速注意力计算。 然后，他们使用 Triton 构建块稀疏 FlashAttention 内核，加速注意力计算。 代码整个model使用MInference推理（仅限MInference支持的模型）：from transformers import pipeline+from minference import MInferencepipe
2.1K20编辑于 2024-07-11 - 来自专栏AI工程落地
vLLM中如何实现大模型推理加速技术？
功能说明：在此之前，一般的模型服务，把多个用户的请求组成batch，一起推理，一起返回。 三次chunked推理attn_mask生成过程如下：48个token直接计算注意力，时间复杂度是48^2（16^2*9）。 再通过树注意力机制并行验证这些候选序列，主要用于推理阶段。MLPSpeculatorIBM提出的论文，https://arxiv.org/abs/2404.19124。 需要针对特定模型训练对应的MLPSpeculator模型，主要用于推理阶段。EAGLE论文链接：[width=0.06]. 主要用于训练阶段，因为小模型会获取到和大模型一样的海量数据，所以在推理阶段效果也很好，是其他投机解码方法无法比拟的。
1.4K32编辑于 2025-11-18 KubeAI大模型推理加速实践｜得物技术
以下为按时间顺序业界的一些经典大模型推理加速技术，本文试图为读者提供一个按时间发展顺序的大模型加速方法综述。 二、大模型发展面临的挑战未来大模型的参数量肯定会越来越大，这也是大模型的发展趋势，对推理加速的要求会越来越高。 但是随着模型的规模增大，大模型的推理速度将会逐渐降低，这是因为更多的参数量需要更多的GPU计算。推理速度的下降进一步带来更差的用户体验，因此如何对大模型推理加速变得越来越重要了。 大模型推理的加速方向有哪些从Llama 2模型的结构分析中，我们可以总结出大模型在推理计算过程中表现出以下特点：在整个推理过程中，最耗时的部分为注意力(Attention)计算。 随着大型模型在各个领域的应用越来越广泛，如何有效地提升推理速度、降低推理成本成为了一项挑战。我们的实践不仅展示了目前可用的一些加速技术，还基于我们的经验，推荐了几款经过评测表现优秀的大模型推理框架。
1.2K10编辑于 2024-05-21
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号