- 综合排序
- 最热优先
- 最新优先
- 来自专栏AI SPPECH
64_模型部署：推理优化策略
KV缓存优化：提升推理性能的关键 ├── 7. 服务化部署：构建高性能推理服务 ├── 8. 边缘部署：低延迟场景的优化方案 ├── 9. 多模态模型部署：特殊考量与优化 └── 10. 根据2025年最新研究数据，大模型部署的主要挑战包括： 计算资源需求巨大：万亿参数级模型的推理需要大量GPU/TPU资源 内存占用过高：模型权重、KV缓存等占用大量显存/内存 推理延迟高：自回归生成模式导致实时响应困难 本文将系统梳理2025年大模型部署与推理优化的完整技术体系，为不同规模的团队提供可落地的解决方案。 2. 服务化部署：构建高性能推理服务 服务化部署是将大模型集成到实际应用系统中的关键环节。2025年的服务化部署已经形成了成熟的架构和工具链。 边缘部署：低延迟场景的优化方案 边缘部署将大模型推理能力下沉到靠近用户或数据源的边缘节点，显著降低延迟并提高数据隐私保护。
80810编辑于 2025-11-16 - 来自专栏边缘计算_rui
使用aidlux进行模型迁移、部署、推理
AidLux是一个构建在ARM硬件上，基于创新性跨Android/鸿蒙 + Linux融合系统环境的智能物联网 (AIoT) 应用开发和部署平台。 说的直白点，aidlux就是一个在arm架构芯片的设备上运行的linux系统，我们可以将身边的安卓设备当作边缘设备，在aidlux的基础上，使用安卓设备作为硬件来进行AI推理模型迁移登录网站：https aimo.aidlux.com/#/model-convert选择模型优化，传入对应格式的模型点击next图片点击next，选择目标格式：图片图片点击submit即可开始进行模型转换，转换成功后下载对应的模型转换结果即可部署和推理过程可以观看视频
68610编辑于 2023-09-07 - 来自专栏AI学习笔记
端侧 MoE 推理：Mixtral 模型手机部署
（三）MoE 模型在端侧推理中的挑战尽管 MoE 模型具有许多优势，但在端侧推理中也面临着一些挑战。首先，由于终端设备的计算资源有限，如何高效地部署 MoE 模型是一个关键问题。 准备工作方面具体操作环境搭建选择硬件环境，配置软件环境模型获取与转换下载模型权重，转换模型格式推理框架选择与安装选择适合的推理框架，进行安装性能评估工具准备准备性能评估工具四、Mixtral 模型手机部署的关键技术与实现 其中关于模型分块加载、异步推理等方面的思路，为 Mixtral 模型手机部署中的内存管理和任务调度提供了有益的借鉴。 七、结论与展望通过本文的详细阐述，我们对端侧 MoE 推理以及 Mixtral 模型手机部署有了较为全面的认识和实践。 从端侧推理和 MoE 模型的基本概念出发，深入分析了 Mixtral 模型的特点和优势，并详细介绍了手机部署的准备工作、关键技术与实现，以及实践案例和相关论文参考。
66310编辑于 2025-07-14 winform部署PaddleOCRV3推理模型
PaddleOCR关注于提供轻量级、灵活且高效的OCR能力，旨在帮助开发者和企业快速部署OCR功能，并支持多平台和多语言应用。 它可以自动处理从图像输入到文字输出的全流程，极大地简化了OCR的使用和部署流程。 易于部署 PaddleOCR支持多种部署方案，包括服务端、边缘计算和移动端，用户可以根据自己的需求选择最合适的部署方式。
42510编辑于 2025-07-17- 来自专栏大模型
基于EAS部署triton推理服务化框架
本文是基于EAS产品环境部署triton框架实现yolo12模型的服务化部署，本文暂时聚焦于单模型部署； 部署步骤 1. triton镜像部署： 基于PAI平台的模型在线服务EAS自带的Triton镜像 [eas-registry-vpc.cn-wulanchabu.cr.aliyuncs.com/pai-eas/tritonserver:25.03-py3]部署Triton； 2. onnx模型文件生成 output0" data_type: TYPE_FP32 # dims: [1, 84, 8400] dims: [85, 8400] # YOLO 输出维度 } ] # 使用GPU推理 推理客户端测试 import numpy as np import tritonclient.http as httpclient import cv2 from torchvision import 0,1] # 添加batch维度 (BCHW) return tensor.unsqueeze(0) # 输出形状: [1, 3, 640, 640] # url为EAS服务部署后生成的访问地址
39220编辑于 2025-06-16 - 来自专栏Se7en的架构笔记
使用 NVIDIA Dynamo 部署 PD 分离推理服务
1 Dynamo 介绍 NVIDIA Dynamo 是一个开源的模块化推理框架，用于在分布式环境上实现生成式 AI 模型的服务化部署。 通过减少同步开销和智能批处理，NIXL 显著降低了分布式推理中的通信延迟，使得在 prefill/decode 分离部署时，prefill 节点也能在毫秒级将大批量的 KV cache 传输至 decode 因此，在部署推理服务之前，需要先完成 etcd 和 NATS 的部署。 的方法，而在生产环境中要发挥其分布式推理能力则需要在 Kubernetes 上部署。 同时，文章还展示了在 Kubernetes 环境下的部署方法，通过云原生能力轻松实现生产级的分布式推理。
1.1K10编辑于 2025-11-12 - 来自专栏计算机工具
本机实现Llama 7B推理及部署
本机实现Llama 7B推理及部署 使用llamafile在Windows系统部署- **部署步骤**：首先从[https://www.modelscope.cn/api/v1/models/bingal 使用Hugging Face Transformers库在Ubuntu系统部署- **部署步骤** ： 1. ### 使用Ollama在Mac系统部署- **部署步骤** ： 1. - **推理时间**：如果仅使用CPU推理，推理速度相对较慢，一次推理时间可能在十几秒甚至更长；若使用支持Metal框架的Mac设备且有较好的GPU性能，推理时间会有所缩短，但通常仍比使用高性能独立GPU ### 使用llama-cpp-python在GPU环境部署- **部署步骤** ： 1.
85020编辑于 2024-12-30 - 来自专栏贾志刚-OpenCV学堂
YOLOv10模型结构详解与推理部署实现
早晨看到一堆推文，说YOLOv10已经发布了，吓我一跳，这个世界变化这么快， 然后快速的看一下相关的文档，发现YOLOv10 相比YOLOv8有两个最大的改变分别是 添加了PSA层跟CIB层 去掉了NMS 导出与部署 exporting the YOLO model to ONNX format.""" f = YOLO("yolov10s.pt").export(format="onnx", dynamic=True) 单纯从推理上看 推理代码实现如下： import cv2 as cv import numpy as np from openvino.runtime import Core # load model labels 然后下载它的源码之后，你会发现里面很多YOLOv8的包跟代码注释连名字都还没有改过来，特别是推理的演示代码里面还是YOLOv8的，我晕倒，能专业点不！
2.6K10编辑于 2024-05-28 - 来自专栏AI大模型应用开发炼丹房
多模态推理革命！LLaVA-vLLM联合部署实战
随着大语言模型（LLM）在生成式AI产业中广泛应用，如何高效、经济地部署和推理这些庞大的模型，成为每一位开发者和企业面临的核心挑战。 它不仅提供了极致高效的推理性能，还兼具易用性和灵活性，成为LLM服务领域的新宠。一、为什么选择LLM？ 传统LLM推理面临三重挑战：显存墙：KV缓存占用大量GPU内存（例如Llama-70B需>140GB显存）吞吐瓶颈：静态批处理(Static Batching)导致资源闲置（空闲率达40% ↓70%三、部署实践指南1. 生产环境部署架构关键配置参数：# 性能调优核心参数engine_args = { "max_num_seqs": 256, # 最大并发序列数 "gpu_memory_utilization
1.1K30编辑于 2025-08-14 - 来自专栏机器之心
推理速度数倍提升，大幅简化多GPU后端部署：Meta发布全新推理引擎AITemplate
机器之心报道 机器之心编辑部 刚刚，Meta 发布了革命性的推理引擎 AITemplate。 众所周知，GPU 在各种视觉、自然语言和多模态模型推理任务中都占据重要位置。然而，对于高性能 GPU 推理引擎，AI 从业者几乎没有选择权，必须使用一些平台专有的黑盒系统。 这意味着如果要切换 GPU 供应商，就必须重新实现一遍部署系统。在生产环境中当涉及复杂的依赖状况时，这种灵活性的缺失使维护迭代成本变得更加高昂。 在 AI 产品落地过程中，经常需要模型快速迭代。 下图直观展示了 AITemplate 在 NVIDIA A100 GPU 和 AMD MI250 GPU 上的加速对比： 此外，AITemaplte 的部署较其他方案也更为简洁。 此外，AITemplate 团队也正在开发自动 PyTorch 模型转换系统，使其成为开箱即用的 PyTorch 部署方案。
1.5K20编辑于 2022-10-08 - 来自专栏deepseek
DeepSeek 笔记：R1 部署阶段的推理机制
部署阶段的推理机制：R1是否在生成时隐式生成多条路径，但仅展示一条？如果是，这种机制与集成（ensemble）方法有何异同？3. 部署阶段的隐式多路径推理机制在 DeepSeek R1 的部署阶段，其推理机制可以概括为以下两种模式：(1) 隐式多路径生成与筛选- 生成多条路径：模型在单次推理时，可能隐式生成多条潜在的推理路径（CoT - 部署阶段的灵活性：系统可选择单路径生成（快速响应）或多路径筛选（质量优先），后者类似轻量级集成。 DeepSeek R1的部署机制通过训练阶段的强化学习内化“慢思考”能力，使其在单次生成时即可输出详细推理。 DeepSeek 笔记：R1 部署阶段的推理机制从R1幻觉谈起，大模型幻觉是缺陷还是创意火花？
47410编辑于 2025-02-14 - 来自专栏贾志刚-OpenCV学堂
OpenCV4.8 + YOLO11 C++ 部署推理
推理演示截图： 代码已经全部测试过了，可以直接调用： #include<opencv2/opencv.hpp> #include<iostream> #include<fstream> std::string frame.copyTo(image(roi)); float x_factor = image.cols /640.0f; float y_factor = image.rows /640.0f; // 推理
600编辑于 2026-04-02 - 来自专栏猫头虎博客专区
美团视觉GPU推理服务部署架构优化实战
摘要 1.视觉模型服务部署面临的问题与挑战 2.GPU服务性能优化实践案例 3.通用高效的推理服务部署架构 1.视觉模型服务部署面临的问题与挑战 背景 美团视觉致力于将视觉A|技术应用于本地生活服务的各个场景 但随着视觉在线推理服务使用 的GPU资源不断增加，GPU利用率低的问题也日益凸显，浪费大量计算资源。 水线处理，避免CPU计算速度缓慢导致的 . 2.2 GPU服务优化实践-检测+分类模型优化 3.通用高效的推理服务部署架构 总结与展望： 推理服务存在一个共性问题：模型结构中CPU算子和GPU算子相互耦 关于模型部署优化的一些思考 ① 模型部署性能优化需要考虑多个层面：从模型算子融合、剪枝、量化，到TensorRT、TVM工具优化，再到部署架构优化。 ③大模型分布式推理对部署系统提出更高要求，如何高效推理仍然具有挑战。
48510编辑于 2024-04-08 - 来自专栏贾志刚-OpenCV学堂
大意了| ONNXRUNTIME C++ 版本推理部署踩坑记录
OpenCV4.5.4 人脸检测+五点landmark新功能测试 OpenCV4.5.4人脸识别详解与代码演示 OpenCV二值图象分析之Blob分析找圆 OpenCV4.5.x DNN + YOLOv5 C++推理 OpenCV4.5.4 直接支持YOLOv5 6.1版本模型推理
8.1K50编辑于 2022-03-29 - 来自专栏技术汇总专栏
小型 LLM 与边缘推理：模型压缩与 on‑device 部署实践
小型 LLM 与边缘推理：模型压缩与 on‑device 部署实践近年来，大型语言模型（LLM）不断推动人工智能能力向前发展，但其庞大的参数规模和计算资源要求限制了其在边缘设备（如手机、嵌入式系统、IoT 随着模型压缩、量化和高效推理引擎的发展，小型 LLM 的 on-device 部署逐渐成为可能。本文将深入剖析如何将小型语言模型压缩并部署到边缘设备，从理论、工程、代码实践三个层面详解其核心技术路径。 一、为什么要部署小型 LLM 到边缘设备边缘部署具备如下优势：隐私保护：数据无需上传云端，减少隐私泄露风险。低延迟：本地推理可实现毫秒级响应，无需等待网络传输。离线可用：适用于无网、弱网环境。 六、实践案例：部署 TinyLlama 到树莓派 + Web 接口将模型压缩为 gguf 格式；拷贝至 Raspberry Pi；使用 llama.cpp 编译适配 ARM；用 Flask 构建本地推理服务 多模态模型边缘部署尚未普及虽然 LLaVA、MiniGPT 等多模态小模型不断涌现，但将视觉语言融合模型部署到边缘端目前仍处于早期阶段：模型体积偏大（即使压缩后仍需 1GB 以上）；对图像推理硬件要求高
92410编辑于 2025-07-24 基于winform部署PP-OCRv5的推理模型paddleocrv5模型部署
这是一个基于 PaddleOCR 和 OpenCvSharp 的 Windows 图像文字识别（OCR）桌面应用，支持图片文字检测与识别，适合中文场景。
43200编辑于 2025-07-22- 来自专栏贾志刚-OpenCV学堂
YOLOX在OpenVINO、ONNXRUNTIME、TensorRT上面推理部署与速度比较
论文与代码模型下载地址： https://arxiv.org/pdf/2107.08430.pdfhttps://github.com/Megvii-BaseDetection/YOLOX ONNX格式模型转与部署 ： 运行截图如下： onnxruntime推理 OpenVINO推理 TensorRT推理 - FP32 转威FP16 TensorRT推理 - FP16 总结 之前我写过一篇文章比较了 YOLOv5最新版本在OpenVINO、ONNXRUNTIME、OpenCV DNN上的速度比较，现在加上本篇比较了YOLOX在TensorRT、OpenVINO、ONNXRUNTIME上推理部署速度比较 ，得到的结论就是： CPU上速度最快的是OpenVINOGPU上速度最快的是TensorRT 能不改代码，同时支持CPU跟GPU推理是ONNXRUNTIME OpenCV DNN毫无意外的速度最慢（ OpenCV4.5.4 直接支持YOLOv5 6.1版本模型推理 OpenVINO2021.4+YOLOX目标检测模型部署测试 比YOLOv5还厉害的YOLOX来了，官方支持OpenVINO推理
5.7K40编辑于 2022-04-14 - 来自专栏ATYUN订阅号
Flex Logix展示全新神经推理引擎，专为AI部署而生
芯片制造商Flex Logix今天推出了新的Nmax通用神经推理引擎，该引擎专为在许多环境中使用流行的机器学习框架（如TensorFlow或Caffe）进行AI部署而设计，可以将多个神经加速器组合在一起以实现更高水平的吞吐量 Flex Logix表示，在处理来自图像分类基准ResNet50的批次时，其Nmax 512拼贴配置胜过其他数据中心推理产品，如Nvidia Tesla T4。 Nmax使用互连技术，如FPGA芯片中使用的类型，但它是一个通用的神经推理引擎，使用TensorFlow进行编程，设计用于运行任何类型的神经网络。
61120发布于 2018-12-11 - 来自专栏机器学习与统计学
纯离线安装大模型推理引擎，部署量化大模型
大家好，我是 Ai 学习的老章 继续介绍大模型推理引擎+Llama.cpp，前文我写了# 内网部署 llama.cpp，运行量化大模型，详细介绍了 llama.cpp 这个推理引擎，内网离线 cmake 本文我们用个更省事儿的内网离线部署方式——Docker，然后用其部署量化大模型，其中踩坑若干，才有如此精炼、极简教程 1、联网环境拉取 llama.cpp 镜像并保存 选择镜像最好是官方，比如 llama.cpp
1K10编辑于 2025-10-11 - 来自专栏GPUS开发者
使用 NVIDIA Triton 推理服务器简化边缘 AI 模型部署
但是，在边缘的应用程序和服务中部署 AI 模型对于基础设施和运营团队来说可能具有挑战性。各种框架、端到端延迟要求以及缺乏标准化实施等因素都可能使 AI 部署具有挑战性。 在这篇文章中，我们将探讨如何应对这些挑战并在边缘生产中部署 AI 模型。 以下是部署推理模型时最常见的挑战： 多种模型框架：数据科学家和研究人员使用不同的 AI 和深度学习框架（如 TensorFlow、PyTorch、TensorRT、ONNX Runtime 或仅使用简单的 NVIDIA Triton 提供单一标准化推理平台，可支持在多框架模型和不同部署环境（如数据中心、云、嵌入式设备和虚拟化环境）中运行推理。 开发人员有自己的选择，基础设施团队使用单个推理引擎简化部署。 DLA支持 Jetson 上的 Triton 推理服务器可以在 GPU 和 DLA 上运行模型。
2.4K10发布于 2021-10-13
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号