- 综合排序
- 最热优先
- 最新优先
- 来自专栏贾志刚-OpenCV学堂
OpenCV4.8 + YOLO11 C++ 部署推理
推理演示截图： 代码已经全部测试过了，可以直接调用： #include<opencv2/opencv.hpp> #include<iostream> #include<fstream> std::string frame.copyTo(image(roi)); float x_factor = image.cols /640.0f; float y_factor = image.rows /640.0f; // 推理
17510编辑于 2026-04-02 - 来自专栏AI SPPECH
64_模型部署：推理优化策略
KV缓存优化：提升推理性能的关键 ├── 7. 服务化部署：构建高性能推理服务 ├── 8. 边缘部署：低延迟场景的优化方案 ├── 9. 多模态模型部署：特殊考量与优化 └── 10. 根据2025年最新研究数据，大模型部署的主要挑战包括： 计算资源需求巨大：万亿参数级模型的推理需要大量GPU/TPU资源 内存占用过高：模型权重、KV缓存等占用大量显存/内存 推理延迟高：自回归生成模式导致实时响应困难 本文将系统梳理2025年大模型部署与推理优化的完整技术体系，为不同规模的团队提供可落地的解决方案。 2. 服务化部署：构建高性能推理服务 服务化部署是将大模型集成到实际应用系统中的关键环节。2025年的服务化部署已经形成了成熟的架构和工具链。 边缘部署：低延迟场景的优化方案 边缘部署将大模型推理能力下沉到靠近用户或数据源的边缘节点，显著降低延迟并提高数据隐私保护。
88910编辑于 2025-11-16 - 来自专栏边缘计算_rui
使用aidlux进行模型迁移、部署、推理
AidLux是一个构建在ARM硬件上，基于创新性跨Android/鸿蒙 + Linux融合系统环境的智能物联网 (AIoT) 应用开发和部署平台。 说的直白点，aidlux就是一个在arm架构芯片的设备上运行的linux系统，我们可以将身边的安卓设备当作边缘设备，在aidlux的基础上，使用安卓设备作为硬件来进行AI推理模型迁移登录网站：https aimo.aidlux.com/#/model-convert选择模型优化，传入对应格式的模型点击next图片点击next，选择目标格式：图片图片点击submit即可开始进行模型转换，转换成功后下载对应的模型转换结果即可部署和推理过程可以观看视频
70410编辑于 2023-09-07 - 来自专栏AI学习笔记
端侧 MoE 推理：Mixtral 模型手机部署
（三）MoE 模型在端侧推理中的挑战尽管 MoE 模型具有许多优势，但在端侧推理中也面临着一些挑战。首先，由于终端设备的计算资源有限，如何高效地部署 MoE 模型是一个关键问题。 Mixtral 模型，dummy_input 是虚构的输入数据torch.onnx.export(model, dummy_input, "mixtral.onnx", opset_version=11 准备工作方面具体操作环境搭建选择硬件环境，配置软件环境模型获取与转换下载模型权重，转换模型格式推理框架选择与安装选择适合的推理框架，进行安装性能评估工具准备准备性能评估工具四、Mixtral 模型手机部署的关键技术与实现 其中关于模型分块加载、异步推理等方面的思路，为 Mixtral 模型手机部署中的内存管理和任务调度提供了有益的借鉴。 七、结论与展望通过本文的详细阐述，我们对端侧 MoE 推理以及 Mixtral 模型手机部署有了较为全面的认识和实践。
68810编辑于 2025-07-14 winform部署PaddleOCRV3推理模型
PaddleOCR关注于提供轻量级、灵活且高效的OCR能力，旨在帮助开发者和企业快速部署OCR功能，并支持多平台和多语言应用。 它可以自动处理从图像输入到文字输出的全流程，极大地简化了OCR的使用和部署流程。 易于部署 PaddleOCR支持多种部署方案，包括服务端、边缘计算和移动端，用户可以根据自己的需求选择最合适的部署方式。
43610编辑于 2025-07-17- 来自专栏大模型
基于EAS部署triton推理服务化框架
本文是基于EAS产品环境部署triton框架实现yolo12模型的服务化部署，本文暂时聚焦于单模型部署； 部署步骤 1. triton镜像部署： 基于PAI平台的模型在线服务EAS自带的Triton镜像 string_value: "{'description': 'Ultralytics YOLOv12n model ', 'author': 'Ultralytics', 'date': '2025-06-09T11 4: 'airplane', 5: 'bus', 6: 'train', 7: 'truck', 8: 'boat', 9: 'traffic light', 10: 'fire hydrant', 11 output0" data_type: TYPE_FP32 # dims: [1, 84, 8400] dims: [85, 8400] # YOLO 输出维度 } ] # 使用GPU推理 推理客户端测试 import numpy as np import tritonclient.http as httpclient import cv2 from torchvision import
40720编辑于 2025-06-16 - 来自专栏Se7en的架构笔记
使用 NVIDIA Dynamo 部署 PD 分离推理服务
1 Dynamo 介绍 NVIDIA Dynamo 是一个开源的模块化推理框架，用于在分布式环境上实现生成式 AI 模型的服务化部署。 通过减少同步开销和智能批处理，NIXL 显著降低了分布式推理中的通信延迟，使得在 prefill/decode 分离部署时，prefill 节点也能在毫秒级将大批量的 KV cache 传输至 decode 因此，在部署推理服务之前，需要先完成 etcd 和 NATS 的部署。 的方法，而在生产环境中要发挥其分布式推理能力则需要在 Kubernetes 上部署。 同时，文章还展示了在 Kubernetes 环境下的部署方法，通过云原生能力轻松实现生产级的分布式推理。
1.1K10编辑于 2025-11-12 使用C++部署yolov11目标检测的tensorrt模型支持图片视频推理windows测试通过
下部署yolov11的tensorrt模型，并最终成功。 cudnn8.8.0 Tensorrt==8.6.1.6 opencv==4.8.0 anaconda3+python3.8 torch==1.9.0+cu111 ultralytics==8.3.3 部署过程 ： 部署最费时间是安装环境。 下面具体怎么部署，首先去yolov8官方仓库下载yolo11模型，这样下载yolo11n.pt https://github.com/ultralytics/assets/releases/download yolo11n.engine文件，我们将yolo11n.engine复制到build\Release文件夹 下面我们开始测试图片 yolov11-tensorrt.exe yolo11n.engine
70410编辑于 2025-07-22- 来自专栏菲宇
docker上部署odoo11
run -d -e POSTGRES_USER=odoo -e POSTGRES_PASSWORD=odoo --name db postgres:9.4 二、安装odoo 1、拉取一个odoo：11 的镜像 docker pull odoo:11 2、制作并运行一个odoo容器，端口映射一个端口。 docker run -p 8069:8069 --name odoo --link db:postgres -t odoo:11 注意：db不能修改，否则odoo运行时会报错。
1.4K10编辑于 2022-12-21 - 来自专栏用户中心项目
DAY-11-项目部署
部署 1.多环境:指同一套项目代码在不同的阶段根据实际情况来调整配置部署到不同的机器上 lombok在编译时已经写好了 why： 每个环境互不影响； 区分不同的阶段：开发/测试/生产 对项目进行优化： Dmaven.test.skip=true" 拖到虚拟机里 chmod a+x user-center-backend-0.0.1-SNAPSHOT.jar(a+x，给所有文件可执行权限) 创建表的语句时建议保存起来 2.项目部署上线 原始前端后端项目 宝塔Linux 容器（把原本部署在服务器上的东西封装成更轻量的应用在服务器上运行） 容器平台 项目部署 需要Linux服务器（建议用Centos8+/7.6以上） 前端：需要web
19500编辑于 2025-10-23 - 来自专栏计算机工具
本机实现Llama 7B推理及部署
本机实现Llama 7B推理及部署 使用llamafile在Windows系统部署- **部署步骤**：首先从[https://www.modelscope.cn/api/v1/models/bingal 使用Hugging Face Transformers库在Ubuntu系统部署- **部署步骤** ： 1. ### 使用Ollama在Mac系统部署- **部署步骤** ： 1. - **推理时间**：如果仅使用CPU推理，推理速度相对较慢，一次推理时间可能在十几秒甚至更长；若使用支持Metal框架的Mac设备且有较好的GPU性能，推理时间会有所缩短，但通常仍比使用高性能独立GPU ### 使用llama-cpp-python在GPU环境部署- **部署步骤** ： 1.
87520编辑于 2024-12-30 - 来自专栏贾志刚-OpenCV学堂
YOLOv10模型结构详解与推理部署实现
早晨看到一堆推文，说YOLOv10已经发布了，吓我一跳，这个世界变化这么快， 然后快速的看一下相关的文档，发现YOLOv10 相比YOLOv8有两个最大的改变分别是 添加了PSA层跟CIB层 去掉了NMS 导出与部署 exporting the YOLO model to ONNX format.""" f = YOLO("yolov10s.pt").export(format="onnx", dynamic=True) 单纯从推理上看 推理代码实现如下： import cv2 as cv import numpy as np from openvino.runtime import Core # load model labels 然后下载它的源码之后，你会发现里面很多YOLOv8的包跟代码注释连名字都还没有改过来，特别是推理的演示代码里面还是YOLOv8的，我晕倒，能专业点不！
2.6K10编辑于 2024-05-28 - 来自专栏AI大模型应用开发炼丹房
多模态推理革命！LLaVA-vLLM联合部署实战
随着大语言模型（LLM）在生成式AI产业中广泛应用，如何高效、经济地部署和推理这些庞大的模型，成为每一位开发者和企业面临的核心挑战。 它不仅提供了极致高效的推理性能，还兼具易用性和灵活性，成为LLM服务领域的新宠。一、为什么选择LLM？ 传统LLM推理面临三重挑战：显存墙：KV缓存占用大量GPU内存（例如Llama-70B需>140GB显存）吞吐瓶颈：静态批处理(Static Batching)导致资源闲置（空闲率达40% ↓70%三、部署实践指南1. 生产环境部署架构关键配置参数：# 性能调优核心参数engine_args = { "max_num_seqs": 256, # 最大并发序列数 "gpu_memory_utilization
1.2K30编辑于 2025-08-14 - 来自专栏机器之心
推理速度数倍提升，大幅简化多GPU后端部署：Meta发布全新推理引擎AITemplate
机器之心报道 机器之心编辑部 刚刚，Meta 发布了革命性的推理引擎 AITemplate。 众所周知，GPU 在各种视觉、自然语言和多模态模型推理任务中都占据重要位置。然而，对于高性能 GPU 推理引擎，AI 从业者几乎没有选择权，必须使用一些平台专有的黑盒系统。 这意味着如果要切换 GPU 供应商，就必须重新实现一遍部署系统。在生产环境中当涉及复杂的依赖状况时，这种灵活性的缺失使维护迭代成本变得更加高昂。 在 AI 产品落地过程中，经常需要模型快速迭代。 由于 AI 模型被编译成了自洽的二进制文件并且不存在任何第三方库的依赖，任何被编译的二进制文件都能在相同硬件、CUDA 11/ ROCm 5 或者更新的软件环境中运行，也不用担心任何后向兼容问题。 此外，AITemplate 团队也正在开发自动 PyTorch 模型转换系统，使其成为开箱即用的 PyTorch 部署方案。
1.5K20编辑于 2022-10-08 - 来自专栏deepseek
DeepSeek 笔记：R1 部署阶段的推理机制
部署阶段的推理机制：R1是否在生成时隐式生成多条路径，但仅展示一条？如果是，这种机制与集成（ensemble）方法有何异同？3. 部署阶段的隐式多路径推理机制在 DeepSeek R1 的部署阶段，其推理机制可以概括为以下两种模式：(1) 隐式多路径生成与筛选- 生成多条路径：模型在单次推理时，可能隐式生成多条潜在的推理路径（CoT - 部署阶段的灵活性：系统可选择单路径生成（快速响应）或多路径筛选（质量优先），后者类似轻量级集成。 DeepSeek R1的部署机制通过训练阶段的强化学习内化“慢思考”能力，使其在单次生成时即可输出详细推理。 DeepSeek 笔记：R1 部署阶段的推理机制从R1幻觉谈起，大模型幻觉是缺陷还是创意火花？
49010编辑于 2025-02-14 - 来自专栏AI SPPECH
11. 推理工程师职责：系统架构设计
部署图（Deployment Diagram）：描述系统的物理部署架构。 与主流方案深度对比 4.1 主流推理系统架构方案 当前，主流的推理系统架构方案包括： 集中式架构：所有组件集中部署在同一台或少数几台机器上，适合小规模部署。 分布式架构：组件分布在多台机器上，适合大规模部署。 云原生架构：基于云原生技术，如Kubernetes、Docker等，适合弹性伸缩场景。 边缘架构：将推理节点部署在边缘设备上，适合低延迟场景。 4.2 不同架构方案对比 以下是不同推理系统架构方案的对比： 架构方案 优点 缺点 适用场景 集中式架构 部署简单、维护方便、延迟低 扩展性差、容错能力弱、资源利用率低 小规模部署、低延迟场景 分布式架构 扩展性好、容错能力强、资源利用率高 部署复杂、维护成本高、延迟较高 大规模部署、高并发场景 云原生架构 弹性伸缩、资源利用率高、自动化管理 部署复杂、学习成本高、依赖云平台 大规模部署、流量波动大的场景
14910编辑于 2026-01-23 - 来自专栏小七的各种胡思乱想
解密Prompt系列11. 小模型也能思维链推理
考虑同一个问题其实有很多种解法，以及不同的解法间往往存在逻辑共性，与其让模型拟合单一的推理结果，不如让模型从多个推理路径中去抽象重要信息。 微调模型 微调样本 微调方式 1 FlanT5 250M~11B Few-shot-COT+Zero-shot-COT+Few-shot-Answer Only 蒸馏：Top5 Token的KL距离 2 T5 60M~11B Zero-shot-COT 这种情况下需要定制场景所需的推理逻辑，这时zero-shot肯定就不行了，需要few-shot来给出不同场景所需的不同推理链路。 这一点其实可能说明COT推理本身除了是一种生成风格，也是一种模型能力，所以不同的推理数据集之间存在可迁移性，我们在单任务推理中混入数学COT也发现有效果提升。
3.1K71编辑于 2023-07-14 - 来自专栏猫头虎博客专区
美团视觉GPU推理服务部署架构优化实战
摘要 1.视觉模型服务部署面临的问题与挑战 2.GPU服务性能优化实践案例 3.通用高效的推理服务部署架构 1.视觉模型服务部署面临的问题与挑战 背景 美团视觉致力于将视觉A|技术应用于本地生活服务的各个场景 但随着视觉在线推理服务使用 的GPU资源不断增加，GPU利用率低的问题也日益凸显，浪费大量计算资源。 水线处理，避免CPU计算速度缓慢导致的 . 2.2 GPU服务优化实践-检测+分类模型优化 3.通用高效的推理服务部署架构 总结与展望： 推理服务存在一个共性问题：模型结构中CPU算子和GPU算子相互耦 关于模型部署优化的一些思考 ① 模型部署性能优化需要考虑多个层面：从模型算子融合、剪枝、量化，到TensorRT、TVM工具优化，再到部署架构优化。 ③大模型分布式推理对部署系统提出更高要求，如何高效推理仍然具有挑战。
49610编辑于 2024-04-08 - 来自专栏贾志刚-OpenCV学堂
大意了| ONNXRUNTIME C++ 版本推理部署踩坑记录
OpenCV4.5.4 人脸检测+五点landmark新功能测试 OpenCV4.5.4人脸识别详解与代码演示 OpenCV二值图象分析之Blob分析找圆 OpenCV4.5.x DNN + YOLOv5 C++推理 OpenCV4.5.4 直接支持YOLOv5 6.1版本模型推理
8.1K50编辑于 2022-03-29 - 来自专栏技术汇总专栏
小型 LLM 与边缘推理：模型压缩与 on‑device 部署实践
小型 LLM 与边缘推理：模型压缩与 on‑device 部署实践近年来，大型语言模型（LLM）不断推动人工智能能力向前发展，但其庞大的参数规模和计算资源要求限制了其在边缘设备（如手机、嵌入式系统、IoT 随着模型压缩、量化和高效推理引擎的发展，小型 LLM 的 on-device 部署逐渐成为可能。本文将深入剖析如何将小型语言模型压缩并部署到边缘设备，从理论、工程、代码实践三个层面详解其核心技术路径。 一、为什么要部署小型 LLM 到边缘设备边缘部署具备如下优势：隐私保护：数据无需上传云端，减少隐私泄露风险。低延迟：本地推理可实现毫秒级响应，无需等待网络传输。离线可用：适用于无网、弱网环境。 六、实践案例：部署 TinyLlama 到树莓派 + Web 接口将模型压缩为 gguf 格式；拷贝至 Raspberry Pi；使用 llama.cpp 编译适配 ARM；用 Flask 构建本地推理服务 多模态模型边缘部署尚未普及虽然 LLaVA、MiniGPT 等多模态小模型不断涌现，但将视觉语言融合模型部署到边缘端目前仍处于早期阶段：模型体积偏大（即使压缩后仍需 1GB 以上）；对图像推理硬件要求高
98010编辑于 2025-07-24
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号