- 综合排序
- 最热优先
- 最新优先
在K8s上部署分离式LLM推理
本文将概述如何在Kubernetes上部署分离式推理，探讨不同的生态系统方案及其在集群上的执行方式，并评估它们开箱即用的能力。聚合式与分离式推理有何不同？ 在深入了解Kubernetes配置文件之前，先理解LLM的两种推理部署模式会有所帮助：在聚合式服务中，单个进程（或紧密耦合的进程组）处理从输入到输出的整个推理生命周期。 聚合式与分离式服务对比聚合式推理在传统的聚合式部署中，单个模型服务器（或并行配置中的协调服务器组）处理完整的请求生命周期。 为什么调度是Kubernetes上多Pod推理性能的关键部署多Pod推理工作负载（无论是模型并行的聚合模型还是分离模型）只是成功的一半。 部署分离式推理分离式架构具有多个角色，每个角色具有不同的资源特征和扩缩容需求。由于分离式管道中的每个角色都是一个不同的工作负载，使用LWS的一种自然方法是为每个角色创建一个单独的资源。
7410编辑于 2026-04-16- 来自专栏GiantPandaCV
深度学习Int8的部署推理原理和经验验证
Evaluation》 时间：2020.April 单位：NVIDIA 0.前言 这篇paper主要的共享是工程上的经验分享，做了比较充足的实验，基本误差在1%以内，也给出了比较workable的int8量化部署的 个人观点，这个图并不能下结论：per-channel和per-tensor在int8量化推理下没有太大的差异，因为这只量化weight，而没有考虑其他，比如量化activation。 论文附录有炼丹配方 深度学习Int8的部署推理原理和经验验证 论文出处：《Integer Quantization for Deep Learning Inference Principles and Evaluation》 时间：2020.April 单位：NVIDIA 0.前言 这篇paper主要的共享是工程上的经验分享，做了比较充足的实验，基本误差在1%以内，也给出了比较workable的int8量化部署的 个人观点，这个图并不能下结论：per-channel和per-tensor在int8量化推理下没有太大的差异，因为这只量化weight，而没有考虑其他，比如量化activation。
2.5K20编辑于 2022-05-27 使用 OpenVINO™ C# 异步推理接口部署YOLOv8
以下是文章，收藏看看使用 OpenVINO™ C# 异步推理接口部署YOLOv8 ——在Intel IGPU 上速度依旧飞起！！ 在上一篇文章中《使用 OpenVINO™ C++ 异步推理接口部署YOLOv8 ——在Intel IGPU 上实现80+FPS视频推理》我们已经实现了使用OpenVINO™ C++ 异步API接口部署YOLOv8 一些C#开发者也想在使用OpenVINO™在C#中实现异步推理，那么该如何实现呢？那么他来了，下面我们将会演示如何使用OpenVINO™异步接口在C#中部署YOLOv8 实现视频快速推理。 通过简化的开发工作流程，OpenVINO™ 可赋能开发者在现实世界中部署高性能应用程序和算法。 项目环境 推理设备：OpenVINO IGPU CPU: Intel Core i7-1165G7 IGPU: Intel Iris Xe Graphics 推理模型: YOLOv8s
48800编辑于 2025-07-21在K8s上部署分离式LLM推理
在Kubernetes上部署分离式LLM推理工作负载随着大语言模型（LLM）推理工作负载日益复杂，单一的整体服务进程开始触及自身极限。 本文概述了如何在Kubernetes上部署分离式推理，探讨了不同的生态系统解决方案及其在集群上的执行方式，并评估了它们开箱即用的功能。聚合式推理与分离式推理有何不同？ 在深入Kubernetes配置文件之前，了解LLM的两种推理部署模式会有所帮助：在聚合式服务中，单个进程（或紧密耦合的进程组）处理从输入到输出的整个推理生命周期。 为什么调度是在Kubernetes上实现多Pod推理性能的关键部署多Pod推理工作负载（无论是模型并行的聚合模型还是分离式模型）只是成功的一半。 部署分离式推理分离式架构具有多个角色，每个角色都有不同的资源配置和扩展需求。由于分离式流水线中的每个角色都是一个独特的工作负载，使用LWS的一种自然方法是为每个角色创建一个独立的资源。
12010编辑于 2026-04-09- 来自专栏贾志刚-OpenCV学堂
三种主流模型部署框架YOLOv8推理演示
对YOLOv5~YOLOv8的系列模型，均可以通过C++推理实现模型部署。 这里以YOLOv8为例，演示了YOLOv8对象检测模型在OpenVINO、ONNXRUNTIME、TensorRT三个主流框架上C++推理演示效果。 + GPU部署YOLOv8对象检测代码已经封装成C++类，通过客户端三行代码即可调用，演示效果分别如下： OpenVINO + CPU YOLOv8对象检测推理 ONNXRUNTIME + GPU YOLOv8对象检测推理 TensorRT + GPU YOLOv8对象检测推理 客户端初始化代码如下： 初始化OpenVINO+YOLOv8封装类实例 std::shared_ptrdetector ，对象检测，实例分割，语义分割主流模型，自定义脚本一键INT8量化模型，使用OpenCV CUDA加速图像预处理等各种工程化部署推理技巧，实现推理部署的工程化封装支持
2.6K10编辑于 2023-08-22 - 来自专栏AI SPPECH
64_模型部署：推理优化策略
KV缓存优化：提升推理性能的关键 ├── 7. 服务化部署：构建高性能推理服务 ├── 8. 边缘部署：低延迟场景的优化方案 ├── 9. 多模态模型部署：特殊考量与优化 └── 10. 量化技术：精度与效率的平衡 量化是将模型参数和计算从高精度（如FP32）转换为低精度（如INT8、INT4、FP8）的技术，是大模型部署中常用的优化手段。 5.1 量化技术分类 量化技术谱系： FP16/BF16 → INT8对称 → INT8非对称 → INT4 → FP8 → 混合精度量化 5.2 量化方法对比 量化方法 压缩率 精度损失 硬件支持 推理加速 服务化部署：构建高性能推理服务 服务化部署是将大模型集成到实际应用系统中的关键环节。2025年的服务化部署已经形成了成熟的架构和工具链。 8-15 TOPS 6-12GB 1.3B-7B(量化) INT4量化，模型剪枝 边缘服务器 50-200 TOPS 32-128GB 7B-30B(量化) INT4/8量化，分布式推理 工业网关 10
88810编辑于 2025-11-16 - 来自专栏边缘计算_rui
使用aidlux进行模型迁移、部署、推理
AidLux是一个构建在ARM硬件上，基于创新性跨Android/鸿蒙 + Linux融合系统环境的智能物联网 (AIoT) 应用开发和部署平台。 说的直白点，aidlux就是一个在arm架构芯片的设备上运行的linux系统，我们可以将身边的安卓设备当作边缘设备，在aidlux的基础上，使用安卓设备作为硬件来进行AI推理模型迁移登录网站：https aimo.aidlux.com/#/model-convert选择模型优化，传入对应格式的模型点击next图片点击next，选择目标格式：图片图片点击submit即可开始进行模型转换，转换成功后下载对应的模型转换结果即可部署和推理过程可以观看视频
70410编辑于 2023-09-07 - 来自专栏贾志刚-OpenCV学堂
YOLOv5模型部署TensorRT之 FP32、FP16、INT8推理
INT8量化与推理TensorRT演示 TensorRT的INT量化支持要稍微复杂那么一点点，最简单的就是训练后量化。 所以建议不同平台要统一TensorRT版本之后，再量化部署会比较好。 最终得到的INT8量化engine文件的大小在9MB左右。 数据太少，只有128张， INT8量化之后的YOLOv5s模型推理结果并不尽如人意。 这里，我基于YOLOv5s模型自定义数据集训练飞鸟跟无人机，对得到模型，直接用训练集270张数据做完INT8量化之后的推理效果如下： 量化效果非常好，精度只有一点下降，但是速度比FP32的提升了1.5 OpenCV4.5.4 直接支持YOLOv5 6.1版本模型推理 OpenVINO2021.4+YOLOX目标检测模型部署测试 比YOLOv5还厉害的YOLOX来了，官方支持OpenVINO推理
6.8K50编辑于 2022-09-23 - 来自专栏AI学习笔记
端侧 MoE 推理：Mixtral 模型手机部署
（三）MoE 模型在端侧推理中的挑战尽管 MoE 模型具有许多优势，但在端侧推理中也面临着一些挑战。首先，由于终端设备的计算资源有限，如何高效地部署 MoE 模型是一个关键问题。 准备工作方面具体操作环境搭建选择硬件环境，配置软件环境模型获取与转换下载模型权重，转换模型格式推理框架选择与安装选择适合的推理框架，进行安装性能评估工具准备准备性能评估工具四、Mixtral 模型手机部署的关键技术与实现 （一）模型优化技术量化技术 ：将模型的权重和激活值从浮点数表示转换为低比特整数表示（如 8 位整数），从而减少模型的存储空间和计算量。 其中关于模型分块加载、异步推理等方面的思路，为 Mixtral 模型手机部署中的内存管理和任务调度提供了有益的借鉴。 七、结论与展望通过本文的详细阐述，我们对端侧 MoE 推理以及 Mixtral 模型手机部署有了较为全面的认识和实践。
68810编辑于 2025-07-14 winform部署PaddleOCRV3推理模型
PaddleOCR关注于提供轻量级、灵活且高效的OCR能力，旨在帮助开发者和企业快速部署OCR功能，并支持多平台和多语言应用。 它可以自动处理从图像输入到文字输出的全流程，极大地简化了OCR的使用和部署流程。 易于部署 PaddleOCR支持多种部署方案，包括服务端、边缘计算和移动端，用户可以根据自己的需求选择最合适的部署方式。
43610编辑于 2025-07-17- 来自专栏大模型
基于EAS部署triton推理服务化框架
本文是基于EAS产品环境部署triton框架实现yolo12模型的服务化部署，本文暂时聚焦于单模型部署； 部署步骤 1. triton镜像部署： 基于PAI平台的模型在线服务EAS自带的Triton镜像 'person', 1: 'bicycle', 2: 'car', 3: 'motorcycle', 4: 'airplane', 5: 'bus', 6: 'train', 7: 'truck', 8: output0" data_type: TYPE_FP32 # dims: [1, 84, 8400] dims: [85, 8400] # YOLO 输出维度 } ] # 使用GPU推理 推理客户端测试 import numpy as np import tritonclient.http as httpclient import cv2 from torchvision import ) # 创建填充后的画布 (RGB格式) padded = np.full((target_size, target_size, 3), 114, dtype=np.uint8)
40720编辑于 2025-06-16 - 来自专栏Se7en的架构笔记
使用 NVIDIA Dynamo 部署 PD 分离推理服务
1 Dynamo 介绍 NVIDIA Dynamo 是一个开源的模块化推理框架，用于在分布式环境上实现生成式 AI 模型的服务化部署。 通过减少同步开销和智能批处理，NIXL 显著降低了分布式推理中的通信延迟，使得在 prefill/decode 分离部署时，prefill 节点也能在毫秒级将大批量的 KV cache 传输至 decode 因此，在部署推理服务之前，需要先完成 etcd 和 NATS 的部署。 的方法，而在生产环境中要发挥其分布式推理能力则需要在 Kubernetes 上部署。 同时，文章还展示了在 Kubernetes 环境下的部署方法，通过云原生能力轻松实现生产级的分布式推理。
1.1K10编辑于 2025-11-12 - 来自专栏公众号:咻咻ing
8. 部署方案
JanusGraph提供了多种存储和索引后端选项，可以灵活地部署它们。本章介绍了一些可能的部署方案，以帮助解决这种灵活性带来的复杂性。 注意：本章中介绍的场景仅是JanusGraph如何部署的示例。 每个部署都需要考虑具体的用例和生产需求。 1. 基础部署 这种方案是大多数用户在刚开始使用JanusGraph时可能想要选择的方案。 后者描述了将部署向高级部署转换的方式。 任何可扩展存储后端都可以通过这种方案来使用。 但是，对于Scylla，当托管与此方案中的其他服务共存时，需要进行一些配置。 高级部署 高级部署是在第8.1节“基础部署”上的演变。 它们不是将JanusGraph Server实例与存储后端以及可选的索引后端一起部署，而是在不同的服务器上部署。 这种部署方案提供了不同组件的独立可伸缩性，因此使用可扩展的后端存储/索引当然也是最有意义的。 3. 简单部署 也可以在一台服务器上将JanusGraph Server与后端一起部署。
89020发布于 2019-08-07 - 来自专栏一个执拗的后端搬砖工
springboot(8)-热部署
spring为开发者提供了一个名为spring-boot-devtools的模块来使Spring Boot应用支持热部署，提高开发者的开发效率，无需手动重启Spring Boot应用。 接下来我们就通过编码的方式实现springboot热部署。 groupId> <artifactId>spring-boot-devtools</artifactId> </dependency> 二）修改ide配置&浏览器缓存禁用 为了实现热部署 请求能够被正常的接收和处理，也就是说明我们配置的springboot热部署已经生效。 总结 springboot热部署在开发阶段特别实用，我们对应用修改之后不需要手动点构建和部署就能自动重启后看到效果，当然可能springboot实现热部署还有其他方式，这里暂不做过多探讨，有兴趣的可以自己研究一下
56010发布于 2020-11-19 - 来自专栏计算机工具
本机实现Llama 7B推理及部署
本机实现Llama 7B推理及部署 使用llamafile在Windows系统部署- **部署步骤**：首先从[https://www.modelscope.cn/api/v1/models/bingal 使用Hugging Face Transformers库在Ubuntu系统部署- **部署步骤** ： 1. ### 使用Ollama在Mac系统部署- **部署步骤** ： 1. - **推理时间**：如果仅使用CPU推理，推理速度相对较慢，一次推理时间可能在十几秒甚至更长；若使用支持Metal框架的Mac设备且有较好的GPU性能，推理时间会有所缩短，但通常仍比使用高性能独立GPU ### 使用llama-cpp-python在GPU环境部署- **部署步骤** ： 1.
87520编辑于 2024-12-30 - 来自专栏贾志刚-OpenCV学堂
YOLOv10模型结构详解与推理部署实现
CIB层 去掉了NMS 导出与部署 github上YOLOv10的地址如下 https://github.com/THU-MIG/yolov10 下载源码，直接用下面的代码就可以导出ONNX格式模型了， exporting the YOLO model to ONNX format.""" f = YOLO("yolov10s.pt").export(format="onnx", dynamic=True) 单纯从推理上看 YOLOv10的确比YOLOv8简单很多，有点SSD模型得既视感。 推理代码实现如下： import cv2 as cv import numpy as np from openvino.runtime import Core # load model labels 然后下载它的源码之后，你会发现里面很多YOLOv8的包跟代码注释连名字都还没有改过来，特别是推理的演示代码里面还是YOLOv8的，我晕倒，能专业点不！
2.6K10编辑于 2024-05-28 - 来自专栏散尽浮华
K8S部署Kafka集群 - 部署笔记
对于这类服务的部署，需要解决两个大的问题：一个是状态保存，另一个是集群管理 (多服务实例管理)。kubernetes中提的StatefulSet方便了有状态集群服务在上的部署和管理。 通常来说，通过下面三个手段来实现有状态集群服务的部署： 通过Init Container来做集群的初始化工 作。 通过Headless Service来维持集群成员的稳定关系。 因此，在K8S集群里面部署类似kafka、zookeeper这种有状态的服务，不能使用Deployment，必须使用StatefulSet来部署，有状态简单来说就是需要持久化数据，比如日志、数据库数据、 ，有序扩展，即Pod是有顺序的，在部署或者扩展的时候要依据定义的顺序依次依次进行（即从0到N-1，在下一个Pod运行之前所有之前的Pod必须都是Running和Ready状态），基于init containers 的Cluster Domain集群根域 二、部署过程记录（NAS存储） 这里使用K8S搭建一个三节点的kafka容器集群，因为kafka集群需要用到存储，所以需要准备持久卷(Persistent Volume
6.7K31发布于 2021-03-03 - 来自专栏AI大模型应用开发炼丹房
多模态推理革命！LLaVA-vLLM联合部署实战
随着大语言模型（LLM）在生成式AI产业中广泛应用，如何高效、经济地部署和推理这些庞大的模型，成为每一位开发者和企业面临的核心挑战。 +）响应延迟：串行处理使长文本生成延迟飙升（百毫秒→秒级） 行业痛点示例： 当并发请求达50QPS时，传统方案需8×A100才能维持，而vLLM仅需3×A100。 ↓70%三、部署实践指南1. 张量并行+量化）vllm-serving --model meta-llama/Meta-Llama-3-70B-Instruct \ --tensor-parallel-size 8 生产环境部署架构关键配置参数：# 性能调优核心参数engine_args = { "max_num_seqs": 256, # 最大并发序列数 "gpu_memory_utilization
1.2K30编辑于 2025-08-14 - 来自专栏贾志刚-OpenCV学堂
多线程界面化、ONNXRUNTIME + YOLOv8推理演示
、实例分割、姿态评估的推理。 基本设计思路 这个系列我好久没有更新了，今天更新一篇PyQT5中如何实现YOLOv8 + ONNRUNTIME推理界面化与多线程支持。 首先需要实现三个类分别完成YOLOv8的对象检测、实例分割、姿态评估模型推理。然后在实现界面类，构建如图： 推理类型通过单选按钮实现选择，支持对象检测、实例分割、姿态评估。 推理按钮开发推理演示，支持视频与图像文件，开始推理会单独开启一个推理线程实现推理，推理结果通过信号发送到指定的槽函数处理之后更新界面，通过信号与槽机制实现界面线程跟推理线程相互独立与数据共享。 app.setStyle('Windows') # 初始化桌面容器 main_win = QtWidgets.QMainWindow() # 设置APP窗口名称 main_win.setWindowTitle("YOLOv8多线程推理应用演示
2K20编辑于 2023-08-22 - 来自专栏机器之心
推理速度数倍提升，大幅简化多GPU后端部署：Meta发布全新推理引擎AITemplate
机器之心报道 机器之心编辑部 刚刚，Meta 发布了革命性的推理引擎 AITemplate。 众所周知，GPU 在各种视觉、自然语言和多模态模型推理任务中都占据重要位置。然而，对于高性能 GPU 推理引擎，AI 从业者几乎没有选择权，必须使用一些平台专有的黑盒系统。 这意味着如果要切换 GPU 供应商，就必须重新实现一遍部署系统。在生产环境中当涉及复杂的依赖状况时，这种灵活性的缺失使维护迭代成本变得更加高昂。 在 AI 产品落地过程中，经常需要模型快速迭代。 下图直观展示了 AITemplate 在 NVIDIA A100 GPU 和 AMD MI250 GPU 上的加速对比： 此外，AITemaplte 的部署较其他方案也更为简洁。 此外，AITemplate 团队也正在开发自动 PyTorch 模型转换系统，使其成为开箱即用的 PyTorch 部署方案。
1.5K20编辑于 2022-10-08
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号