- 综合排序
- 最热优先
- 最新优先
- 来自专栏GPUS开发者
使用 NVIDIA Triton 推理服务器简化边缘 AI 模型部署
但是，在边缘的应用程序和服务中部署 AI 模型对于基础设施和运营团队来说可能具有挑战性。各种框架、端到端延迟要求以及缺乏标准化实施等因素都可能使 AI 部署具有挑战性。 在这篇文章中，我们将探讨如何应对这些挑战并在边缘生产中部署 AI 模型。 典型的 AI 应用程序使用许多不同的模型。它增加了问题的规模以更新现场模型。 NVIDIA Triton 推理服务器是一款开源推理服务软件，可通过解决这些复杂问题来简化推理服务。 借助 NVIDIA Triton，现在可以跨云、数据中心和边缘对 AI 部署进行标准化。 开发人员有自己的选择，基础设施团队使用单个推理引擎简化部署。 DLA支持 Jetson 上的 Triton 推理服务器可以在 GPU 和 DLA 上运行模型。
2.4K10发布于 2021-10-13 - 来自专栏技术干货
AI推理服务器部署避坑指南：如何将GPU闲置率从90%降至10%？
在AI推理服务器的部署中，一个最昂贵且普遍的陷阱是：极高的GPU闲置率。许多企业投入重金采购了顶尖的GPU硬件，却发现其大部分时间处于“空转”状态，计算力未被有效利用。 模型与硬件不匹配：部署的模型未经优化，包含大量不适合目标GPU架构的操作，或精度（FP32）远超推理所需（FP16/INT8），导致计算速度下降，间接提升了闲置率。 采用动态批处理与并发推理动态批处理：这是降低闲置率的核心手段。使用支持动态批处理的推理服务器，它能将短时间内抵达的多个用户请求自动聚合成一个批次，一次性送入GPU计算。 并发模型：在推理服务器中配置多个模型实例，并设置合理的并发数，允许GPU同时处理多个推理任务，实现流水线并行，填满计算空隙。2. 实现智能的请求队列与自适应批处理设置合理的请求队列。 推理服务器能够根据当前队列深度和延迟要求，自动调整批处理大小，在吞吐量和延迟之间找到最佳平衡点。3.
33910编辑于 2025-11-18 - 来自专栏ATYUN订阅号
Flex Logix展示全新神经推理引擎，专为AI部署而生
芯片制造商Flex Logix今天推出了新的Nmax通用神经推理引擎，该引擎专为在许多环境中使用流行的机器学习框架（如TensorFlow或Caffe）进行AI部署而设计，可以将多个神经加速器组合在一起以实现更高水平的吞吐量 Flex Logix表示，在处理来自图像分类基准ResNet50的批次时，其Nmax 512拼贴配置胜过其他数据中心推理产品，如Nvidia Tesla T4。 Nmax使用互连技术，如FPGA芯片中使用的类型，但它是一个通用的神经推理引擎，使用TensorFlow进行编程，设计用于运行任何类型的神经网络。 原始计算能力可能会得到很多关注，但能源效率是训练AI系统所需的另一个重要部分。
61220发布于 2018-12-11 - 来自专栏AI系统
【AI系统】推理参数
本文将介绍 AI 模型网络参数方面的一些基本概念，以及硬件相关的性能指标，为后面让大家更了解模型轻量化做初步准备。 但由于大部分的神经网络模型的参数量很大，无法满足直接部署到移动端的条件，因此在不严重影响模型性能的前提下对模型进行重新设计，来减少网络参数量和计算复杂度，提升运算能力是目前相当热门的研究方向。
1.1K10编辑于 2024-12-02 - 来自专栏Rice嵌入式
RT-Thread上部署TinyMaix推理框架，使MCU赋予AI能力
概要 当谈到微控制器（MCU）和人工智能（AI）的结合，我们进入了一个激动人心的领域。传统上，AI应用程序需要大型计算机或云服务器的处理能力，但随着技术的发展，现在可以将AI嵌入到微控制器中。 MCU AI的崛起 MCU AI代表着微控制器上的人工智能。它是将机器学习和深度学习模型部署到资源有限但功能强大的微控制器中，以实现智能决策和感知。 本篇文章聊一下如何移植TinyMaix推理框架到RT-THREAD并运行起来。 TinyMaix TinyMaix：是矽速科技（Sipeed）利用两个周末的业余时间完成的项目，它是一款专为微控制器设计的轻量级开源机器学习库，面向单片机的超轻量级的神经网络推理库，即TinyML推理库 experimental TinyMaix核心API TinyMaix框架对上层应用程序提供的核心API主要位于代码仓的tinymaix.h文件中，其中： 模型API包含四个：模型加载，模型卸载，预处理，推理
1.5K20编辑于 2023-11-06 - 来自专栏量子位
联手寒武纪发布AI推理服务器，推出AI管理平台，中科曙光也All in AI
一方面是产品，曙光此次正式推出“全浸没式液冷AI训练专用服务器”。这是针对AI服务器集群存在的高耗能、空间部署密度低、高噪音等痛点给出的产品方案。 此外，曙光还联手中科院“兄弟公司”寒武纪，研发推出“全球首款基于寒武纪芯片的AI推理专用服务器”：Phaneron。 △ 基于寒武纪芯片的AI推理专用服务器Phaneron 相比普通用于推理的通用CPU服务器，可以实现几十甚至上百倍性能提升，可以让海量视频语音数据的持续实时分析成为可能。 除了安防，曙光的AI相关产品还被部署在互联网、广媒娱乐、制造与自动化、金融、医疗、环境、物流交通、零食和新业应用等领域。 ，联合产业上下游协同研发和部署，推动AI在智慧城市、智能制造和数据密集型科学研究领域的深入应用。
2.1K90发布于 2018-03-26 - 来自专栏AI系统
【AI系统】推理流程全景
部署态中的 AI 模型已经完成了训练阶段，被部署到实际应用环境中，如云端服务器、边缘设备、移动应用等，用于实时或近实时地进行推理预测的过程。 此时，AI 模型不再处于学习状态，而是作为服务的一部分，接受输入数据并输出预测结果。云端部署的推理系统更像传统 Web 服务，在边缘侧部署的模型更像手机应用和 IOT 应用系统。 边缘端部署的设备主要包括：边缘服务器：小型化、低功耗的服务器，如微型服务器、嵌入式服务器，用于在靠近数据源处处理计算密集型任务。 云侧部署特点与挑战云端部署推理系统，即在云端（如云服务器、云平台）上运行的神经网络模型推理服务，相比边缘侧可以达到更高的推理吞吐量。 云端部署推理系统的确具备诸多显著优点，使其成为众多企业和课程首选的部署方式。然而，云端部署并非万能解决方案，也伴随着一些特定的挑战。AI 的服务成本非常高昂。
1.4K11编辑于 2024-12-02 - 来自专栏AI系统
【AI系统】推理系统介绍
推理系统是一个专门用于部署神经网络模型，执行推理预测任务的 AI 系统。它类似于传统的 Web 服务或移动端应用系统，但专注于 AI 模型的部署与运行。 最后，通过比较推理系统与推理引擎的流程结构，将进一步揭示两者在设计和实施时需考虑的关键要素。AI 生命周期在日常生活中，深度学习的相关方法已经广泛的部署到各类的应用当中。 在训练阶段与推理阶段之间需要通过部署的方式将训练好的模型加载到 Web 服务器或 IoT 设备上，对于推理系统中的部署涉及以下多个步骤，确保训练好的模型能够有效地应用于实际场景。 然后，在部署中可能涉及创建 API 接口、配置服务器、设置数据传输和存储等。在部署后，持续监控模型的性能，并根据需要进行优化。这可能包括调整模型参数、更新推理引擎版本、优化硬件资源分配等。 根据上图示的 AI 框架、推理系统与硬件之间的关系，可以看到，除了应对应用场景的多样化需求，推理系统还需克服由不同训练框架和推理硬件所带来的部署环境多样性挑战，这些挑战不仅增加了部署优化和维护的难度，而且易于出错
1.4K10编辑于 2024-12-02 - 来自专栏AI系统
【AI系统】推理系统架构
推理系统架构是 AI 领域中的一个关键组成部分，它负责将训练好的模型应用于实际问题，从而实现智能决策和自动化。 为了加快推理速度、减少计算资源的消耗，工程师们常常会使用模型压缩技术，如量化、剪枝和蒸馏。此外，硬件加速（如 GPU、TPU）和专用芯片（如 AI 加速器）也是提高推理效率的重要手段。 多框架支持：兼容 TensorFlow、PyTorch、ONNX 等主流 AI 框架。模型优化：集成 TensorRT 等优化工具，进一步提升模型推理性能。 作为一个强大的推理框架，Triton 能够满足多样化的 AI 应用需求，帮助企业和开发者构建高效、可靠的推理服务。 Triton 推理服务器通过其精心设计的架构，将推理服务的复杂性进行了有效的分层处理，其中"Backend"作为核心组件，专注于模型的加载、前向推理计算及卸载等关键操作，而网络请求处理、模型编排等周边功能则由
1.6K10编辑于 2024-12-02 - 来自专栏AI系统
【AI系统】推理系统引言
推理的最终目标，便是将训练好的模型部署到实际的生产环境中，使 AI 真正运行起来，服务于日常生活。推理系统，是一个专门用于部署神经网络模型，执行推理预测任务的 AI 系统。 它类似于传统的 Web 服务或移动端应用系统，但专注于 AI 模型的部署与运行。推理系统会加载模型到内存，并进行版本管理，确保新版本能够顺利上线，旧版本能够安全回滚。 通过综合运用这些方法，可以在满足服务需要的同时，实现模型的高效推理和部署。在线部署和优化推理引擎的在线部署和优化是确保 AI 模型能够在实际应用中高效运行的关键环节。 在模型部署的过程中，推理引擎需要应对多种挑战，包括适配多样的 AI 框架、处理不同部署硬件的兼容性问题，以及实现持续集成和持续部署的模型上线发布等软件工程问题。 为了应对这些挑战，推理引擎的在线部署和优化显得尤为重要。首先，推理引擎需要支持不同 AI 框架训练得到的模型的转换。
1.1K10编辑于 2024-12-02 - 来自专栏AI系统
【AI系统】推理内存布局
从前文的简单介绍中，我们提到了可以从内存布局上对推理引擎的 Kernel 进行优化，接下来，我们将先介绍 CPU 和 GPU 的基础内存知识，NCHWX 内存排布格式以及详细展开描述 MNN 这个针对移动应用量身定制的通用高效推理引擎中通过数据内存重新排布进行的内核优化 NCHWX在推理引擎中，或者底层 Kernel 层实际上为了更加适配到 DSA 或者 ASIC 专用芯片会使用 NCHWX 内存排布格式，那么下面我们来详细了解一下 NCHWX 数据排布格式。 MNNMNN 是一个轻量级的深度学习端侧推理引擎，核心解决神经网络模型在端侧推理运行问题，涵盖神经网络模型的优化、转换和推理。
1K10编辑于 2024-12-06 - 来自专栏AI系统
【AI系统】推理引擎架构
在深入探讨推理引擎的架构之前，让我们先来概述一下推理引擎的基本概念。推理引擎作为 AI 系统中的关键组件，负责将训练好的模型部署到实际应用中，执行推理任务，从而实现智能决策和自动化处理。 推理引擎特点 推理引擎，作为 AI 和机器学习领域的重要组成部分，其设计目标在于提供一个灵活、高效且易于使用的平台，用于部署和运行已经训练好的模型，完成从数据输入到预测输出的全过程。 跨平台部署 从服务器集群到个人电脑，再到手机乃至嵌入式设备，通用性推理引擎的足迹遍布所有具备 POSIX 接口的计算平台。 这种灵活性意味着研究者可以在资源丰富的服务器上训练复杂模型，随后无缝迁移到其他平台进行测试或部署，极大地促进了研发流程的连贯性和效率。 端侧学习允许模型在部署后继续学习和适应新数据，无需返回服务器重新训练，提升了模型在特定场景或用户个性化需求下的表现。
1.6K21编辑于 2024-12-05 - 来自专栏AI SPPECH
64_模型部署：推理优化策略
8.1 边缘部署架构 边缘部署架构： 用户设备 → 边缘节点(模型推理) → 云服务器(模型更新/复杂任务) 8.2 边缘设备类型与适配 设备类型 计算能力 内存限制 适用模型大小 优化策略 高端智能手机 8.4.1 车载AI助手部署 需求：在车载环境中实现低延迟的语音助手，支持本地语音识别、意图理解和响应生成。 ：<200ms 响应准确率：>92% 功耗：<15W 支持离线运行，无需持续网络连接 8.4.2 工业质检部署 需求：在工厂生产线上部署AI视觉质检系统，实时检测产品缺陷。 某大型制造企业的智能质检系统： 需求：在生产线上部署AI视觉质检系统，实时检测产品缺陷，准确率要求>99.5%。 诊断准确率：97.3% 报告生成时间：<3分钟 医生工作效率：提升35% 患者等待时间：减少40% 结论 大模型部署与推理优化是将AI技术从实验室推向实际应用的关键环节。
88110编辑于 2025-11-16 - 来自专栏边缘计算_rui
使用aidlux进行模型迁移、部署、推理
AidLux是一个构建在ARM硬件上，基于创新性跨Android/鸿蒙 + Linux融合系统环境的智能物联网 (AIoT) 应用开发和部署平台。 说的直白点，aidlux就是一个在arm架构芯片的设备上运行的linux系统，我们可以将身边的安卓设备当作边缘设备，在aidlux的基础上，使用安卓设备作为硬件来进行AI推理模型迁移登录网站：https aimo.aidlux.com/#/model-convert选择模型优化，传入对应格式的模型点击next图片点击next，选择目标格式：图片图片点击submit即可开始进行模型转换，转换成功后下载对应的模型转换结果即可部署和推理过程可以观看视频
70410编辑于 2023-09-07 无服务器架构简化AI代理部署与扩展
Tensorlake公司表示，其新推出的无服务器基础设施平台让希望设计、构建和运行人工智能代理的组织的生活更加轻松，该平台为自主系统的扩展提供了现成的基础。 “AI代理正变得无处不在，因为现代模型能够推理并采取行动，但可靠运行它们的基础设施却未能跟上，”创始人兼首席执行官Diptanu Gon Choudhury说。 这些组件共同创建了一个对开发者友好的基础设施，允许团队用Python创建代理工作流和AI代理，将其作为API部署，并根据需要随时扩展，并内置可观测性功能。 这些API与Claude Code等编码代理兼容，这意味着团队甚至不必构建部署工作流——一切都可以自动化。 Choudhury补充说，Tensorlake的基础设施可以部署在“某中心”云、“某机构”云和“某机构”云环境中。
9210编辑于 2026-04-04无服务器架构简化AI代理部署与扩展
Tensorlake Inc.表示，其推出的全新无服务器基础设施平台让希望设计、构建和运行人工智能代理的组织的工作变得更加轻松。该平台为自主系统的扩展提供了现成的基础。 创始人兼首席执行官Diptanu Gon Choudhury表示：“AI代理正变得无处不在，因为现代模型能够进行推理并采取行动，但可靠运行它们的基础设施却没有跟上。 这些组件共同创建了一个对开发者友好的基础设施，允许团队使用Python创建代理工作流和AI代理，将它们部署为API，并在需要时进行扩展，同时内置可观测性功能。 这些API与Claude Code等编码代理兼容，这意味着团队甚至不必构建部署工作流——相反，一切都可以自动化。 Choudhury补充说，Tensorlake的基础设施可以部署在“某中心”云、“某机构”云和“某机构”云环境中。
2600编辑于 2026-04-15- 来自专栏码上遇见你
本地部署 DeepSeek：打造你的专属 AI 推理环境，简单明了适合新手
随着 AI 大模型的爆发，DeepSeek 作为一款备受瞩目的开源大模型，吸引了众多开发者的关注。如何在本地搭建 DeepSeek 推理环境，以便更高效地进行 AI 研究和应用开发？ 本篇文章将为你详细解析本地部署 DeepSeek 的完整流程，让你轻松打造属于自己的 AI 推理环境。 接下来本文将详细介绍如何在本地部署 DeepSeek 蒸馏模型，内容主要包括 Ollama 的介绍与安装、如何通过 Ollama 部署 DeepSeek，在 Cherry Studio 中使用 DeepSeek 测试 我们就可以进行测试啦： 通过本地部署 DeepSeek，我们可以打造属于自己的 AI 语言模型推理环境，无需依赖云端 API，同时能够获得更高的安全性和可控性。 ✨ 你是否已经成功部署 DeepSeek？欢迎在评论区分享你的经验和遇到的问题！记得关注我，获取更多 AI 部署教程！
49200编辑于 2025-02-19 - 来自专栏镁客网
正式进军云服务器市场，高通发布Cloud AI 100推理芯片
据悉，在旧金山举行的高通AI Day活动上，这家巨头正式宣布进军云计算市场，并发布了面向人工智能推理计算的专用 AI 加速器：Qualcomm Cloud AI 100。 没有任何预告，继谷歌、亚马逊和英伟达之后，高通成为第四家成功在云端推理上正式发布芯片的公司。 根据高通的定义，Cloud AI 100是一枚面向“人工智能推理”的专用 AI 加速器 (purpose-built AI Accelerator)，它集成了各种开发工具包括编译器、分析器、监视器、服务 、芯片调试器和量化，让客户能够根据AI 推理处理任务需求而调整模块设计、外形和功率级别。 据悉，Cloud AI 100的峰值性能是Snapdragon 855和 Snapdragon 820的3到50倍；与传统的 FPGA 相比，它的推理速度提高了约 10 倍。
1.1K30发布于 2019-04-26 转载：【AI系统】推理系统介绍
推理系统是一个专门用于部署神经网络模型，执行推理预测任务的 AI 系统。它类似于传统的 Web 服务或移动端应用系统，但专注于 AI 模型的部署与运行。 最后，通过比较推理系统与推理引擎的流程结构，将进一步揭示两者在设计和实施时需考虑的关键要素。AI 生命周期在日常生活中，深度学习的相关方法已经广泛的部署到各类的应用当中。 在训练阶段与推理阶段之间需要通过部署的方式将训练好的模型加载到 Web 服务器或 IoT 设备上，对于推理系统中的部署涉及以下多个步骤，确保训练好的模型能够有效地应用于实际场景。 然后，在部署中可能涉及创建 API 接口、配置服务器、设置数据传输和存储等。在部署后，持续监控模型的性能，并根据需要进行优化。这可能包括调整模型参数、更新推理引擎版本、优化硬件资源分配等。 根据上图示的 AI 框架、推理系统与硬件之间的关系，可以看到，除了应对应用场景的多样化需求，推理系统还需克服由不同训练框架和推理硬件所带来的部署环境多样性挑战，这些挑战不仅增加了部署优化和维护的难度，而且易于出错
94210编辑于 2024-12-12转载：【AI系统】推理系统架构
推理系统架构是 AI 领域中的一个关键组成部分，它负责将训练好的模型应用于实际问题，从而实现智能决策和自动化。 为了加快推理速度、减少计算资源的消耗，工程师们常常会使用模型压缩技术，如量化、剪枝和蒸馏。此外，硬件加速（如 GPU、TPU）和专用芯片（如 AI 加速器）也是提高推理效率的重要手段。 多框架支持：兼容 TensorFlow、PyTorch、ONNX 等主流 AI 框架。 模型优化：集成 TensorRT 等优化工具，进一步提升模型推理性能。 作为一个强大的推理框架，Triton 能够满足多样化的 AI 应用需求，帮助企业和开发者构建高效、可靠的推理服务。 Triton 推理服务器通过其精心设计的架构，将推理服务的复杂性进行了有效的分层处理，其中"Backend"作为核心组件，专注于模型的加载、前向推理计算及卸载等关键操作，而网络请求处理、模型编排等周边功能则由
1.4K11编辑于 2024-12-12
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号