在人工智能技术快速演进的时代，大型语言模型和AI智能体已成为各类应用的核心组件，引发AI相关API流量的指数级增长。而大模型网关，正是这场变革中应运而生的智能交通枢纽。

随着DeepSeek、Qwen等开源模型及各类商用大模型的普及，企业AI应用场景日益丰富，从智能客服自动化到代码生成与软件开发，从金融法律分析到内容生成引擎，AI正深度融入企业核心业务流程。

这种深度融合使得企业不仅使用SaaS化的LLM服务，更在私有化环境中微调、部署LLM模型，形成混合云架构，随之带来了多LLM适配管理、成本失控、数据安全和可靠性保障等系列挑战。

二、大模型网关：AI流量的智能调度中心

大模型网关是为AI工作负载专门设计的网关解决方案。它作为连接业务与AI基础设施的统一端点，为应用程序和模型之间的AI流量提供全面的管控能力。

与传统API网关不同，大模型网关针对AI请求的特有模式进行了专门优化。传统API网关专注于通用数据流量，基于RESTful API和静态请求响应设计，而大模型网关则专门应对AI工作负载的特殊需求，比如，长时与流式响应、复杂输入输出、高资源消耗与批处理、上下文与状态管理、专属监控与计量、关注成本与业务效果，等等。

大模型网关的核心能力主要体现在几个维度：模型市场、模型体验、模型调度、模型成本和稳定性（可观测性、容量管理、模型流控、服务告警）。

其中稳定性是大模型网关的“压舱石”，确保服务高可用、可管理、可追溯。容量管理可根据业务流量预估预先配置好足够的模型TPM额度，避免突发流量导致服务不可用或影响别的业务使用。模型观测提供实时监控每个模型健康状态、响应延迟、成功率等关键指标。模型流控可做到Key和模型粒度的TPM、QPS流量控制，一旦业务请求突破限流阈值，将依据流控规则进行限流。服务告警能力目标是借助Flink实时计算能力提供用户分钟级别的模型服务异常实时告警能力。

三、自建缘由：得物AI部署的四大挑战

随着AI在得物的应用场景不断深入，其帮助公司提升效率和降低成本的潜力被广泛挖掘。然而，我们在这一过程中面临一系列严峻挑战。

在实际场景中，得物需要同时使用很多个AI模型，包括开源模型、商用模型及自建模型，这些模型的API接口、数据格式和调用方式各异。

如果每个业务域单独建设接入能力，会导致技术栈碎片化和重复开发，形成一个个“烟囱”，造成公司资源浪费。另外，如果每个开发团队都需要直接与各种AI模型的API对接，开发者必须学习每个AI API和AI平台，实现供应商特定的代码，会显著降低开发效率。

据估算，得物12月份调用大模型的Token消耗量已达数千亿规模，是1月份用量的20.63倍，仅Token调用单月成本就是一笔相当大的金额。若业务各自直接对接公有云模型服务，可能导致模型使用和成本失控。因此，必须依托大模型流量统一入口建设一套完整的成本管控体系。

将敏感信息传输到外部LLM提供商引发了关于数据隐私、法规合规性（如PIPL和GDPR）以及潜在数据泄露的担忧。为了保障数据安全，我们考虑自建。

模型网关需解决以下核心稳定性问题：

四、行业实践：大模型网关的多元解决方案

大模型网关作为大模型应用的关键中间层，近年来随着企业级AI应用部署的加速而快速发展，以实现AI能力的统一、高效、可控管理。

目前市场上有多种大模型网关解决方案，它们在商业模式和核心能力上都各有特色。这里笔者将各类网关产品进行了梳理与汇总，以便读者大致了解行业现状。

五、实施策略：构建企业大模型网关的六步法

对比行业落地大模型网关的案例，针对得物实际业务情况，在内部落地大模型网关时，我们制定了六个方面的策略。

随着大模型在得物内的广泛深入应用，从B/C端创新到后端效能提升，场景愈发丰富复杂。加之自研/自部署（如 Qwen、DeepSeek）与内外厂商模型层出不穷，模型供给呈现分散与混乱，业务选型门槛抬高，往往从调研、验证到上线需耗时1~2天，极大增加了业务接入AI的难度。

为此，网关对接入模型进行统一梳理，打造信息完备的“模型市场”。本质上是一个“AI 模型应用商店”，将分散混乱、高门槛的选型流程，重构为集中、透明、可量化评估的标准化路径。

通过统一模型市场，网关构建覆盖发现、评测、验证与集成的完整闭环：

通过建设模型市场，实现了模型接入的统一化与标准化，模型上架和接入效率显著提升。

模型上架时间从1~2天降低到 10 分钟内，试用从 1 天降低到 5 分钟以内。

通过建设OpenAI like风格的统一访问API和模型服务调度能力，网关将绝大部分AI模型服务的访问集中到单一入口，使不同业务线无需关注后端模型的具体实现细节，也能实现不同厂商模型服务之间的容灾。

模型调度策略与OpenAI like风格API

在成本治理和优化上，围绕“源头管控、成本感知、模型调度、厂商折扣和成本监控”等方面着手闭环能力搭建。打通了从预算申请、模型选型、接入调用，到运行观测、成本结算的全链路，实现了精准的成本治理与优化。

具体表现为，在3、4季度token用量分别较前一季度增长2.52倍和2.16倍的情况下，每百万Token的成本分别降低50%+和45%+，降本额度也相当可观，达到数百万元，在保证业务体验的前提下有效压降了模型使用成本。

目前正在搭建精细化降本能力，其核心思路是：通过构建Key/模型/厂商/项目维度的成本大盘、构建各外部厂商各类别模型均价大盘（发现更有性价比的模型）、建设用量和成本每周主动推送机制、完善成本预警/告警体系等措施，促使业务依据成本和价格数据主动进行成本治理。

在架构能力建设上，围绕“高可用、可控成本、稳定体验”三大目标，重点建设了限流、调度和容灾三类核心架构能力，

可实现分钟级容灾切换，为大规模、多模型、多业务场景下的稳定运行提供基础保障。

通过建设模型容量的配置化管理机制，实现按Key/项目等维度的TPM容量管理体系；若业务流量（token）超过阈值，便触发限流及容量告警。

模型调度能力可帮助我们实现厂商间模型粒度的分钟级容灾。具体做法是：若检测到当前API Key配置有模型调度策略，则模型调度器便将请求按配置规则执行调度，并将选中的模型交付给模型路由模块，由路由模块封装后将请求转发到对应厂商的模型服务实现。

在AI规模化应用时代，没有分钟级观测体系的模型网关，就像没有仪表盘和刹车的F1赛车——速度越快，风险越大，毁灭性越强。因此，

必须建设完善的模型调用/用量/成本的分钟级观测（监控+告警）体系。

调用失败率和平均RT（基于Key）

端到端平均RT监控分时（基于Key）

通过API Key管理产品化能力建设，实现了API Key申请工单及自动分发、Key场景/负责人/共享人/状态管理和黑名单功能，并依托API Key实现接口鉴权、预算管理（预算分配/预算消耗/预算预警）、容量管理、模型调度等核心功能及关键流程节点的规范化管理。

六、创新亮点：大模型网关的核心技术突破

模型网关瞄准“效率-成本-稳定性-安全&合规”着力平台建设，并继续在成本管控、模型接入效率、服务稳定性、模型监控/告警等方面持续创新：

大模型网关：大模型时代的智能交通枢纽｜得物技术

技术运营

云计算

人工智能

架构设计

大模型网关作为AI流量的智能调度中心，帮助企业解决多模型管理、成本控制、数据安全等挑战。通过统一API入口、精细化成本管控、分钟级监控告警等能力，显著提升模型接入效率97%，单季度降本达数百万元。未来将向多模态AI编排平台演进，成为企业智能化神经中枢。

数据泄露

数据安全

图像理解

数据隐私

云架构

公有云

数据流

混合云

容灾

路由

Kafka

SaaS

2026新春采购季

llmsgw

cngw

dsgc

ai-class

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云AI代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

功能1上新10个字符

功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符。

功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符。

功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符

功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符

功能4上新

文章&问答评论现已支持表情

全新交互，全新视觉，新增快捷键、悬浮工具栏、高亮块等功能并同时优化现有功能，全面提升创作效率和体验

社区富文本编辑器全新改版！诚邀体验～ 

精选全网热门MCP server，让你的AI更好用 🚀

💥开发者 MCP广场重磅上线！

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

大模型网关：大模型时代的智能交通枢纽｜得物技术

大模型网关：大模型时代的智能交通枢纽｜得物技术

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐