>很多企业 AI 项目不是死于模型不行，而是死于「只有头、没有腰」。
上面挂了个大模型 API，下面买了一堆卡，中间什么都没有——于是 Demo 很惊艳，上线遥遥无期。

&emsp;&emsp;目前团队把AI 拆成四层进行持续建设，自下而上：**硬件基础层 → AI Infra 层 → 基础服务层（Harness）→ 应用层**。但重点不在「分了四层」，而在**层与层之间的衔接**，那三条契约，才决定这套架构能不能真落地。
## 一、先看全景：四层各管一段，层间只认契约
![image.png](https://developer.qcloudimg.com/http-save/yehe-2356176/4e1874c4f2b0a66ee1d454d3ef95090a.png)
**企业 AI 可落地四层架构（自下而上）**

|层级|一句话职责|核心隐喻|交付物|验收指标|
|:-:|:-:|:-:|:-:|:-:|
|L4 应用层|把能力交付给业务|方向盘 + 仪表盘|Skill · MCP · 插件 · 专家|业务指标|
|L3 基础服务层 Harness|让大模型「会干活」|变速箱|Agent 运行时 / 编排引擎|复杂任务完成率、可恢复性|
|L2 AI Infra 层|把算力变成「模型服务」|水电煤|统一推理 API / 模型网关|单位 token 成本、可用性|
|L1 硬件基础层|提供算力、存储、网络|地基|GPU 池 / 存储 / 网络|利用率|
分层的三条铁律：
1. **上层提需求，下层供能力**——下层不猜业务，上层不碰螺丝。
2. **层间只认契约，不认实现**——这正是「可替换」的前提。
3. **成本与风险要能在层间定位**——否则永远算不清这笔账。

## 二、L1 硬件基础层：唯一的 KPI 是「利用率」
这一层没什么玄学：GPU、CPU、内存、高速存储、网络、机房与电力。
三种形态：**自建 IDC**（Capex 前置）、**公有云**（Opex 按量）、**混合**（核心自建 + 峰值外借）。
判断标准只有一条：**卡买来闲置，就是纯亏损**。
所以这一层向上暴露的契约很朴素：**算力池 + 配额**：谁申请、多少卡、用多久、多少显存。
>这一层直接决定硬件账单。只有「数据必须自己存」和「高频可预测」的负载才值得自建，其余一律外借。
## 三、L2 AI Infra 层：把裸算力变成「模型服务」
如果没有这一层，每个业务团队都会自己去调推理引擎、自己管显存、自己写重试——重复造轮子，而且造得各不相同。
L2 要干四件事：
- **推理引擎**：vLLM / SGLang / TensorRT-LLM，决定吞吐与显存效率。
- **模型网关**：统一路由、鉴权、限流、计量  一处管控，避免散接失控。
- **调度与弹性**：K8s + GPU 调度，按负载伸缩。
- **数据侧与可观测**：向量库、缓存、对象存储，以及 token 计量与成本归集。
  
**这一层最关键的一条契约是：OpenAI 兼容 API。**
&emsp;&emsp;它已是行业事实标准。意味着无论后面换哪家模型、哪个推理引擎，上层代码都不用动。同时，**内部自建模型**（数据不出域）与**外部直连模型**（通用 / 弹性 / 前沿）在网关处收敛成同一个端点。这正是成本分层的落点：哪边便宜用哪边，上层无感。

## 四、L3 基础服务层（Harness）：决定 AI 到底能不能「干活」
这是最容易被跳过、却最值钱的一层。
### 4.1 什么是 Harness
一句话公式，来自 DeepSeek Harness 的官方定位：**Model + Harness = Agent**。
模型负责「想」，Harness 负责「做」：组织上下文、驱动模型、调用工具、处理审批、管理执行循环、向外输出事件。
为什么必须有？LangChain 的 DeepAgents 说得很直白（大意）：**简单的「LLM 循环调工具」架构产出的是浅层 Agent，扛不住长周期、多步骤的真实任务。**
### 4.2 三条落地路径
![image.png](https://developer.qcloudimg.com/http-save/yehe-2356176/98656f9cc7792db46fb0c4cf82329ad4.png)

#### 路径 A：自研编排（基于 LangGraph 等）
代表是 LangChain 的 **LangGraph**（MIT）。数据摆在这：GitHub Star 约 **3.98 万**，PyPI 月下载约 **7110 万**（2026-08 数据）；Klarna 用它服务 8500 万用户，Uber 用它给 5000 名开发者做代码质量与单测生成（官方称省下 2.1 万工时）。
- 强项：durable execution（断点恢复）业界最强；人工审批是一等公民；生态最大，1000+ 集成。
- 代价：学习曲线公认陡峭（得先掌握 TypedDict + reducer + 图论）；沙箱与权限要自己接。

#### 路径 B：开源框架（框架级 harness）
- **AgentScope 2.0**（阿里通义，Apache-2.0）：无状态推理-行动循环引擎 + 显式 AgentState；权限系统 **allow / deny / ask** 三档，并带「bypass 也拦得住」的安全栅栏；Workspace 沙箱支持 Local / Docker / E2B / Daytona；事件系统 26 种事件；内置基于 FastAPI 的 Agent Service，天生多租户。GitHub Star 约 2.9 万，PyPI 月下载约 60 万。
- **DeepAgents**（LangChain）：自我定位就是 agent harness，建在 create_agent + LangGraph 之上，预装中间件栈——待办规划、文件系统、子智能体、上下文摘要、记忆、人在回路。
选型有个很好用的判断法：**你的恐惧决定选型**。
怕「工作丢失」（长流程崩了不能从头跑）→ 选 LangGraph；怕「Agent 乱来」（拿着真工具权限乱删数据）→ 选 AgentScope。

#### 路径 C：直接部署开源产品（开箱即用的 Agent 工作台）
不想从零搭的话，2026 年已有几个成熟的开源选项：
|产品|出品|协议/技术栈|定位与特点|
|:-:|:-:|:-:|:-:|
|**Octop**|腾讯云（2026-07 开源）|MIT / Python|单进程内组合 Harness 技术栈（agent、gateway、memory、browser）；多用户多 Agent、专家库、IM 桥接（飞书 / 钉钉 / 企微 / QQ / Discord）、ACP 协议、定时任务、远程桌面|
|**QwenPaw**|阿里 AgentScope 团队|Apache-2.0 / Python|定位 Agent OS；2.0 引入 Agent OS Foundation，支持在同一控制台创建并调度 Codex / Qoder Agent，统一管理 Skills 与 MCP；Star 约 3.38 万|
|**DeepSeek Harness**|DeepSeek（2026-08-13 开源）|MIT / TypeScript|核心理念「一切皆插件」，基于 Cordis 元框架；全量轨迹回放（append-only 日志，可 replay / fork / resume）；四种运行模式。注意：v0.1 开发者预览，官方明确会有 breaking changes|

三条路径的选型建议：
|你的处境|建议路径|
|:-:|:-:|
|流程相对确定，要跨天审批与断点恢复|A — LangGraph|
|要碰真实工具（代码 / 文件），权限必须卡死|B — AgentScope 2.0|
|中文团队，想要开箱即用的多用户工作台|C — Octop / QwenPaw|
|追求极致可替换，能接受预览版的不稳定|C — DeepSeek Harness|
|已在 LangChain 生态里，想快速见效|A + B — DeepAgents|

### 4.3 这一层向上暴露什么
契约是：**统一事件流 + Agent 运行时接口**。
上层不管后面是 LangGraph、AgentScope 还是别的，只认两件事：往里发一条消息，往外收一串事件。
这就是为什么「换 Harness」不该影响上层业务代码——QwenPaw 2.0 做的「跨 Harness」正是这个思路：把 Agent OS 的运行环境（Workspace、Skills、MCP、Session、权限）与具体执行内核解耦。

## 五、L4 应用层：Skill  \/  MCP \/ 插件 / 专家
这四个概念常被混着用，其实各自回答一个不同的问题。
![image.png](https://developer.qcloudimg.com/http-save/yehe-2356176/e46155ad78f9d95952f02a3cf5a8dd2f.png)
|概念|回答什么问题|通俗解释|
|:-:|:-:|:-:|
|**MCP**|能碰到什么|模型上下文协议，一套统一的「工具与数据插头」标准|
|**Skill**|怎么干|把一套做法（SOP / 工作流 / 提示词 + 脚本）打包成可复用能力|
|**插件 / 连接器**|连到哪|对接外部系统的适配层：文档、IM、云服务、数据库|
|**专家**|谁在干|角色 + 方法论 + 权限边界的封装|
MCP 的价值在于**把接入从「定制开发」变成「注册即用」**。过去接一个数据源要写代码，现在注册一个 MCP Server 就能用，不改 Agent 核心逻辑。Octop 官方把这个思路称为「能力即插件」的标准化抽象。
四者的关系可以这样记：**专家**是「谁来干这个活」，**Skill** 是「这门手艺怎么做」，**MCP** 是「能用哪些工具」，**插件 / 连接器**是「能连到哪些系统」。
这一层向上暴露的契约，就是业务价值本身——用户说一句话，得到一个可验证的结果。

## 六、四层怎么衔接：三条契约，胜过四层功能
|层间边界|契约（接口）|换掉下层时，上层要不要改代码|
|:-:|:-:|:-:|
|L4 → L3|统一事件流 + Agent 运行时接口|不用|
|L3 → L2|OpenAI 兼容 LLM API + 工具 / 检索接口|不用|
|L2 → L1|算力申请（GPU 池 / 显存配额 / 存储卷）|不用|
一次请求穿越四层的完整过程：
![image.png](https://developer.qcloudimg.com/http-save/yehe-2356176/24cf1ddb175746188e9bc175efb4c02f.png)
**分层的真正价值，不是「看起来整齐」，而是任何一层都能独立替换而不影响其他层。**这才是「可落地」与「只能做 Demo」的分水岭。
## 七、落地路线图：别一次全建
![image.png](https://developer.qcloudimg.com/http-save/yehe-2356176/cb6115b6f851cb564cce44fe7f4e1a31.png)
- **阶段 0**：先跑通一个真实场景的最小闭环，验证链路通不通。
- **阶段 1**：把模型接入收敛到网关，内外部模型一个端点，开始计量。
- **阶段 2**：按「你的恐惧」选 Harness，先把权限、沙箱、检查点立起来——这三样是后续所有能力的地基。
- **阶段 3**：沉淀 Skill，接入 MCP，把高频场景封装成专家。
- **阶段 4**：成本归集 + 效果评估 + 能力复用，形成闭环。

## 八、结语：把问题拆成四个可验收的工程问题
四层架构最大的好处，是让「AI 能不能落地」这件事，变成四个可以单独验收的工程问题：
- **L1 验收**：利用率。
- **L2 验收**：单位 token 成本 + 可用性。
- **L3 验收**：复杂任务完成率 + 可恢复性。
- **L4 验收**：业务指标。
哪一层不达标，就改哪一层——不用推倒重来。

很多企业 AI 项目不是死于模型不行，而是死于「只有头、没有腰」。上面挂了个大模型 API，下面买了一堆卡，中间什么都没有——于是 Demo 很惊艳，上线遥遥无期。

AI 落地的四层架构：真正卡住你的，从来不是模型

基于团队内部落地实践的思考，我们把内部 AI 分成四层：硬件基础层、AI Infra 层、Harness 服务层与应用层。决定成败的不是分层，而是层间三条契约——上层提需求、下层供能力，任一层可整体替换而上层代码不用改。实践中最深的教训是顺序：先把模型接入收敛到网关，再选 Harness 立起权限、沙箱与检查点，最后才谈 Skill 与专家沉淀。顺序错了，返工成本远高于从零搭。

数智化转型

人工智能

架构设计

云计算

企业AI落地四层架构，核心在层间三条契约而非分层本身。硬件层保利用率，AI Infra层统一OpenAI兼容API，Harness层选型按恐惧决定（LangGraph防断点丢失、AgentScope防乱权），应用层靠MCP/Skill/专家封装。每层可独立替换、成本可归集，分阶段从最小闭环到成本闭环。

4核4G3M云服务器 新用户低至38元/年！

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

AI 落地的四层架构：真正卡住你的，从来不是模型-腾讯云开发者社区-腾讯云

AI 落地的四层架构：真正卡住你的，从来不是模型

AI 落地的四层架构：真正卡住你的，从来不是模型

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐