
本文是【LLM架构管窥 ◆ 系列小文】的第1篇。

【LLM架构管窥 ◆ 系列小文】旨在快速盘点LLM架构特点、特别是局限性，为后续【基于SDD的AI编程最佳实践】提供必要的认知准备。

---

## 一、从媒体播放器 看 管道-过滤器架构模式

当你打开一首MP3歌曲或一部MP4视频时，播放器其实在悄悄执行一系列“流水线作业”：
* 首先通过“解码过滤器”把压缩的音频/视频数据还原，
* 再通过“格式转换过滤器”调整适配设备的播放参数，
* 最后通过“输出过滤器”把信号传递给扬声器或屏幕——这就是管道-过滤器架构的核心逻辑。

![图 1-2.jpeg](https://developer.qcloudimg.com/http-save/yehe-11563618/d8de51353c96bf8eaf049399f60bd889.jpg)

简单来说，这个架构由“管道”和“过滤器”两个核心部分组成：
* 过滤器是一个个独立的“功能模块”，专门处理某一类特定任务；
* 管道则是连接这些模块的“数据通道”，规定了数据的流转顺序。

---

## 二、LLM的 管道-过滤器 架构模式

LLM的管道-过滤器架构：
* “词嵌入过滤器”会把文字转换成电脑能理解的向量，
* “位置编码过滤器”会记录文字的先后顺序，
* “多头注意力过滤器”会捕捉文字间的语义关联，
* “前馈网络过滤器”会进一步强化语言特征。


<div align="center"><img src="https://developer.qcloudimg.com/http-save/yehe-11563618/9d55dee68644deb0990778217868a20f.jpg" width="80%"></div>


---

## 三、Chat-GPT早期版本架构解读

以GPT-3（175B完整版）为例，它的模型维度（隐藏层向量）是12288维，在每一层的“多头注意力过滤器”中，会固定拆分成96个“注意力头”，每个头的维度正好是128维（12288=96×128）。

GPT-3的数据流转路径很清晰：
* 原始文本先被“tokenization过滤器”拆分成token序列，
* 经“词嵌入过滤器”转换成向量，
* 再由“位置编码过滤器”添加位置信息，
* 随后依次流经 96 个 transformer 的“多头注意力过滤器”“前馈网络过滤器”等，
* 最后输出处理后的文本。

![图 2-2.jpeg](https://developer.qcloudimg.com/http-save/yehe-11563618/65af69fa8b0db6a06b720fc20c4ced5b.jpg)

<div align="center"><img src="https://developer.qcloudimg.com/http-save/yehe-11563618/b56fe4e8f5e91d19e1b65df51c63c155.jpg" width="80%"></div>


---

## 四、GPT-4及后续版本的MoE架构

GPT-4及后续很多LLM都采用了MoE架构（混合专家模型），可看作是管道-过滤器架构的升级版。

MoE架构的创新是把“前馈网络过滤器”升级成了“多个专家过滤器+一个门控过滤器”的组合。核心思路是“仅按需load和run专家模块”，而早期Chat-GPT是“全量加载与运行”。

从管道-过滤器的角度看，MoE架构并没有抛弃原有核心逻辑，而是在“过滤器设计”上做了优化：把单一的“前馈网络过滤器”拆分成多个专用“专家过滤器”，并新增“门控过滤器”优化数据流转路径，让整个管道的处理更精准、更高效。这种架构升级，也让LLM的能力实现了质的飞跃。
![图 4.jpg](https://developer.qcloudimg.com/http-save/yehe-11563618/cfe8247a15a50bf2d796934e3e5fcb27.jpg)

---
## 五、MoE架构的意义

一是效率高了，对硬件的要求低了。

二是能力更全面。能同时适配更多类型的语言任务，比如既能做逻辑推理，又能写文案、编代码。

三是扩展性更强。后续版本可以通过增加“专家”数量来提升能力，而不用重构整个架构。
![图 5.jpg](https://developer.qcloudimg.com/http-save/yehe-11563618/683b3e8c9a0854a358cb8c675c8aff0a.jpg)
---

【LLM架构管窥 ◆ 系列小文】旨在快速盘点LLM架构特点、特别是局限性，为后续【基于SDD的AI编程最佳实践】提供必要的认知准备。

LLM架构进化管窥：从管道-过滤器到MoE

用经典的管道-过滤器架构模式，看待LLM的架构，很清晰、且很容易理解 MoE 等方向的架构进化。

人工智能

架构设计

云计算

媒体播放器和LLM都采用管道-过滤器架构，通过独立模块处理数据流。GPT-3使用96个注意力头处理文本，而GPT-4升级为MoE架构，引入专家过滤器和门控机制，提升效率与扩展性。这种架构优化让AI处理更精准高效，同时降低硬件需求。

数据流

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云AI代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

功能1上新10个字符

功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符。

功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符。

功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符

功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符

功能4上新

文章&问答评论现已支持表情

全新交互，全新视觉，新增快捷键、悬浮工具栏、高亮块等功能并同时优化现有功能，全面提升创作效率和体验

社区富文本编辑器全新改版！诚邀体验～ 

精选全网热门MCP server，让你的AI更好用 🚀

💥开发者 MCP广场重磅上线！

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

LLM架构进化管窥：从管道-过滤器到MoE-腾讯云开发者社区-腾讯云

LLM架构进化管窥：从管道-过滤器到MoE

LLM架构进化管窥：从管道-过滤器到MoE

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐