
省流：mHC是传统Transformer架构的升级，增加【大并发】【灵活并发】两点能力

<div align="center"><img src="https://developer.qcloudimg.com/http-save/yehe-11563618/8483ae8efa0889ba7a223a3ef238cd77.jpg" width="50%"></div>


-------------
## 1、技术溯源：Deep Neural Network -> Residuals -> HC -> mHC

| 架构名称 | 提出时间 | 主要贡献者 | 是否中国人 | 所属机构 |
|---------|---------|-----------|-----------|----------|
| **Residuals（残差网络）** | 2015年 | 何恺明、孙剑、任少卿、张祥雨 | 是 | 微软亚洲研究院 |
| **HC（超连接）** | 2024年9月 | 字节跳动团队 | 部分 | 字节跳动 |
| **mHC（流形约束超连接）** | 2026年1月 | DeepSeek团队（梁文锋署名） | 是 | DeepSeek |

**Residuals（残差网络）**：由何恺明、孙剑、任少卿、张祥雨四位中国科学家在微软亚洲研究院提出，是深度学习领域的里程碑式突破，解决了深度网络训练难题，使训练超过百层的深度神经网络成为可能。

**HC（超连接）**：由字节跳动团队提出，通过扩展残差流宽度提升模型性能，但存在训练不稳定性问题。

**mHC（流形约束超连接）**：由DeepSeek团队提出，通过将残差连接矩阵投影到双随机矩阵流形上，解决了HC的训练不稳定性问题，在保持性能的同时确保训练稳定。

| 技术类型               | 主要用途（训练/推理） | 核心作用（训练阶段）                                                                 | 核心作用（推理阶段）                                                                 | 备注（结合LLM/多流并行管道场景）                                                                 |
|------------------------|-----------------------|--------------------------------------------------------------------------------------|--------------------------------------------------------------------------------------|--------------------------------------------------------------------------------------------------|
| Deep Neural Network（DNN） | 训练+推理（全流程）  | 构建多层特征映射结构（如LLM的Transformer层、专家过滤器），学习数据的复杂语义/任务规律 | 基于训练好的参数，执行特征传递与输出预测（如文本生成、逻辑推理）                       | 是LLM架构的基础框架，多流并行管道的“并行流核心骨架”（含词嵌入、多头注意力等过滤器的多层设计）   |
| Residuals（残差连接）   | 训练+推理（全流程）  | 提供梯度shortcut通道，解决深层DNN的梯度消失/特征退化问题，保障多流/深层模型稳定训练   | 维持特征传递的稳定性，避免推理时深层特征过度失真（如多流并行中每组流的残差旁路）       | 推理时计算开销极低（仅线性相加），不影响推理效率，是MoE等复杂架构“训练-推理兼容”的关键设计       |
| HC（假设为“混合计算/Hybrid Computation”） | 训练+推理（侧重推理） | 适配训练时的异构硬件（如CPU+GPU混合训练），平衡计算效率与精度                         | 优化推理时的资源分配（如多流并行中不同流的计算任务拆分到不同硬件），降低推理延迟       | 若HC指“混合精度计算”，则训练时用于加速收敛、减少显存占用，推理时进一步压缩计算量（不损失核心精度） |
| mHC（假设为“多流混合计算”） | 训练+推理（侧重推理） | 训练时同步优化多组并行流的计算分配（如不同流适配不同精度/硬件），保障多流协同训练     | 推理时动态调度多流的计算资源（如高频任务流优先分配GPU，轻量化流分配CPU），提升并行效率 | 专为多流并行管道设计，推理阶段可最大化利用硬件资源，适配LLM“多任务并行处理”（如同时推理+生成） |


-------------

## 2、管道-过滤器视角看Transformer架构

传统的Transformer层符合管道-过滤器模式：
- **过滤器序列**：词嵌入→位置编码→多头注意力→前馈网络→层归一化
- **数据管道**：每个过滤器的输出作为下一个过滤器的输入，形成线性流水线
- **残差连接**：作为“旁路管道”，确保信息直接流通防止梯度消失

传统Transformer的单一管道：
```
[输入] → [词嵌入] → [位置编码] → [注意力机制] → [前馈网络] → [层归一化] → [输出]
                            ↓（残差连接）↑
```


-------------

## 3、管道-过滤器视角看mHC架构

mHC在传统单流残差连接基础上，引入了**多流并行管道**设计：

### 1. 管道宽度扩展
- **传统Transformer**：单一残差管道（C维）
- **mHC架构**：n个并行残差管道（n×C维），形成“管道束”

### 2. 过滤器升级
- **新增预映射过滤器**（Hpre）：将多流信息聚合到层输入
- **新增后映射过滤器**（Hpost）：将层输出分发回多流
- **残差映射过滤器**（Hres）：管理多流间的信息交换

DeepSeek mHC的多流并行管道:
```
                输入
                  ↓
    [预映射过滤器 Hpre]  // 将输入分发到多流
                  ↓
+-----------------------------------------------------------------+
| 流1: [注意力] → [前馈] → [归一化] → [流映射 Hres] → 输出合并点 |
| 流2: [注意力] → [前馈] → [归一化] → [流映射 Hres] → 输出合并点 |
| 流3: [注意力] → [前馈] → [归一化] → [流映射 Hres] → 输出合并点 |
| 流4: [注意力] → [前馈] → [归一化] → [流映射 Hres] → 输出合并点 |
+-----------------------------------------------------------------+
                  ↓
    [后映射过滤器 Hpost]  // 聚合多流输出
                  ↓
                输出
```


-------------

## 4、mHC架构优势

mHC代表了管道-过滤器架构在LLM中的**第三阶段演进**：

1. **第一阶段**：基础Transformer（单管道线性过滤）
2. **第二阶段**：MoE架构（条件分支管道）  
3. **第三阶段**：mHC多流管道（并行连接拓扑）

这种演进体现了从“单一管道效率”到“多管道协同”的设计哲学转变，为未来LLM架构发展提供了新的方向——**在保持训练稳定性的前提下，通过拓扑创新而非单纯规模扩张来提升模型能力**。

| **架构特性** | **传统Transformer** | **MoE架构** | **DeepSeek mHC** |
|------------|-------------------|------------|-------------------|
| **管道拓扑** | 单一路径线性管道 | 条件分支管道（专家选择） | 多流并行管道 |
| **过滤器类型** | 固定功能过滤器 | 专家过滤器+门控过滤器 | 流映射过滤器 |
| **扩展维度** | 增加层数（深度） | 增加专家数（宽度） | 增加流数（连接复杂度） |
| **信息流动** | 顺序、单向 | 条件路由、稀疏激活 | 并行、多向交互 |
| **稳定性机制** | 残差连接+层归一化 | 专家容量限制+负载平衡 | 流形约束（双随机矩阵） |

#### 1. **稳定性保障**
- 通过**双随机矩阵约束**（Birkhoff多面体投影），确保多流管道的信号传播稳定
- 避免了HC中因无约束映射导致的信号爆炸/消失问题

#### 2. **效率优化**
- **内核融合**：将多个映射操作合并为统一计算单元，减少管道间数据传输
- **通信重叠**：在DualPipe调度中优化多流管道的通信开销

#### 3. **表达能力提升**
- 多流设计允许更复杂的信息路由模式，超越了简单的前向传播
- 在保持计算FLOPs基本不变的情况下，增加了模型的拓扑复杂度

综上，它扩展了传统的单一路径设计，引入了多残差流和并行计算路径，显著提升了信息流动的效率和模型的表达能力。

<div align="center"><img src="https://developer.qcloudimg.com/http-save/yehe-11563618/54d1bdf8635c50e7cc2ea0acdc708cb8.png" width="70%"></div>

---

省流：mHC是传统Transformer架构的升级，增加【大并发】【灵活并发】两点能力

Deepseek mHC 架构理解

训练 与 推理 场景下LLM架构的：大并发、灵活并发。

人工智能

后端

架构设计

mHC架构是Transformer的升级版，由DeepSeek团队提出，通过多流并行管道和双随机矩阵约束解决训练稳定性问题。相比传统单管道设计，mHC支持大并发计算，在保持性能的同时提升模型表达能力，适用于LLM多任务并行处理场景。

4核4G3M云服务器 新用户低至38元/年！

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云AI代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

功能1上新10个字符

功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符。

功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符。

功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符

功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符

功能4上新

文章&问答评论现已支持表情

全新交互，全新视觉，新增快捷键、悬浮工具栏、高亮块等功能并同时优化现有功能，全面提升创作效率和体验

社区富文本编辑器全新改版！诚邀体验～ 

精选全网热门MCP server，让你的AI更好用 🚀

💥开发者 MCP广场重磅上线！

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

Deepseek mHC 架构理解-腾讯云开发者社区-腾讯云

Deepseek mHC 架构理解

Deepseek mHC 架构理解

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐