每次一到过节期间，DeepSeek就要发点东西庆祝一下过节。真的不让我们这些程序员活了

看看历年来的DeepSeek发布的一些东西，基本都卡在过节前后。那DeepSeek最新的这篇论文：《mHC: Manifold-Constrained Hyper-Connections》到底讲了什么呢？

我们先搞清楚：HC 为啥强，但又为啥会“越大越不稳”

DeepSeek这篇文章，本质上就是为了去优化一下HC（Hyper-Connections）架构。而HC这个架构一开始是为了优化大模型transformer中的残差（Residual）

在 2014–2015 年之前，一个非常反直觉的现象困扰着深度网络：

举个简单的例子：如果我在一个 20 层网络中间

理论上性能不该变差，但实际上它就是变差了。说明问题不在表达能力，而在

所以残差的核心思想就是，让模型不要

学“函数”，而是学“偏差”。

 的出现。它就是能够引入残差思想后，可以把多层架构堆叠在一起。它就是在网络中加入残差：y=x+F(x)

在残差思想成功引入之后，几乎所有主流架构都

但是Resnet的想法只能是单一的传递信息，那么有没有可能可以把这个链路进行拓宽，引入更多的信息呢？因此HC就被提出来。

HC（Hyper-Connections）的出发点是：不改每层算子（Attention/FFN）的 FLOPs，把“残差流”从单一路径扩成 

（维度从 单个(C) 变成多个(n * C)），并在层与层之间引入三个可学习映射：

问题在于：普通残差的“身份映射（identity mapping）”是保证模型训练的时候稳定的因素；但是在 HC 里跨多层后，浅层到深层的“直通项”会变成

，它不再保证接近 identity，于是可能出现信号/梯度的放大或衰减，导致大规模训练不稳定 

mHC：把 (  ) 投影到一个“守恒”的流形上，让它重新具备 identity 的稳定性

把每层的 residual mixing 矩阵 (H^{res}_l) 约束为“双随机矩阵（doubly stochastic）”

Birkhoff polytope（双随机矩阵集合/置换矩阵凸包）

DS研究团队通过实验观察到，由于缺乏有效约束机制，HC系统在训练过程中会出现控制参数无序波动的现象。为解决这一问题，研究团队引入了

这一特定流形结构作为优化空间。选择该流形的主要依据在于其具备多重优良特性：

，避免正负系数叠加造成信号抵消（也可理解为一种简单的流形/可行域约束）

HC 到底是“哪里不稳”？mHC 又是“怎么把它稳住的”呢？从实验上看，在前期训练过程中，HC loss 波动巨大，甚至有负值，说明训练初期 residual mixing 还没“学稳”。中后期的时候，HC 的 loss gap 

而 mHC作为 reference，整体的loss 基本单调、平滑，而且没有长期偏移

在前向和后向传播上，多层连乘后，梯度链路被放大成“指数塔”。

可学习 residual mixing 的“连乘”失控导致的

如果用一句话来概括 mHC 这篇论文的价值，那就是：

它不是在“发明一个更强的残差”，而是在回答，当我们开始动残差这个trick的时候，什么是绝对不能被破坏的底层约束。

HC 本身并不是一个“错误的方向”。相反，它非常大胆，也非常符合直觉，

既然残差是信息高速公路，那我为什么不能修成多车道？

但是你把高速公路的直线，换成了可学习的立交桥，而且还是层层相乘的那种。

在小模型、小深度下，这个问题可能并不明显；但一旦走到

，HC 的不稳定性就不再是“调参问题”，而是

而这次DS团队踢出来的mHC 的厉害之处，恰恰在于它没有试图继续“加技巧”：

它做的事情非常“工程师思维”：

把残差映射限制在一个，即使连乘 100 次，也不会炸的可行空间里。

引入的双随机矩阵（Birkhoff polytope）在这里是一个

从这个角度看，mHC 并不只是 HC 的一个改进版，而是对残差进行了约束：

你可以增强残差的表达能力，但你不能破坏 identity mapping 作为稳定不变点的地位

当残差不再是直线：DeepSeek 的 mHC 如何把 Hyper-Connections 拉回稳定区

后台策略工程师

人工智能

算法

架构设计

DeepSeek最新论文《mHC:Manifold-Constrained Hyper-Connections》提出改进HC架构的方法，通过将残差混合矩阵约束为双随机矩阵，解决大模型训练不稳定问题。该方法在保持残差表达能力的同时，确保信号和梯度守恒，实现深度网络的稳定训练。

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云AI代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

功能1上新10个字符

功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符。

功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符。

功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符

功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符

功能4上新

文章&问答评论现已支持表情

全新交互，全新视觉，新增快捷键、悬浮工具栏、高亮块等功能并同时优化现有功能，全面提升创作效率和体验

社区富文本编辑器全新改版！诚邀体验～ 

精选全网热门MCP server，让你的AI更好用 🚀

💥开发者 MCP广场重磅上线！

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

当残差不再是直线：DeepSeek 的 mHC 如何把 Hyper-Connections 拉回稳定区

当残差不再是直线：DeepSeek 的 mHC 如何把 Hyper-Connections 拉回稳定区

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐