- 综合排序
- 最热优先
- 最新优先
- 来自专栏AI SPPECH
45_混合专家模型：MoE架构详解
1.2 MoE的核心组成：专家与门控 混合专家模型的架构创新在于将传统的密集前馈网络层替换为稀疏激活的专家网络集合。 核心技术指标： 参数规模：6710亿 激活参数：每个token激活370亿参数 训练效率：比传统架构提升7倍以上 MLA显存占用：仅为传统架构的5%-13% 架构特点： 混合专家架构：通过将模型划分为多个专家模块 结论：稀疏计算引领大模型新时代 混合专家模型（MoE）通过创新的稀疏计算架构，成功实现了参数规模与计算成本的有效解耦，为大语言模型的持续发展提供了新的技术路径。 深度解读混合专家模型(MoE):算法、演变与原理. InfoQ, 2025. DeepSeek源码解构:从MoE架构到MLA的工程化实现. CSDN博客, 2025. 混合专家模型(MoE)技术原理与应用实践. CSDN博客, 2025. 昇腾原生，华为发布准万亿模型Pangu Ultra MoE模型架构和训练细节. 今日头条, 2025. 重磅!"
1.4K10编辑于 2025-11-12 DeepSeek技术架构解析：MoE混合专家模型
本文将从技术原理、工程创新以及应用潜力三个维度，深度解析这一架构的设计逻辑与行业意义。 二、什么是混合专家模型？ 在有限算力条件下，优化模型架构的参数量通常比增加训练迭代次数更能有效提升模型性能。 混合专家架构(MoE)的突破性价值体现在其独特的计算效率优势——该架构通过动态激活专家模块的机制，可在大幅降低算力消耗的同时完成高质量预训练。 混合专家模型(MoE)本质上是一种改进版的Transformer架构，其核心创新点在于引入动态计算的模块化结构，具体可通过以下维度理解： 稀疏 MoE 层：不同于传统Transformer中每个前馈网络 例如，在混合专家模型 (MoE) 中，尽管较大的批量大小通常有利于提高性能，但当数据通过激活的专家时，实际的批量大小可能会减少。 正如之前讨论的，如果所有的令牌都被发送到只有少数几个受欢迎的专家，那么训练效率将会降低。在通常的混合专家模型 (MoE) 训练中，门控网络往往倾向于主要激活相同的几个专家。
1.5K20编辑于 2025-11-20- 来自专栏IT技术订阅
DeepSeek MoE：混合专家架构的创新与突破
近年来，混合专家（Mixture of Experts，简称MoE）架构逐渐成为研究的热点。DeepSeek作为一家在人工智能领域崭露头角的公司，其推出的DeepSeek MoE架构引发了广泛关注。 本文将深入探讨DeepSeek MoE架构的创新之处及其在性能和效率上的突破。 MoE架构的历史与背景 MoE架构最早可以追溯到1991年，最初被应用于贝叶斯网络中的专家组合。 DeepSeek MoE架构的创新 尽管MoE架构在理论上具有显著的优势，但在实际应用中，如何实现高效的专家分配和负载均衡仍然是一个关键问题。 DeepSeek在2024年1月推出的DeepSeek MoE架构，通过一系列创新设计，解决了传统MoE架构中的痛点。 细粒度专家分割 DeepSeek MoE架构的一个重要创新是细粒度专家分割。 传统MoE架构中，专家的划分相对粗略，每个专家负责的任务范围较广。DeepSeek MoE通过将专家进一步细分，使得每个专家能够专注于更小范围的任务。
1.3K10编辑于 2025-02-05 - 来自专栏活动
DeepSeek混合专家系统（MoE）架构深度解析
为了突破这一瓶颈，混合专家系统（Mixture of Experts，MoE）应运而生。 DeepSeek MoE的研发历程展现了技术演进的三个阶段： （一）早期探索阶段 混合专家系统的思想最初源于对人类大脑神经元工作方式的模拟，不同神经元在处理不同类型的信息时发挥主导作用。 这一阶段的探索为MoE架构的形成奠定了基础。 （二）技术成型阶段 随着深度学习技术的快速发展，研究者们将深度神经网络与MoE架构相结合，形成了更强大的混合专家模型。 2.1 分层专家系统 （一）系统概述 DeepSeek混合专家系统是一种创新的模型架构，它通过结合多个专家网络和一个门控网络来提高模型的表达能力和处理复杂任务的能力。 与传统的单一专家模型不同，MoE架构允许模型在不同情况下调用不同的专家，从而更灵活地适应多样化的输入数据和任务需求。
3.2K00编辑于 2025-03-18 - 来自专栏周拱壹卒
【译】混合专家（Mixture of Experts, MoE）
原文地址：Mixture of Experts (MoE)[1] 原文作者：Sebastian Raschka[2] 混合专家（Mixture of Experts, MoE）是近年来开源大模型能够拥有极高的总参数量 架构画廊[3] 《从零构建大模型》章节[4] DeepSeek V3 和 R1 中的混合专家模块与标准前馈块的对比 引自 大语言模型架构对比[5]：主要结构的变化非常直接。 混合专家层中总参数与活跃参数的差异 引自《从零构建大模型》中 MoE 材料：随着专家数量的增加，总参数的增长速度远快于每个 token 的活跃参数。 例如，“共享专家”就是除了路由选择的专家外，始终保持激活的专家；还有“潜在 MoE”（latent MoE[12]），如 Nemotron 3 Super，将专家计算迁移到更小的潜在空间中。 MoE 堆栈，具有交替的局部和全局注意力 Mistral Large 3[16]：另一个 DeepSeek 风格的 MoE 架构 参考来源 大语言模型架构对比[17] 《从零构建大模型》MoE 章节[
26610编辑于 2026-04-09 - 来自专栏DeepHub IMBA
使用PyTorch实现混合专家(MoE)模型
混合专家(MoE)概念是协作智能的象征，体现了“整体大于部分之和”的说法。MoE模型汇集了各种专家模型的优势，以提供更好的预测。 它是围绕一个门控网络和一组专家网络构建的，每个专家网络都擅长特定任务的不同方面 在本文中，我将使用Pytorch来实现一个MoE模型。在具体代码之前，让我们先简单介绍一下混合专家的体系结构。 MoE架构 MoE由两种类型的网络组成:(1)专家网络和(2)门控网络。 专家网络:专家网络是专有模型，每个模型都经过训练，在数据的一个子集中表现出色。 上图显示了MoE中的处理流程。混合专家模型的优点在于它的简单。通过学习复杂的问题空间以及专家在解决问题时的反应，MoE模型有助于产生比单个专家更好的解决方案。 混合专家模型在许多领域都有应用，包括推荐系统、语言建模和各种复杂的预测任务。有传言称，GPT-4是由多个专家组成的。
2.2K10编辑于 2024-01-10 - 来自专栏贾志刚-OpenCV学堂
YOLO-Master | 混合专家MOE架构的对象检测新王者
其核心创新是一个名为“高效稀疏专家混合模块”的技术，该系统内置不同专长的AI专家，能根据输入图像智能调度专家组合。 具体而言，ES-MoE包含三个关键组成部分： i）动态路由网络，用于生成与实例相关的路由信号； ii）Softmax门控机制，负责选择最相关的专家模型； iii）加权聚合单元，将激活的专家输出融合为优化后的表示 ES-MoE的核心创新在于其分阶段路由策略，如图（右侧面板）所示。训练阶段采用软性Top-K路由机制，通过为所有专家模型分配平滑、可微分的权重（同时突出表现最佳的专家），确保梯度连续性。 高效专家架构：为满足实时检测场景下严格的计算约束，每个专家模块（Expert）采用深度可分离卷积作为核心构建单元，替代传统标准卷积结构。 ，原理解释看这里 大语言与多模态模型架构关键组件-混合专家(MOE)详解 总结：2026年的YOLO已经不是CNN天下，是Transformer跟大模型架构借鉴学习的新生。
17510编辑于 2026-04-02 - 来自专栏贾志刚-OpenCV学堂
大语言与多模态模型架构关键组件-混合专家(MOE)详解
专家混合（MoE）是一种基于Transformers构建的高级架构。其主要理念是通过激活少数称为专家的专业网络，使模型更高效。 每个专家都是一个轻量级前馈神经网络，每次只根据输入选择少数专家。 MoE的两个主要组成部分，即专家和路由器，这些内容在典型的基于LLM架构中应用。 MOE解释 专家混合（MoE）是一种利用多个不同子模型（或称“专家”）来提升大型语言模型质量的技术。 路由器（门网络）会选择最适合特定输入的专家： 专家混合（MoE）都起源于大型语言模型（LLM）相对基础的功能，即前馈神经网络（FFNN）。 请记住，标准的纯解码器变换器架构在层规范化后应用FFNN： 基于MOE之后的解码器块的可视化，它现在会包含更多的FFNN（每个专家一个） 专家选择使用路由器完成，路由器类似于多类分类器。 混合专家的优势 MoE架构代表了LLM模型设计上的重大进步。
49610编辑于 2026-04-02 - 来自专栏AI前沿技术
大模型-混合专家系统MoE介绍
1，MoE原理介绍 MoE模型利用稀疏性特点，加快了大模型训练和推理的速度。 MoE定义 将传统 Transformer 模型中的每个前馈网络(FFN) 层替换为MoE层，就构成了混合专家系统，其中MoE 层由两个核心部分组成：一个门控网络和若干数量的专家系统。 每个专家可以有不同的参数和架构，以适应不同的任务需求。 讲练：其参数与门控网络一同进行训练，通过反向传播，每个专家的参数会不断优化，最小化整体损失函数。 [6,128]每个专家输出 加权聚合 按路由权重从专家输出中提取有效的token，合并为原始形状 [2,5,128] 2，MoE token负载不均衡问题 在混合专家模型训练中，门控网络往往倾向于主要激活相同的几个专家 稀疏混合专家模型适用于拥有多台机器且要求高吞吐量的场景。在固定的预训练计算资源下，稀疏模型往往能够实现更优的效果，相反，在显存较少且吞吐量要求不高的场景，稠密模型则是更合适的选择。
58510编辑于 2026-01-13 - 来自专栏AI前沿技术
大模型｜MoE混合专家系统介绍
大模型的MoE架构日益流行，其利用路由发送特定数量的token到不同的专家，并聚合专家结果，得到同等参数量下相比稠密模型更优的效果，且冗余计算少性能更优。 1, MoE模型架构中路由器和专家系统介绍 2, 专家系统中稀疏性的公式推导和具体的推理流程介绍 3, MoE系统中专家负载不均衡问题的解决方案探讨 1，MoE原理介绍 MoE定义：将传统 Transformer 模型中的每个前馈网络(FFN) 层替换为MoE层，就构成了混合专家系统，其中MoE 层由两个核心部分组成：一个路由门控网络和若干数量的专家系统。 训练过程中，专家系统会逐渐学会处理特定类型的输入，从而提高模型的泛化能力和性能。 图1，混合专家系统MoE示意。 2，MoE token负载不均衡问题 2.1，优化思路和名词介绍 在混合专家模型训练中，门控网络往往倾向于主要激活相同的几个专家，这种情况可能会自我加强，因为受欢迎的专家训练得更快，因此它们更容易被选择
75910编辑于 2026-01-13 - 来自专栏AI前沿技术
大模型｜DeepSeek MoE 混合专家系统介绍
MoE（Mix of Expert）混合专家系统在训练和推理时，相比于稠密模型具有明显的优势，但同样也面临训练不稳定，知识混杂和知识冗余问题。 主要内容包括： 1）经典混合专家系统的定义和两个主要问题 2）deepseek MoE系统的细粒度专家划分和共享专家隔离方案 3）两个优化方案的消融实验和负载均衡方案 1，经典MoE系统 1.1，经典MoE 系统定义 在经典的transformer架构中，每层包含两部分，自注意力和前馈网络。 2，Deepseek MoE 优化方案 图1，deepseek MoE 混合专家系统优化策略 2.1，细粒度专家划分 细粒度专家划分（Fine-Grained Expert Segmentation）为解决知识混杂问题 相比经典MoE架构GShard，DeepSeekMoE专家专业化程度更高、参数效率更优，有模型可以支持单40GB GPU部署，推动大模型发展，降低了应用门槛。 参考：arXiv:2401.06066
71811编辑于 2026-01-13 - 来自专栏DeepHub IMBA
为什么混合专家模型（MoE）如此高效：从架构原理到技术实现全解析
近期大型语言模型的发展呈现出一个重要的架构演进趋势：混合专家（Mixture-of-Experts, MoE）架构在基础模型中的广泛应用。 密集MoE架构 在密集混合专家（Dense MoE）层中，所有标记为{f₁, f₂, …, fₙ}的专家网络在每次前向传播过程中都会被激活，无论输入内容如何。 近年来几种代表性混合专家（MoE）模型的按时间顺序概述。 其卓越性能的关键因素之一是混合专家（MoE）架构的应用。这些模型向公众开放权重，创建者提供了详细的技术说明，使研究人员更容易在其基础上进行后续开发。 由于其架构灵活性，可以在不重新开始的情况下进行更新或扩展。科技公司和开源社区已经开始广泛采用混合专家模型。
4.3K10编辑于 2025-08-20 MoE 混合专家：让模型各展所长的 “智慧联盟”
而 **MoE（Mixture of Experts，混合专家）** 模型则另辟蹊径，它如同一个 “智慧联盟”，将多个 “专家模型” 组合在一起，每个专家专注擅长领域，通过协作来处理复杂任务，让模型性能实现质的飞跃 成手拓展思路 算法优化：研究更高效的门控网络设计，如引入注意力机制，让门控网络更精准地判断数据与专家的匹配程度；探索动态调整专家模型数量和结构的方法，根据数据分布和任务难度自动优化模型架构；尝试结合强化学习训练 跨领域创新应用：将 MoE 模型应用到新兴领域，如医疗诊断（不同专家处理不同疾病的诊断数据）、自动驾驶（针对不同路况和场景训练专家模型）；探索 MoE 模型在多模态数据处理中的应用，融合图像、文本、音频等多种数据类型 创造新的模型架构，推动机器学习领域的技术发展 。 MoE 混合专家模型以其独特的 “分工协作” 理念，为机器学习带来了新的思路和强大的性能提升。无论是新手探索未知领域，还是成手寻求技术突破，MoE 模型都充满了探索价值。
56810编辑于 2025-10-14- 来自专栏时空探索之旅
Time-MoE：混合专家的十亿级时间序列基础模型
/Time-MoE 关键词：时间序列预测，基础模型，混合专家系统 新智元：全球首次！ 新混合专家架构，普林斯顿格里菲斯等机构出品 圆圆的算法笔记：普林斯顿大学提出首个基于MoE的稀疏时序预测大模型，参数量扩展到2.4billion 引言 在当今以数据为驱动的时代，时序预测已成为众多领域不可或缺的核心组成 近日，由来自普林斯顿大学, 松鼠AI，格里菲斯大学等全球多地的华人国际科研团队携手通力合作，创新性地提出了一种基于混合专家架构（Mixture of Experts, MoE）的时间序列基础模型——Time-MoE 关键技术突破： 强大的混合专家架构：Time-MoE采用稀疏激活机制，在预测任务中仅激活部分网络节点，这不仅确保了高预测精度，还显著降低了计算负担，完美解决了时序大模型在推理阶段的计算瓶颈。 此外，模型引入了稀疏激活的混合专家层来取代标准Transformer模块里的FFN。公式化概括如下： 其中Mixture代表混合专家层。
88210编辑于 2024-11-19 - 来自专栏DeepHub IMBA
DeepSpeed-MoE:训练更大及更复杂的混合专家网络
所以论文提出了一个端到端的MoE训练和推理解决方案DeepSpeed-MoE：它包括新颖的MoE架构设计和模型压缩技术，可将MoE模型大小减少3.7倍；通过高度优化的推理系统，减少了7.3倍的延迟和成本 MoE MoE架构使用了类似GPT-3的NLG模型。包括350M/1.3B/6.7B(24/24/32层，1024/2048/4096隐藏尺寸，16/16/32注意头)。 论文对比了两种moe 1、Top2-MoE使用Top2专家将参数提高一倍，2、Residual-MoE固定一个专家，然后并在不同的专家之间改变第二个专家，也就是说将来自MoE模块的专家视为误差校正项（或者叫一个主要专家 并且使用Residual-MoE架构，每个令牌分别传递一个固定的MLP模块和一个选定的专家。 PR-MoE使用更少的参数，但达到与标准moe模型相当的精度。 Mixture of Experts(MoE)是一种模型架构,可以将一个大模型拆分成多个专家(expert)子模型,在训练和预测时对输入采样分发给不同的专家模型。
1.3K20编辑于 2023-08-30 - 来自专栏时空探索之旅
Moirai-MoE: 稀疏混合专家赋能时间序列基础模型
-1 关键词：时间序列预测，基础模型，混合专家系统 圆圆的算法笔记：Salesforce推出Moirai-MoE，新视角设计下一代时序基础模型 时序人：Salesforce 推出 Moirai-MoE， 频率挑战 为了解决上述问题，作者提出了全新的时间序列统一训练解决方案Moirai-MoE，其核心思想是利用单个输入/输出投影层，同时将各种时间序列模式的建模委托给 Transformer层中的稀疏混合专家 通过这些设计，Moirai-MoE的专业化以数据驱动的方式实现，并在token级别运行。 基于稀疏混合专家的时序基础模型 Moirai-MoE构建在它的前序工作Moirai之上。 Transformer中的稀疏混合专家。 稀疏混合专家Transformer 通过用MoE层替换Transformer的每个FFN来建立专家混合层。该MoE层由个专家网络和一个门控函数组成。
69900编辑于 2024-11-19 - 来自专栏机器之心
手把手教你，从零开始实现一个稀疏混合专家架构语言模型（MoE）
选自huggingface 机器之心编译 机器之心编辑部 本文介绍了实现一个稀疏混合专家语言模型（MoE）的方法，详细解释了模型的实施过程，包括采用稀疏混合专家取代传统的前馈神经网络，实现 top-k 内容简介 在混合专家模型 Mixtral 发布后，混合专家模型（MoE）越来越受到人们的关注。在稀疏化的混合专家语言模型中，大部分组件都与传统的 transformers 相同。 本文在 makemore 架构的基础上，进行了几处更改： 使用稀疏混合专家代替单独的前馈神经网络； Top-k 门控和有噪声的 Top-k 门控； 参数初始化使用了 Kaiming He 初始化方法，但本文的重点是可以对初始化方法进行自定义 值得注意的是，稀疏混合专家模型并不局限于仅有解码器的 Transformer 架构。 即一个简单的多层感知器 在稀疏混合专家架构中，每个 transformer 区块内的自注意力机制保持不变。
2.7K11编辑于 2024-02-26 《深度揭秘：利用Hugging Face Transformer库打造独特混合专家（MoE）模型》
混合专家（MoE）模型作为一种创新架构，正悄然改变着大语言模型的格局，它打破传统单一模型的局限，融合多个专家模型的智慧，宛如召集了一群各有所长的智者，共同应对复杂多变的语言任务，让模型的表现更加卓越。 接下来带大家探寻如何利用Hugging Face Transformer库自定义一个独树一帜的混合专家模型。MoE模型，其设计理念独辟蹊径，核心在于突破传统模型的单一架构束缚 。 随着技术的不断进步和应用场景的不断拓展，混合专家（MoE）模型展现出了无限的潜力。在未来，MoE模型有望在更多领域发挥重要作用，推动自然语言处理技术迈向新的高度。 相信在不久的将来，混合专家模型将成为自然语言处理领域的主流技术之一，为我们的生活和工作带来更多的便利和惊喜 。 通过以上对利用Hugging Face Transformer库自定义混合专家（MoE）模型的深入探讨，我们不仅了解了MoE模型的原理和优势，还掌握了构建和应用MoE模型的关键技术和方法。
27100编辑于 2025-06-02- 来自专栏计算机技术-参与活动
MOE怎样划分不同专家
\MOE怎样划分不同专家@[TOC](目录)MOE划分不同专家以及LLM模型拆分的方法及举例如下：### MOE划分不同专家的方法ffn前馈神经网络- **独立神经元划分**： - **随机划分* 例如在LLaMA-MoE模型的构建中，采用**非重叠随机拆分法**，将FFN层中的中间神经元均匀分割成**多个子集，每个子集对应一个专家网络**。 **，而其余神经元则分配给特定的专家。 **多头拆分法**：对于采用Transformer架构并包含多个注意力头的大型语言模型，将其按照注意力头进行拆分，每个设备负责训练模型的一个或多个注意力头。 **MOE专家划分的简单实现思路（以随机划分神经元为例）** - 假设我们有一个简单的前馈神经网络（FFN）层，其权重矩阵形状为`(input_size, output_size)`。
55921编辑于 2025-01-06 - 来自专栏量子位
混合专家系统里根本没专家？开源MoE模型论文引网友热议
克雷西 发自 凹非寺 量子位 | 公众号 QbitAI 红极一时的开源MoE模型Mixtral，论文终于新鲜出炉！ 而在大多数人的印象中，Mixtral里的8个专家，是分别负责处理不同领域的话题的…… 论文的结论曝光后，不少网友开始认为“专家混合”这个说法，可能不那么贴切了： 于是，针对Mixtral真实的工作机制， 但也有网友表示了不同意见： 这个问题并不根属于MoE，因为自己之前见过的MoE模型中，是发现了真·专家分工的现象的。 那么，这究竟是怎么一回事呢？ 实验未发现专家按领域分布 在训练过程中，作者观察了Mixtral中是否有一些专家会针对某些特定领域进行专门化。 此外，定量的分析结果还发现了另一个专家分配规律——相邻的token有很大概率被分配给同一专家。 作者比较了模型针对相邻token选择相同专家的概率，包括第一选择一致率和第一二选择一致率。
36310编辑于 2024-01-11
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号