- 综合排序
- 最热优先
- 最新优先
- 来自专栏人工智能
DeepSeek v3 的 MoE 模型架构与激活参数解析
在人工智能和深度学习的研究中，模型的规模和架构决定了它的能力与潜力。 本文将深入探讨 DeepSeek v3 这一模型的独特之处——其被描述为一个拥有 671B 参数的 MoE（Mixture of Experts）模型，其中 37B 参数在推理过程中被激活。 它是一种特殊的神经网络架构，通过引入多个专家网络（sub-models），仅在需要时激活其中的部分专家来参与计算，从而显著提升模型的计算效率。 传统的神经网络架构可能会利用全部参数来完成每一步翻译。而在 MoE 模型中，系统会智能地选择最适合的专家模块来处理特定任务。 实例分析：假设 DeepSeek v3 包含 10 个专家模块，每个模块有 67.1B 参数。
3.5K11编辑于 2025-01-12 - 来自专栏AI SPPECH
45_混合专家模型：MoE架构详解
本文将深入剖析MoE架构的技术原理，重点推导路由机制的数学基础和稀疏激活的优化方法，同时结合2025年最新的MoE模型实现（如华为盘古Ultra和DeepSeek V3），全面展示这一革命性架构在大语言模型领域的应用与突破 │ ├── 5.1 华为盘古Ultra MoE │ ├── 5.2 DeepSeek V3架构解析 │ └── 5.3 其他主流MoE模型比较 ├── 第六章：MoE模型的工程实现挑战 │ 这使得DeepSeek V3的MLA显存占用仅为传统架构的5%-13%。 5.2 DeepSeek V3架构解析 DeepSeek V3是2025年备受关注的开源MoE模型，其"低成本高效能"的特点引发了广泛讨论。 2025年，以华为盘古Ultra和DeepSeek V3为代表的MoE模型在参数规模、训练效率和推理性能等方面取得了突破性进展，充分验证了这一架构的巨大潜力。
1.6K10编辑于 2025-11-12 DeepSeek技术架构解析：MoE混合专家模型
混合专家架构(MoE)的突破性价值体现在其独特的计算效率优势——该架构通过动态激活专家模块的机制，可在大幅降低算力消耗的同时完成高质量预训练。 混合专家模型(MoE)本质上是一种改进版的Transformer架构，其核心创新点在于引入动态计算的模块化结构，具体可通过以下维度理解： 稀疏 MoE 层：不同于传统Transformer中每个前馈网络 (FFN)层采用固定结构的密集计算方式，MoE通过拆分-重组架构实现计算稀疏化。 3.3.3 阶段3：开放生态（2023至今） 开源引爆点：Mistral AI的Mixtral 8x7B（2023.12）首次在消费级GPU集群证明MoE的高性价比 多模态融合：Google的V-MoE 从DeepSeek V3的技术报告中看到的架构图中，MoE中的门控网络对应的是DeepSeekMoE的Router模块，也可以得知DeepSeek是采用的带噪声的TopK门控网络。
1.7K20编辑于 2025-11-20-DeepSeek技术解析：MoE架构实现与代码实战
以下是一篇结合DeepSeek技术解析与代码示例的技术文章，重点展示其核心算法实现与落地应用：DeepSeek技术解析：MoE架构实现与代码实战作为中国AI领域的创新代表，DeepSeek在混合专家模型 （Mixture of Experts, MoE）领域取得重要突破。 DeepSeek的 「专家位置感知调度」 算法通过：预分析计算图，将高频共现的专家分配到同物理设备采用RDMA网络传输协议，降低跨节点通信延迟一、MoE架构设计原理DeepSeek的稀疏化MoE架构通过动态路由机制 idx_mask] += expert_out * weight return output代码解析：动态路由机制：通过门控网络选择top_k专家，计算效率较稠密网络提升3倍稀疏激活 其MoE架构在保持模型性能的同时，通过动态路由、稀疏计算等技术突破了大模型落地的算力瓶颈，为行业智能化转型提供了可复用的技术范式。未来应用deepseek将更加广泛
1.5K10编辑于 2025-03-15- 来自专栏深度学习自然语言处理
陈丹琦团队提出最新MoE架构Lory
SMEAR: 之前的研究提出了一种完全可微分的 MoE 架构 SMEAR，它在参数空间中软合并专家，但只在分类任务的微调中展示了有效性。 Lory: 本文提出的 Lory 是首个将此类完全可微分的 MoE 架构扩展到自回归语言模型预训练的方法。 引言 (Introduction) MoE 架构: 介绍了 MoE 架构及其在模型大小扩展中的作用，同时指出了训练路由网络的挑战。 通过专家合并的完全可微分 MoE 架构: 讨论了如何通过在参数空间中计算所有专家 FFN 的加权平均值来创建“合并 FFN”，从而实现 MoE 架构的完全可微分性。 计算开销: 分析了 MoE 层与密集层相比的计算开销。 数据批处理细节: 描述了相似性基础数据批处理的具体实现方法。 模型配置: 列出了实验中使用的模型架构和大小。
79610编辑于 2024-05-11 - 来自专栏IT技术订阅
DeepSeek MoE：混合专家架构的创新与突破
近年来，混合专家（Mixture of Experts，简称MoE）架构逐渐成为研究的热点。DeepSeek作为一家在人工智能领域崭露头角的公司，其推出的DeepSeek MoE架构引发了广泛关注。 本文将深入探讨DeepSeek MoE架构的创新之处及其在性能和效率上的突破。 MoE架构的历史与背景 MoE架构最早可以追溯到1991年，最初被应用于贝叶斯网络中的专家组合。 DeepSeek MoE架构的创新 尽管MoE架构在理论上具有显著的优势，但在实际应用中，如何实现高效的专家分配和负载均衡仍然是一个关键问题。 DeepSeek在2024年1月推出的DeepSeek MoE架构，通过一系列创新设计，解决了传统MoE架构中的痛点。 细粒度专家分割 DeepSeek MoE架构的一个重要创新是细粒度专家分割。 DeepSeek MoE的性能提升 DeepSeek MoE架构的创新设计，使其在性能和效率上取得了显著的突破。
1.3K10编辑于 2025-02-05 《DeepSeek MoE架构下，动态专家路由优化全解析》
在人工智能飞速发展的当下，模型架构的创新与优化始终是推动技术进步的关键力量。DeepSeek的混合专家模型（MoE）架构，以其独特的设计理念和卓越的性能表现，在大模型领域崭露头角。 MoE架构：专家协同的智慧矩阵MoE架构的设计灵感，源于对人类分工协作模式的深刻洞察。想象一个庞大的科研项目，不同领域的专家凭借各自专长，共同攻克难题。 MoE架构亦是如此，它由多个专门处理特定子任务的“专家”模型组成，宛如一个专家智囊团。每个专家都经过精心“训练”，在其擅长的领域内表现出色。 动态专家路由：模型高效运转的引擎动态专家路由，是MoE架构实现高效性的关键机制，也是优化的重点所在。 3. 减少通信开销：在分布式训练环境下，专家可能分布在不同的计算节点上，数据在节点间传输会带来通信开销。优化通信策略是动态专家路由优化的重要环节。
60810编辑于 2025-03-07- 来自专栏活动
DeepSeek混合专家系统（MoE）架构深度解析
DeepSeek作为基于MoE架构的先进系统，在处理复杂任务时展现出了卓越的性能和灵活性，为人工智能技术的发展和应用开辟了新的道路。 这一阶段的探索为MoE架构的形成奠定了基础。 （二）技术成型阶段 随着深度学习技术的快速发展，研究者们将深度神经网络与MoE架构相结合，形成了更强大的混合专家模型。 （三）应用拓展阶段 DeepSeek等基于MoE架构的系统开始在众多实际应用中得到广泛部署和测试。在自然语言处理、计算机视觉、语音识别等领域，MoE架构展现出了其在处理复杂任务时的优势。 核心架构设计 GLaM 模型架构。每个 MoE 层（底部块）都与一个 Transformer 层（上层块）交错。 模型基于 DeepSeek-V3，采用多头潜在注意力（MLA）和 DeepSeekMoE 架构，训练数据包括 14.8 万亿高质多样化令牌，训练过程稳定，无不可恢复的损失峰值，仅需 278.8 万 H800
3.4K00编辑于 2025-03-18 LLM架构进化管窥：从管道-过滤器到MoE
一、从媒体播放器 看 管道-过滤器架构模式当你打开一首MP3歌曲或一部MP4视频时，播放器其实在悄悄执行一系列“流水线作业”：首先通过“解码过滤器”把压缩的音频/视频数据还原，再通过“格式转换过滤器”调整适配设备的播放参数 三、Chat-GPT早期版本架构解读以GPT-3（175B完整版）为例，它的模型维度（隐藏层向量）是12288维，在每一层的“多头注意力过滤器”中，会固定拆分成96个“注意力头”，每个头的维度正好是128 四、GPT-4及后续版本的MoE架构GPT-4及后续很多LLM都采用了MoE架构（混合专家模型），可看作是管道-过滤器架构的升级版。 MoE架构的创新是把“前馈网络过滤器”升级成了“多个专家过滤器+一个门控过滤器”的组合。核心思路是“仅按需load和run专家模块”，而早期Chat-GPT是“全量加载与运行”。 这种架构升级，也让LLM的能力实现了质的飞跃。五、MoE架构的意义一是效率高了，对硬件的要求低了。二是能力更全面。能同时适配更多类型的语言任务，比如既能做逻辑推理，又能写文案、编代码。三是扩展性更强。
48521编辑于 2025-12-30- 来自专栏算法一只狗
MoE(Mixture-of-Experts)大模型架构的优势是什么？
MOE这个架构就是可以很好的省钱~就拿最新发布的deepseek-V3开源模型来说，它里面就用到了MOE架构。 在其MOE架构中，引入了路由专家 (Routed Experts) 和共享专家 (Shared Experts) 。主要是用来激活那些参数需要被更新。路由专家中主要是用来选择参数进行激活。 那么最后，他们基于这个架构，训练成本大幅下降。DeepSeek V3的训练总共才用了不到280万个GPU小时，而Llama 3 405B却用了3080万GPU小时。 用训练一个模型所花费的钱来说，训练一个DeepSeek V3只需要花费557.6万美元，相比之下，一个简单的7B Llama 3模型则需要花费76万美元。 它内在的MOE架构，确实让人看到了更多遐想的空间。说不定以后大模型的训练也不一定要这么费钱，也能做出很好的效果出来
1.2K20编辑于 2025-01-01 《Google Gemini 1.5 Pro：MoE架构如何重塑AI性能与效率》
尤其是其采用的混合专家系统（MoE）架构扩展，为模型性能与推理效率带来了革命性的提升，在AI领域掀起了一阵讨论热潮。 比如在处理文本时，如果是医学相关的内容，MoE架构会快速调配擅长医学知识理解的专家神经网络；若是科技类文本，对应的科技领域专家神经网络就会被激活。 在传统的模型架构中，无论输入任务的难易程度，整个模型都需要参与计算，这无疑是对计算资源的一种浪费。而MoE架构就像一个精明的资源管理者，根据任务需求动态分配计算资源。 由于MoE架构能够快速定位到最适合处理任务的专家神经网络，避免了传统模型在大量参数中进行无差别搜索的过程，从而显著提升了推理速度。 随着技术的不断进步和优化，MoE架构有望在更多领域得到应用和推广。
51610编辑于 2025-04-22- 来自专栏大模型系列
万亿参数震撼发布：DeepSeek V4 MoE架构深度解析
1.6万亿的总参数池承载了海量知识，而每次推理仅激活约3%的专家，使得其在拥有顶尖性能的同时，推理成本和延迟被控制在极低水平。 三、核心技术深度拆解3.1MoE（混合专家）架构：万亿参数的基石MoE是实现超大规模模型的关键技术。 V4-Flash：作为轻量化版本，同样采用MoE架构，但总参数和专家数量更少，激活参数仅为13B，专为高频、低成本场景设计。优势：知识容量：庞大的总参数量意味着模型可以编码更广泛的世界知识。 MoE架构的工程挑战与DeepSeek的解决方案尽管MoE概念简单，但在工程实践中面临巨大挑战：负载均衡：如何确保所有专家都被公平地使用，避免部分专家“过载”而其他专家“闲置”？ 研究发现，MoE与Engram之间存在一条“U形scalinglaw”，意味着未来需要在计算与静态记忆之间找到最优资源配比。这个思路可能成为稀疏架构的下一条主流路线。
40830编辑于 2026-05-14 某机构Blackwell架构下MoE模型推理性能飞跃
这个大规模纵向扩展域针对基于稀疏MoE架构的模型进行了优化，这类模型需要频繁地在专家之间交换数据以生成令牌。 Blackwell架构还集成了对NVFP4数据格式的硬件加速，这是一种某机构设计的4位浮点格式，与其他FP4格式相比能更好地保持精度。 这些架构创新使某机构GB200 NVL72能够在最新的开放模型上提供行业领先的性能，包括DeepSeek-R1——一个拥有6710亿参数的稀疏MoE模型，每个令牌激活370亿个参数。 其PyTorch原生架构允许开发者试验运行时或扩展功能。这些优化现已包含在最新版本的TensorRT-LLM中。 图3： HGX B200上，使用1K/1K序列长度和聚合服务，FP8（无MTP）、FP8（有MTP）和NVFP4（有MTP）的吞吐量与交互性曲线对比。
13610编辑于 2026-05-02- 来自专栏贾志刚-OpenCV学堂
YOLO-Master | 混合专家MOE架构的对象检测新王者
该系统架构还可扩展至图像分类与实例分割任务，在ImageNet数据集上达到了76.6%的Top-1准确率。 高效专家架构：为满足实时检测场景下严格的计算约束，每个专家模块（Expert）采用深度可分离卷积作为核心构建单元，替代传统标准卷积结构。 消融实验数据 ES-MoE消融证明 论文 https://arxiv.org/pdf/2512.23273 代码库 https://github.com/isLinXu/YOLO-Master 什么MoE ，原理解释看这里 大语言与多模态模型架构关键组件-混合专家(MOE)详解 总结：2026年的YOLO已经不是CNN天下，是Transformer跟大模型架构借鉴学习的新生。 2026掌握Transformer与视觉语言模型开发技能，一秒理解MoE的本质
23410编辑于 2026-04-02 - 来自专栏AI SPPECH
13：MoE架构如何让你的Agentic系统成本降低50%？
MoE架构概述 1.1 什么是MoE架构 1.2 MoE架构的核心组件 1.3 MoE架构的优势 2. MoE架构的工作原理 2.1 门控机制 2.2 专家选择策略 2.3 专家设计 2.4 完整的MoE模型 3. MoE架构在Agentic系统中的应用 3.1 Agentic系统的计算挑战 3.2 MoE架构的优势 3.3 架构设计 4. 模型推理 output = self.moe_model(input_tensor) # 3. MoE架构的效果 持续优化：根据实际使用情况不断优化MoE架构 生态参与：积极参与MoE相关的开源项目和社区 战略规划：将MoE架构纳入长期技术战略 总结：MoE架构通过创新的专家分工和门控机制，为Agentic
23710编辑于 2026-04-03 - 来自专栏快乐阿超
trace.moe
——太宰治《人间失格》 trace.moe：通过截图识别番剧的开源神器 trace.moe 是一个开源的番剧识别服务，通过上传任意一帧截图，即可快速识别出该画面来自哪一部动画、哪一集，甚至精确到具体的时间点 一、项目简介 trace.moe 由 @soruly 开发，提供完整的后端识别引擎、Web API 接口以及前端页面，支持本地部署和线上使用。 该项目已部署于 https://trace.moe，开放免费使用，也支持自行搭建私有服务。 二、核心功能 以图搜番：通过上传图片识别动画出处，返回标题、集数、时间戳、相似度等。 四、本地部署方式 trace.moe 提供 Docker 支持，可快速本地部署： git clone https://github.com/soruly/trace.moe.git cd trace.moe 八、结语 trace.moe 是“以图识番”领域的代表项目，简单高效、开放易用。无论是动漫站点、二次元工具、Bot 开发者，还是普通动画爱好者，都能从中获益。
7K10编辑于 2025-04-05 - 来自专栏机器之心
谷歌Gemini1.5火速上线：MoE架构，100万上下文
Gemini 1.5 建立在谷歌基础模型开发和基础设施的研究与工程创新的基础上，包括通过新的专家混合 (MoE) 架构使 Gemini 1.5 的训练和服务更加高效。 领先基础模型的上下文长度 高效架构 Gemini 1.5 建立在谷歌对 Transformer 和 MoE 架构的领先研究之上。 传统 Transformer 充当一个大型神经网络，而 MoE 模型则分为更小的 “专家” 神经网络。 根据给定输入的类型，MoE 模型学会选择性地仅激活其神经网络中最相关的专家路径。 通过稀疏门控 MoE、GShard-Transformer、Switch-Transformer、M4 等研究，Google 一直是深度学习 MoE 技术的早期采用者和先驱。 谷歌在模型架构方面的最新创新使 Gemini 1.5 能够更快地学习复杂任务并保持质量，同时更高效地训练和服务。
64810编辑于 2024-02-26 - 来自专栏贾志刚-OpenCV学堂
大语言与多模态模型架构关键组件-混合专家(MOE)详解
在查看最新发布的大型语言模型（LLM）时，你经常会在标题中看到“MoE”。这个“MoE”代表什么？为什么这么多大型语言模型在使用它？ 专家混合（MoE）是一种基于Transformers构建的高级架构。其主要理念是通过激活少数称为专家的专业网络，使模型更高效。 每个专家都是一个轻量级前馈神经网络，每次只根据输入选择少数专家。 MoE的两个主要组成部分，即专家和路由器，这些内容在典型的基于LLM架构中应用。 MOE解释 专家混合（MoE）是一种利用多个不同子模型（或称“专家”）来提升大型语言模型质量的技术。 请记住，标准的纯解码器变换器架构在层规范化后应用FFNN： 基于MOE之后的解码器块的可视化，它现在会包含更多的FFNN（每个专家一个） 专家选择使用路由器完成，路由器类似于多类分类器。 混合专家的优势 MoE架构代表了LLM模型设计上的重大进步。
61310编辑于 2026-04-02 - 来自专栏DeepHub IMBA
MoR vs MoE架构对比：更少参数、更快推理的大模型新选择
本文将深入分析递归混合（MoR）与专家混合（MoE）两种架构在大语言模型中的技术特性差异，探讨各自的适用场景和实现机制，并从架构设计、参数效率、推理性能等多个维度进行全面对比。 MoE架构并非即插即用的解决方案，需要针对特定硬件环境进行深度优化。 递归混合架构有效避免了上述复杂性问题。 部署MoR架构无需超算集群支持。 从推理延迟角度分析，MoR架构明显优于MoE架构。 训练稳定性与收敛特性 专家混合架构在训练过程中容易出现专家崩溃现象，这是该架构面临的主要技术挑战之一。 该架构并非即插即用解决方案，大多数开源深度学习框架无法提供开箱即用的大规模MoE支持。对于拥有顶级基础设施的科技公司，MoE架构展现出良好的性能表现。 该架构在模型微调、少样本学习以及边缘计算或消费级硬件部署方面具有明显优势。此外，MoR架构具备良好的缩放特性，这是MoE架构的薄弱环节。
57610编辑于 2025-08-20 - 来自专栏存内计算加速大模型
国产五大模型之一MiniMax 使用国内首个MOE架构
MoE 架构允许模型在处理复杂任务时拥有更大的参数量，同时保持较高的计算效率。 在各类核心能力测试中，abab 6.5开始接近 GPT-4、 Claude-3、 Gemini-1.5 等世界上最领先的大语言模型。 MoE架构由于训练和部署大型模型造成的庞大开销，研究人员一直致力于探索使用混合专家（MoE）架构来提高大型模型的效率。 第三阶段：调整Uni-MoE。最后阶段涉及将第二阶段中调整过的专家权重集成到MoE层中。然后，我们继续使用混合多模态指令数据共同微调MLLM。训练进程的进展，如损失曲线所示，反映在图3中。 本次训练通过集成混合专家【MoE】架构来扩展大型多模态模型的能力，通过新的三阶段的训练方式，专门用于提高uni-moe在多模态训练中的稳定性能和泛化性能，优于配备相同配置的传统MoE架构。
3.5K10编辑于 2024-05-21
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号