- 综合排序
- 最热优先
- 最新优先
- 来自专栏大模型系列
万亿参数震撼发布：DeepSeek V4 MoE架构深度解析
)2840亿(284B)激活参数量490亿(49B)130亿(13B)激活比例~3.06%~4.58%上下文长度原生支持1,000,000Token原生支持1,000,000Token核心架构MoE+Engram 三、核心技术深度拆解3.1MoE（混合专家）架构：万亿参数的基石MoE是实现超大规模模型的关键技术。 V4-Flash：作为轻量化版本，同样采用MoE架构，但总参数和专家数量更少，激活参数仅为13B，专为高频、低成本场景设计。优势：知识容量：庞大的总参数量意味着模型可以编码更广泛的世界知识。 MoE架构的工程挑战与DeepSeek的解决方案尽管MoE概念简单，但在工程实践中面临巨大挑战：负载均衡：如何确保所有专家都被公平地使用，避免部分专家“过载”而其他专家“闲置”？ 研究发现，MoE与Engram之间存在一条“U形scalinglaw”，意味着未来需要在计算与静态记忆之间找到最优资源配比。这个思路可能成为稀疏架构的下一条主流路线。
40830编辑于 2026-05-14 - 来自专栏AI SPPECH
45_混合专家模型：MoE架构详解
本文将深入剖析MoE架构的技术原理，重点推导路由机制的数学基础和稀疏激活的优化方法，同时结合2025年最新的MoE模型实现（如华为盘古Ultra和DeepSeek V3），全面展示这一革命性架构在大语言模型领域的应用与突破 目录 目录 ├── 引言：从密集到稀疏的模型架构革命 ├── 第一章：MoE架构基础原理 │ ├── 1.1 密集模型的局限性 │ ├── 1.2 MoE的核心组成：专家与门控 │ └── ）架构，在预训练和后训练阶段都使用了Dropless训练策略，实现了超大规模MoE架构在模型效果与效率之间的最佳平衡。 input_dim=1024, output_dim=1024, num_experts=64, hidden_dim=4096, top_k=4 DistributedMoETrainer(model) # 定义优化器 optimizer = torch.optim.AdamW(model.parameters(), lr=1e-4)
1.6K10编辑于 2025-11-12 DeepSeek技术架构解析：MoE混合专家模型
一、前言 2025年初，DeepSeek V3以557万美元的研发成本（仅为GPT-4的1/14）和开源模型第一的排名，在全球AI领域掀起波澜。 混合专家架构(MoE)的突破性价值体现在其独特的计算效率优势——该架构通过动态激活专家模块的机制，可在大幅降低算力消耗的同时完成高质量预训练。 混合专家模型(MoE)本质上是一种改进版的Transformer架构，其核心创新点在于引入动态计算的模块化结构，具体可通过以下维度理解： 稀疏 MoE 层：不同于传统Transformer中每个前馈网络 (FFN)层采用固定结构的密集计算方式，MoE通过拆分-重组架构实现计算稀疏化。 6.4 创新设计要点 分层路由机制 通过分组粗筛降维（例如从64专家到4组），减少了全局排序的计算代价。
1.7K20编辑于 2025-11-20- 来自专栏ceshiren0001
DeepSeek 深夜发布 Engram：比 MoE 更节能的突破，V4 架构初露端倪
Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models一句话概括：这是一次试图把「记忆」从神经网络里拆出来的架构实验 而不少开发者已经开始猜测——这可能不是一篇“孤立论文”，而是 DeepSeek 下一代模型（V4）的重要技术预告。一、一个长期被忽视的问题：大模型到底在“算什么”？ MoE 解决了什么？ 它解决的是：参数规模 ≠ 计算量必须线性增长但 DeepSeek 的观察更进一步：即便在 MoE 中，用“专家网络”去记忆固定模式，仍然是一种浪费。于是 Engram 出现了。 可以这样理解：模块在干什么Engram快速回忆“我以前见过什么”MoE / Transformer认真思考“现在该怎么推理”在架构上，Engram 被放在较早的层级，用于模式重构与事实补全； 而深层网络 但 DeepSeek 做的，是把它们重新放回现代 LLM 架构的正确位置。五、V4 会用吗？没人官宣，但信号已经很明显DeepSeek 并没有说 Engram 会直接进入 V4。
54110编辑于 2026-01-15 -DeepSeek技术解析：MoE架构实现与代码实战
以下是一篇结合DeepSeek技术解析与代码示例的技术文章，重点展示其核心算法实现与落地应用：DeepSeek技术解析：MoE架构实现与代码实战作为中国AI领域的创新代表，DeepSeek在混合专家模型 DeepSeek的 「专家位置感知调度」 算法通过：预分析计算图，将高频共现的专家分配到同物理设备采用RDMA网络传输协议，降低跨节点通信延迟一、MoE架构设计原理DeepSeek的稀疏化MoE架构通过动态路由机制 ) self.experts = nn.ModuleList([ nn.Sequential( nn.Linear(dim, dim*4) , nn.GELU(), nn.Linear(dim*4, dim) ) for _ in range(num_experts 其MoE架构在保持模型性能的同时，通过动态路由、稀疏计算等技术突破了大模型落地的算力瓶颈，为行业智能化转型提供了可复用的技术范式。未来应用deepseek将更加广泛
1.5K10编辑于 2025-03-15- 来自专栏深度学习自然语言处理
陈丹琦团队提出最新MoE架构Lory
SMEAR: 之前的研究提出了一种完全可微分的 MoE 架构 SMEAR，它在参数空间中软合并专家，但只在分类任务的微调中展示了有效性。 Lory: 本文提出的 Lory 是首个将此类完全可微分的 MoE 架构扩展到自回归语言模型预训练的方法。 引言 (Introduction) MoE 架构: 介绍了 MoE 架构及其在模型大小扩展中的作用，同时指出了训练路由网络的挑战。 通过专家合并的完全可微分 MoE 架构: 讨论了如何通过在参数空间中计算所有专家 FFN 的加权平均值来创建“合并 FFN”，从而实现 MoE 架构的完全可微分性。 计算开销: 分析了 MoE 层与密集层相比的计算开销。 数据批处理细节: 描述了相似性基础数据批处理的具体实现方法。 模型配置: 列出了实验中使用的模型架构和大小。
79610编辑于 2024-05-11 - 来自专栏IT技术订阅
DeepSeek MoE：混合专家架构的创新与突破
近年来，混合专家（Mixture of Experts，简称MoE）架构逐渐成为研究的热点。DeepSeek作为一家在人工智能领域崭露头角的公司，其推出的DeepSeek MoE架构引发了广泛关注。 本文将深入探讨DeepSeek MoE架构的创新之处及其在性能和效率上的突破。 MoE架构的历史与背景 MoE架构最早可以追溯到1991年，最初被应用于贝叶斯网络中的专家组合。 DeepSeek MoE架构的创新 尽管MoE架构在理论上具有显著的优势，但在实际应用中，如何实现高效的专家分配和负载均衡仍然是一个关键问题。 DeepSeek在2024年1月推出的DeepSeek MoE架构，通过一系列创新设计，解决了传统MoE架构中的痛点。 细粒度专家分割 DeepSeek MoE架构的一个重要创新是细粒度专家分割。 DeepSeek MoE的性能提升 DeepSeek MoE架构的创新设计，使其在性能和效率上取得了显著的突破。
1.3K10编辑于 2025-02-05 - 来自专栏新智元
深度揭秘爆火MoE！GPT-4关键架构，成开源模型逆袭杀手锏
而在之前对于GPT-4结构的曝料中，大部分的信息也指向GPT-4很可能是由8个或者是16个MoE构成。 为什么MoE能成为高性能大模型的必选项？ 简单来说，MoE是一种神经网络架构设计，在Transformer模块中集成了专家/模型层。 当数据流经MoE层时，每个输入token都会动态路由到专家子模型进行处理。 MoE作为一种神经网络架构设计，可以集成进Transformer的结构中。 曾在英伟达实习的新加坡国立大学博士生Fuzhao Xue表示，他们的团队在4个月前也开源了一个80亿参数的MoE模型。 - OpenMoE模型基于「ST-MoE」，但采用了decoder-only架构。
1.3K10编辑于 2023-12-12 《DeepSeek MoE架构下，动态专家路由优化全解析》
在人工智能飞速发展的当下，模型架构的创新与优化始终是推动技术进步的关键力量。DeepSeek的混合专家模型（MoE）架构，以其独特的设计理念和卓越的性能表现，在大模型领域崭露头角。 MoE架构：专家协同的智慧矩阵MoE架构的设计灵感，源于对人类分工协作模式的深刻洞察。想象一个庞大的科研项目，不同领域的专家凭借各自专长，共同攻克难题。 MoE架构亦是如此，它由多个专门处理特定子任务的“专家”模型组成，宛如一个专家智囊团。每个专家都经过精心“训练”，在其擅长的领域内表现出色。 动态专家路由：模型高效运转的引擎动态专家路由，是MoE架构实现高效性的关键机制，也是优化的重点所在。 优化带来的变革与展望通过动态专家路由优化，DeepSeek的MoE架构在多个方面实现了质的飞跃。在计算资源利用上，效率大幅提升，使得模型能够在有限的硬件条件下处理更复杂的任务。
60810编辑于 2025-03-07- 来自专栏活动
DeepSeek混合专家系统（MoE）架构深度解析
DeepSeek作为基于MoE架构的先进系统，在处理复杂任务时展现出了卓越的性能和灵活性，为人工智能技术的发展和应用开辟了新的道路。 这一阶段的探索为MoE架构的形成奠定了基础。 （二）技术成型阶段 随着深度学习技术的快速发展，研究者们将深度神经网络与MoE架构相结合，形成了更强大的混合专家模型。 （三）应用拓展阶段 DeepSeek等基于MoE架构的系统开始在众多实际应用中得到广泛部署和测试。在自然语言处理、计算机视觉、语音识别等领域，MoE架构展现出了其在处理复杂任务时的优势。 nn.Linear(4*dim, dim) ) # 参数量: 1024*(4096+1024)=5.2M/layer # DeepSeek MoE对比 class MoEModel( 核心架构设计 GLaM 模型架构。每个 MoE 层（底部块）都与一个 Transformer 层（上层块）交错。
3.4K00编辑于 2025-03-18 LLM架构进化管窥：从管道-过滤器到MoE
一、从媒体播放器 看 管道-过滤器架构模式当你打开一首MP3歌曲或一部MP4视频时，播放器其实在悄悄执行一系列“流水线作业”：首先通过“解码过滤器”把压缩的音频/视频数据还原，再通过“格式转换过滤器”调整适配设备的播放参数 四、GPT-4及后续版本的MoE架构GPT-4及后续很多LLM都采用了MoE架构（混合专家模型），可看作是管道-过滤器架构的升级版。 MoE架构的创新是把“前馈网络过滤器”升级成了“多个专家过滤器+一个门控过滤器”的组合。核心思路是“仅按需load和run专家模块”，而早期Chat-GPT是“全量加载与运行”。 从管道-过滤器的角度看，MoE架构并没有抛弃原有核心逻辑，而是在“过滤器设计”上做了优化：把单一的“前馈网络过滤器”拆分成多个专用“专家过滤器”，并新增“门控过滤器”优化数据流转路径，让整个管道的处理更精准 这种架构升级，也让LLM的能力实现了质的飞跃。五、MoE架构的意义一是效率高了，对硬件的要求低了。二是能力更全面。能同时适配更多类型的语言任务，比如既能做逻辑推理，又能写文案、编代码。三是扩展性更强。
48521编辑于 2025-12-30- 来自专栏算法一只狗
MoE(Mixture-of-Experts)大模型架构的优势是什么？
MOE这个架构就是可以很好的省钱~就拿最新发布的deepseek-V3开源模型来说，它里面就用到了MOE架构。 在其MOE架构中，引入了路由专家 (Routed Experts) 和共享专家 (Shared Experts) 。主要是用来激活那些参数需要被更新。路由专家中主要是用来选择参数进行激活。 我们这里对比一下目前国外几个前沿大模型的价格，GPT-4每百万输入tokens，高达30$，而Claude3 Opus每百万输出tokens也要15$。 其他像GPT-4o、Claude3.5等模型，价格都比较昂贵。 它内在的MOE架构，确实让人看到了更多遐想的空间。说不定以后大模型的训练也不一定要这么费钱，也能做出很好的效果出来
1.2K20编辑于 2025-01-01 《Google Gemini 1.5 Pro：MoE架构如何重塑AI性能与效率》
尤其是其采用的混合专家系统（MoE）架构扩展，为模型性能与推理效率带来了革命性的提升，在AI领域掀起了一阵讨论热潮。 比如在处理文本时，如果是医学相关的内容，MoE架构会快速调配擅长医学知识理解的专家神经网络；若是科技类文本，对应的科技领域专家神经网络就会被激活。 在传统的模型架构中，无论输入任务的难易程度，整个模型都需要参与计算，这无疑是对计算资源的一种浪费。而MoE架构就像一个精明的资源管理者，根据任务需求动态分配计算资源。 由于MoE架构能够快速定位到最适合处理任务的专家神经网络，避免了传统模型在大量参数中进行无差别搜索的过程，从而显著提升了推理速度。 随着技术的不断进步和优化，MoE架构有望在更多领域得到应用和推广。
51610编辑于 2025-04-22某机构Blackwell架构下MoE模型推理性能飞跃
这个大规模纵向扩展域针对基于稀疏MoE架构的模型进行了优化，这类模型需要频繁地在专家之间交换数据以生成令牌。 Blackwell架构还集成了对NVFP4数据格式的硬件加速，这是一种某机构设计的4位浮点格式，与其他FP4格式相比能更好地保持精度。 这些架构创新使某机构GB200 NVL72能够在最新的开放模型上提供行业领先的性能，包括DeepSeek-R1——一个拥有6710亿参数的稀疏MoE模型，每个令牌激活370亿个参数。 其PyTorch原生架构允许开发者试验运行时或扩展功能。这些优化现已包含在最新版本的TensorRT-LLM中。 图4： HGX B200上，使用8K/1K序列长度和聚合服务，FP8（无MTP）、FP8（有MTP）和NVFP4（有MTP）的吞吐量与交互性曲线对比。
13610编辑于 2026-05-02- 来自专栏贾志刚-OpenCV学堂
YOLO-Master | 混合专家MOE架构的对象检测新王者
该系统架构还可扩展至图像分类与实例分割任务，在ImageNet数据集上达到了76.6%的Top-1准确率。 高效专家架构：为满足实时检测场景下严格的计算约束，每个专家模块（Expert）采用深度可分离卷积作为核心构建单元，替代传统标准卷积结构。 消融实验数据 ES-MoE消融证明 论文 https://arxiv.org/pdf/2512.23273 代码库 https://github.com/isLinXu/YOLO-Master 什么MoE ，原理解释看这里 大语言与多模态模型架构关键组件-混合专家(MOE)详解 总结：2026年的YOLO已经不是CNN天下，是Transformer跟大模型架构借鉴学习的新生。 2026掌握Transformer与视觉语言模型开发技能，一秒理解MoE的本质
23410编辑于 2026-04-02 - 来自专栏AI SPPECH
13：MoE架构如何让你的Agentic系统成本降低50%？
MoE架构概述 1.1 什么是MoE架构 1.2 MoE架构的核心组件 1.3 MoE架构的优势 2. MoE架构在Agentic系统中的应用 3.1 Agentic系统的计算挑战 3.2 MoE架构的优势 3.3 架构设计 4. K值 激活专家比例 计算成本 性能损失 1 1/K 最低 较大 2 2/K 中等 较小 4 4/K 较高 最小 2.3 专家设计 专家网络通常是相同架构的小型神经网络，但可以针对不同的任务或数据类型进行专门化 3.3 架构设计 4. MoE架构的效果 持续优化：根据实际使用情况不断优化MoE架构 生态参与：积极参与MoE相关的开源项目和社区 战略规划：将MoE架构纳入长期技术战略 总结：MoE架构通过创新的专家分工和门控机制，为Agentic
23710编辑于 2026-04-03 - 来自专栏快乐阿超
trace.moe
——太宰治《人间失格》 trace.moe：通过截图识别番剧的开源神器 trace.moe 是一个开源的番剧识别服务，通过上传任意一帧截图，即可快速识别出该画面来自哪一部动画、哪一集，甚至精确到具体的时间点 一、项目简介 trace.moe 由 @soruly 开发，提供完整的后端识别引擎、Web API 接口以及前端页面，支持本地部署和线上使用。 四、本地部署方式 trace.moe 提供 Docker 支持，可快速本地部署： git clone https://github.com/soruly/trace.moe.git cd trace.moe ： { "result": [ { "anilist": 12345, "filename": "ep01.mp4", "episode": 1, 八、结语 trace.moe 是“以图识番”领域的代表项目，简单高效、开放易用。无论是动漫站点、二次元工具、Bot 开发者，还是普通动画爱好者，都能从中获益。
7K10编辑于 2025-04-05 - 来自专栏人工智能
DeepSeek v3 的 MoE 模型架构与激活参数解析
在人工智能和深度学习的研究中，模型的规模和架构决定了它的能力与潜力。 它是一种特殊的神经网络架构，通过引入多个专家网络（sub-models），仅在需要时激活其中的部分专家来参与计算，从而显著提升模型的计算效率。 传统的神经网络架构可能会利用全部参数来完成每一步翻译。而在 MoE 模型中，系统会智能地选择最适合的专家模块来处理特定任务。 torch.sum(gate_scores.unsqueeze(2) * expert_outputs, dim=1)# 模型实例化input_dim = 16output_dim = 8num_experts = 4model )这个代码展示了一个简单的 MoE 模型，其中包含 4 个专家模块。
3.5K11编辑于 2025-01-12 - 来自专栏sktj
Kubernetes(4:架构)
Master 是cluster 的大脑： 运行 kube-apiserver kube-scheduler kube-controller-manager etcd pod restful api scheduler 调度器Scheduler负责决定将Pod放在哪个Node上运行。Scheduler在调度 时会充分考虑Cluster的拓扑结构，当前各个节点的负载，以及应用对高可用、性能、数据亲和性的需求。 Controller Manager负责管理Cluster各种资源，保证资源处于预期的状态。Controller Manager由多种controller组成，包括replicationcontroller、endpoints controller、namespace controller、serviceaccounts controller等。 etcd负责保存Kubernetes Cluster的配置信息和各种资源的状态信息。当数据发生变化时，etcd会快速地通知Kubernetes相关组件。 Pod要能够相互通信，Kubernetes Cluster必须部署Pod网络，flannel是其中一个可选方案。
42120发布于 2019-09-24 - 来自专栏机器之心
谷歌Gemini1.5火速上线：MoE架构，100万上下文
Gemini 1.5 建立在谷歌基础模型开发和基础设施的研究与工程创新的基础上，包括通过新的专家混合 (MoE) 架构使 Gemini 1.5 的训练和服务更加高效。 领先基础模型的上下文长度 高效架构 Gemini 1.5 建立在谷歌对 Transformer 和 MoE 架构的领先研究之上。 传统 Transformer 充当一个大型神经网络，而 MoE 模型则分为更小的 “专家” 神经网络。 根据给定输入的类型，MoE 模型学会选择性地仅激活其神经网络中最相关的专家路径。 通过稀疏门控 MoE、GShard-Transformer、Switch-Transformer、M4 等研究，Google 一直是深度学习 MoE 技术的早期采用者和先驱。 谷歌在模型架构方面的最新创新使 Gemini 1.5 能够更快地学习复杂任务并保持质量，同时更高效地训练和服务。
64810编辑于 2024-02-26
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号