- 综合排序
- 最热优先
- 最新优先
- 来自专栏AI工程落地
Mixtral混合专家模型
模型下载 模型地址：mistralai (Mistral AI_) (huggingface.co)，需要在这个网页上申请权限（地址填国外） 申请huggingface token：Hugging Face 下载模型可以用huggingface提供的工具，使用方式如下： export HF_ENDPOINT="https://hf-mirror.com" huggingface-cli download - 下图给出了Rolling Buffer Cache的运作流程: 混合专家 让一个网络模型结构有多条分支，每条分支代表一个Expert(专家)，每个Expert都有其擅长的领域，当具体任务来临时，可以通过一个门空位 当然在训练MoE模型时也要注意各个Experts负载均衡，防止赢者通吃，达不到想要的目的。 值得注意的是，prefill或decode每一次模型的计算都可能用到不同的专家。
39410编辑于 2024-08-15 - 来自专栏DeepHub IMBA
使用PyTorch实现混合专家(MoE)模型
混合专家(MoE)概念是协作智能的象征，体现了“整体大于部分之和”的说法。MoE模型汇集了各种专家模型的优势，以提供更好的预测。 它是围绕一个门控网络和一组专家网络构建的，每个专家网络都擅长特定任务的不同方面 在本文中，我将使用Pytorch来实现一个MoE模型。在具体代码之前，让我们先简单介绍一下混合专家的体系结构。 混合专家模型的优点在于它的简单。通过学习复杂的问题空间以及专家在解决问题时的反应，MoE模型有助于产生比单个专家更好的解决方案。门控网络作为一个有效的管理者，评估情景并将任务传递给最佳专家。 混合专家模型在许多领域都有应用，包括推荐系统、语言建模和各种复杂的预测任务。有传言称，GPT-4是由多个专家组成的。 总结 我们测试的输出结果显示了混合专家模型的强大功能。该模型通过门控网络将各个专家模型的优势结合起来，取得了比单个专家模型更高的精度。
2.2K10编辑于 2024-01-10 - 来自专栏气象学家
MoWE：混合气象专家模型
MoWE：混合气象专家模型 https://arxiv.org/abs/2509.09052 一、引言：数据驱动天气预报的发展与挑战 近年来，人工智能技术在气象预报领域取得了革命性进展。 受此启发，本文作者提出了一个新颖的思路：不追求训练一个更强大的单一模型，而是开发一个能够智能融合现有优秀模型输出的框架——混合气象专家模型（Mixture of Weather Experts, MoWE 该网络的输入是由所有专家模型的预测堆叠形成的多通道"图像"，其中每个通道对应一个专家模型对一个气象变量的预测。 网络的处理流程如下： 1. 可扩展性：框架设计允许轻松集成新的专家模型，随着更多优秀模型的涌现，MoWE的性能有望进一步提升 4. ，通过智能融合多个专家模型的输出，实现了显著的性能提升。
9110编辑于 2026-03-25 - 来自专栏AI SPPECH
45_混合专家模型：MoE架构详解
2025年，混合专家模型（Mixture of Experts，MoE）已成为突破这些限制的关键技术路径。 1.2 MoE的核心组成：专家与门控 混合专家模型的架构创新在于将传统的密集前馈网络层替换为稀疏激活的专家网络集合。 结论：稀疏计算引领大模型新时代 混合专家模型（MoE）通过创新的稀疏计算架构，成功实现了参数规模与计算成本的有效解耦，为大语言模型的持续发展提供了新的技术路径。 混合专家模型(MoE)技术原理与应用实践. CSDN博客, 2025. 昇腾原生，华为发布准万亿模型Pangu Ultra MoE模型架构和训练细节. 今日头条, 2025. 重磅!" 【LLMs篇】混合专家模型MoE技术深度解析. CSDN博客, 2025.
1.3K10编辑于 2025-11-12 DeepSeek技术架构解析：MoE混合专家模型
其核心创新之一——混合专家模型（Mixture of Experts, MoE）的优化设计，不仅突破了传统大模型的算力瓶颈，更以37B激活参数实现671B总参数规模的性能输出，成为开源社区与工业界关注的焦点 二、什么是混合专家模型？ 在有限算力条件下，优化模型架构的参数量通常比增加训练迭代次数更能有效提升模型性能。相比于盲目延长训练周期，合理扩大模型容量往往能以更低的时间成本获得更优的收敛效果。 ，使8-bit量化精度损失达4.2倍于稠密模型 伦理风险：门控网络的黑盒机制可能引发知识来源不可追溯性危机 四、模型结构 混合专家模型（MoE）是一种稀疏门控制的深度学习模型，它主要由一组专家模型和一个门控模型组成 五、门控网络 混合专家模型中“门”是一种稀疏门网络，它接收单个数据元素作为输入，然后输出一个权重，这些权重表示每个专家模型对处理输入数据的贡献。 例如，在混合专家模型 (MoE) 中，尽管较大的批量大小通常有利于提高性能，但当数据通过激活的专家时，实际的批量大小可能会减少。
1.4K20编辑于 2025-11-20- 来自专栏AI前沿技术
大模型-混合专家系统MoE介绍
MoE定义 将传统 Transformer 模型中的每个前馈网络(FFN) 层替换为MoE层，就构成了混合专家系统，其中MoE 层由两个核心部分组成：一个门控网络和若干数量的专家系统。 训练过程中，专家系统会逐渐学会处理特定类型的输入，从而提高模型的泛化能力和性能。 MoE系统具备的稀疏性，使得模型在训练和推理时，使用少量的计算资源，就可以完整摸型计算，而效果与稠密模型持平。 [6,128]每个专家输出 加权聚合 按路由权重从专家输出中提取有效的token，合并为原始形状 [2,5,128] 2，MoE token负载不均衡问题 在混合专家模型训练中，门控网络往往倾向于主要激活相同的几个专家 具有相同参数量的稠密模型和MoE模型，在训练和推理时，MoE模型具有明显优势。因为每次计算只有少数的专家系统被激活，而不是全部的参数。这样计算量降低，相应的训练和推理时间也减少了。 稀疏混合专家模型适用于拥有多台机器且要求高吞吐量的场景。在固定的预训练计算资源下，稀疏模型往往能够实现更优的效果，相反，在显存较少且吞吐量要求不高的场景，稠密模型则是更合适的选择。
53510编辑于 2026-01-13 - 来自专栏AI前沿技术
大模型｜MoE混合专家系统介绍
大模型的MoE架构日益流行，其利用路由发送特定数量的token到不同的专家，并聚合专家结果，得到同等参数量下相比稠密模型更优的效果，且冗余计算少性能更优。 模型中的每个前馈网络(FFN) 层替换为MoE层，就构成了混合专家系统，其中MoE 层由两个核心部分组成：一个路由门控网络和若干数量的专家系统。 训练过程中，专家系统会逐渐学会处理特定类型的输入，从而提高模型的泛化能力和性能。 图1，混合专家系统MoE示意。 2，MoE token负载不均衡问题 2.1，优化思路和名词介绍 在混合专家模型训练中，门控网络往往倾向于主要激活相同的几个专家，这种情况可能会自我加强，因为受欢迎的专家训练得更快，因此它们更容易被选择 稀疏混合专家模型适用于拥有多台机器且要求高吞吐量的场景。在固定的预训练计算资源下，稀疏模型往往能够实现更优的效果，相反，在显存较少且吞吐量要求不高的场景，稠密模型则是更合适的选择。
69110编辑于 2026-01-13 - 来自专栏AI前沿技术
大模型｜DeepSeek MoE 混合专家系统介绍
MoE（Mix of Expert）混合专家系统在训练和推理时，相比于稠密模型具有明显的优势，但同样也面临训练不稳定，知识混杂和知识冗余问题。 主要内容包括： 1）经典混合专家系统的定义和两个主要问题 2）deepseek MoE系统的细粒度专家划分和共享专家隔离方案 3）两个优化方案的消融实验和负载均衡方案 1，经典MoE系统 1.1，经典MoE 2，Deepseek MoE 优化方案 图1，deepseek MoE 混合专家系统优化策略 2.1，细粒度专家划分 细粒度专家划分（Fine-Grained Expert Segmentation）为解决知识混杂问题 3.1，消融实验结果 所有参与比较的模型拥有相同的参数量，且被激活的专家的总参数量也相同。 相比经典MoE架构GShard，DeepSeekMoE专家专业化程度更高、参数效率更优，有模型可以支持单40GB GPU部署，推动大模型发展，降低了应用门槛。 参考：arXiv:2401.06066
65511编辑于 2026-01-13 嵌入层扩展：超越混合专家模型的高效路径
结果表明，模型处理输入词汇的方式比拥有专门化计算路径更为重要。该发现对当前大语言模型中混合专家模型设计的主流趋势提出了挑战。通俗解释语言模型需要处理数百万词汇，这带来了巨大的计算难题。 关键发现嵌入层扩展持续领先：在所有测试模型规模下，扩展嵌入层在单位计算性能上均优于扩展专家网络n-gram嵌入提升效率：提出的n-gram嵌入层架构性能超越标准嵌入层和混合专家模型方法整合时机至关重要： n-gram嵌入层在模型架构特定深度处整合可获得最优效果计算效率优势显著：嵌入层方法在使用更少计算资源的情况下取得了优于专家网络系统的结果专家网络趋势或存偏差：当前行业向混合专家模型设计的势头似乎忽视了更简单 嵌入层位于模型前端，将离散词元转换为连续数值表征。研究人员通过增加其维度和容量来扩展该组件，使其能够捕捉更丰富的词汇及上下文信息。替代方案是混合专家模型层，散布于模型各处。 结论本研究提供了实证证据，表明近期业界对混合专家模型架构的侧重可能忽视了高效扩展语言模型的更简路径。
7410编辑于 2026-02-13MoE 混合专家：让模型各展所长的 “智慧联盟”
而 **MoE（Mixture of Experts，混合专家）** 模型则另辟蹊径，它如同一个 “智慧联盟”，将多个 “专家模型” 组合在一起，每个专家专注擅长领域，通过协作来处理复杂任务，让模型性能实现质的飞跃 当新数据到来时，会先由一个 “门控网络” 判断该数据更适合交给哪个专家模型处理，然后被选中的专家模型给出预测结果。 二、技术原理：门控选择与加权融合 算法流程详解 专家模型构建：首先定义多个不同的专家模型\(E_1, E_2, \cdots, E_n\)，这些专家模型可以是神经网络、决策树等不同类型的模型，它们各自具备处理特定数据模式的能力 门控网络通常是一个简单的神经网络或线性模型，通过学习数据特征与专家模型的匹配关系，来确定每个专家的权重。 MoE 混合专家模型以其独特的 “分工协作” 理念，为机器学习带来了新的思路和强大的性能提升。无论是新手探索未知领域，还是成手寻求技术突破，MoE 模型都充满了探索价值。
55010编辑于 2025-10-14- 来自专栏时空探索之旅
Time-MoE：混合专家的十亿级时间序列基础模型
，混合专家系统 新智元：全球首次！ 关键技术突破： 强大的混合专家架构：Time-MoE采用稀疏激活机制，在预测任务中仅激活部分网络节点，这不仅确保了高预测精度，还显著降低了计算负担，完美解决了时序大模型在推理阶段的计算瓶颈。 同时，采用旋转位置编码代替绝对位置编码，使得模型在处理可变序列长度时具备更好的外推能力。此外，模型引入了稀疏激活的混合专家层来取代标准Transformer模块里的FFN。 公式化概括如下： 其中Mixture代表混合专家层。如模型框架图中③所示，单个时间序列数据点可以被分配给一个或多个专家。通过选择部分专家网络来处理特定时间点的输入，模型的计算效率得到了提高。 消融实验 文中进一步提供了一系列消融实验来验证模型框架设计的合理性。实验表明，Time-MoE的设计在提升模型精度上是有效的。特别地，在不使用混合专家的情况下，模型的MSE会有明显的退化。
84210编辑于 2024-11-19 - 来自专栏AIGC 先锋科技
使用混合 LORA 专家定制多模态语义分割的 SAM 模型 ！
为了应对多模态融合固有的挑战，作者开发了一种混合LoRA专家（MLE）路由机制，该机制能够自适应地生成加权特征表示，确保不同模态之间的有效集成，并减轻由噪声或缺失输入引起的不一致性。 LoRA在预训练模型中引入低秩矩阵，允许通过微调少量附加参数来高效地进行适应，同时将大部分模型权重冻结[52]。 两个数据集上的实验结果揭示了数据集特性与模型性能之间的重要关系。 这些模型使用DELIVER数据集在不同的模态场景下进行了测试。 表8比较了四种在MUSES数据集中不同模态组合下训练和测试的模型性能。MLE-SAM始终优于其他模型，展示了其在不同模态组合下的鲁棒性。
1.4K10编辑于 2025-02-12 - 来自专栏大模型应用
大模型应用：混合专家模型（MoE）：大模型性能提升的关键技术拆解.37
什么是MoEMoE，全称Mixture of Experts，即混合专家模型。我们把它拆成两个词理解：专家（Expert）：不是指人类专家，而是一个个独立的“小型神经网络”。 混合（Mixture）：有一个“智能调度员”，专业名叫“门控网络”，会根据我们输入的任务，选最合适的几个专家来干活，最后把专家的结果整合起来，给出最终答案。2. 性能与效率的双赢：又强又快又便宜对模型性能：MoE 可以通过增加专家数量来提升模型能力，专家越多，模型能覆盖的任务领域就越广，性能就越强。 MoE就是“混合专家模型”，你把它想象成一个“外卖团队”就行——有1个调度员（门控网络），还有好几个骑手（专家网络）。 输出价值：精准匹配图标“颜色+形状”双特性，分类准确率比单一专家高30%+六、总结 MoE混合专家模型核心是 “专家团队 + 智能调度”，通过稀疏激活机制解决传统大模型越大越慢、越贵的痛点
81643编辑于 2026-03-06 - 来自专栏量子位
混合专家系统里根本没专家？开源MoE模型论文引网友热议
克雷西 发自 凹非寺 量子位 | 公众号 QbitAI 红极一时的开源MoE模型Mixtral，论文终于新鲜出炉！ 而在大多数人的印象中，Mixtral里的8个专家，是分别负责处理不同领域的话题的…… 论文的结论曝光后，不少网友开始认为“专家混合”这个说法，可能不那么贴切了： 于是，针对Mixtral真实的工作机制， 但也有网友表示了不同意见： 这个问题并不根属于MoE，因为自己之前见过的MoE模型中，是发现了真·专家分工的现象的。 那么，这究竟是怎么一回事呢？ 此外，定量的分析结果还发现了另一个专家分配规律——相邻的token有很大概率被分配给同一专家。 作者比较了模型针对相邻token选择相同专家的概率，包括第一选择一致率和第一二选择一致率。 但实际测试发现，Mixtral第一和第一二选择一致率高于随机情况，特别是中间的第15层，说明了模型在专家选择上是具有倾向性的。
35910编辑于 2024-01-11 - 来自专栏时空探索之旅
Moirai-MoE: 稀疏混合专家赋能时间序列基础模型
，混合专家系统 圆圆的算法笔记：Salesforce推出Moirai-MoE，新视角设计下一代时序基础模型 时序人：Salesforce 推出 Moirai-MoE，新视角设计下一代时序基础模型 机器之心 频率挑战 为了解决上述问题，作者提出了全新的时间序列统一训练解决方案Moirai-MoE，其核心思想是利用单个输入/输出投影层，同时将各种时间序列模式的建模委托给 Transformer层中的稀疏混合专家 基于稀疏混合专家的时序基础模型 Moirai-MoE构建在它的前序工作Moirai之上。 但其主要改进在于：Moirai-MoE不使用多个启发式定义的输入/输出投影层来对具有不同频率的时间序列进行建模，而是使用单个输入/输出投影层，同时将捕获不同时间序列模式的任务委托给Transformer中的稀疏混合专家 稀疏混合专家Transformer 通过用MoE层替换Transformer的每个FFN来建立专家混合层。该MoE层由个专家网络和一个门控函数组成。
67400编辑于 2024-11-19 - 来自专栏周拱壹卒
【译】混合专家（Mixture of Experts, MoE）
原文地址：Mixture of Experts (MoE)[1] 原文作者：Sebastian Raschka[2] 混合专家（Mixture of Experts, MoE）是近年来开源大模型能够拥有极高的总参数量 架构画廊[3] 《从零构建大模型》章节[4] DeepSeek V3 和 R1 中的混合专家模块与标准前馈块的对比 引自 大语言模型架构对比[5]：主要结构的变化非常直接。 因此，当我们用多个专家块替换一个前馈块时，模型的总参数量可以显著增加。 关键点是，路由不会为每个 token 激活所有专家。它只选择一个小的子集。 混合专家层中总参数与活跃参数的差异 引自《从零构建大模型》中 MoE 材料：随着专家数量的增加，总参数的增长速度远快于每个 token 的活跃参数。 所以，虽然许多模型被称为 MoE 模型，但它们在专家数量、每个 token 的路由专家数、是否使用共享专家以及专家子网络的大小方面仍然可能有很大差异。
13210编辑于 2026-04-09 《深度揭秘：利用Hugging Face Transformer库打造独特混合专家（MoE）模型》
混合专家（MoE）模型作为一种创新架构，正悄然改变着大语言模型的格局，它打破传统单一模型的局限，融合多个专家模型的智慧，宛如召集了一群各有所长的智者，共同应对复杂多变的语言任务，让模型的表现更加卓越。 接下来带大家探寻如何利用Hugging Face Transformer库自定义一个独树一帜的混合专家模型。MoE模型，其设计理念独辟蹊径，核心在于突破传统模型的单一架构束缚 。 剪枝则是通过去除模型中一些不重要的连接和神经元，来简化模型结构，降低计算资源的消耗 。随着技术的不断进步和应用场景的不断拓展，混合专家（MoE）模型展现出了无限的潜力。 相信在不久的将来，混合专家模型将成为自然语言处理领域的主流技术之一，为我们的生活和工作带来更多的便利和惊喜 。 通过以上对利用Hugging Face Transformer库自定义混合专家（MoE）模型的深入探讨，我们不仅了解了MoE模型的原理和优势，还掌握了构建和应用MoE模型的关键技术和方法。
26800编辑于 2025-06-02- 来自专栏贾志刚-OpenCV学堂
大语言与多模态模型架构关键组件-混合专家(MOE)详解
专家混合（MoE）是一种基于Transformers构建的高级架构。其主要理念是通过激活少数称为专家的专业网络，使模型更高效。 每个专家都是一个轻量级前馈神经网络，每次只根据输入选择少数专家。 该选择由路由器处理，在推理过程中动态选择每个标记最相关的专家。 通过每个输入只使用少数专家，MoE模型可以： 大幅降低计算成本， 提升整体模型容量， 并允许不同专家专注于不同类型的数据或任务。 MOE解释 专家混合（MoE）是一种利用多个不同子模型（或称“专家”）来提升大型语言模型质量的技术。定义 MoE 的两个主要组成部分： 专家——每个FFNN层现在都有一组“专家”，其中可选择一个子集。 路由器（门网络）会选择最适合特定输入的专家： 专家混合（MoE）都起源于大型语言模型（LLM）相对基础的功能，即前馈神经网络（FFNN）。 混合专家的优势 MoE架构代表了LLM模型设计上的重大进步。
44410编辑于 2026-04-02 - 来自专栏Python进阶之路
深度求索开源国内首个 MoE 大模型 | DeepSeekMoE：在专家混合语言模型中实现终极专家专业化
文章目录 一、前言 二、主要内容 三、总结 一、前言 在大语言模型时代，混合专家模型（MoE）是一种很有前途的架构，用于在扩展模型参数时管理计算成本。 与更大规模（总参数量或者计算量）的模型相比，DeepSeekMoE 2B 能匹配 GShard 2.8B （1.5 倍专家参数量和专家计算量）的性能，同时能非常接近 MoE 模型的理论性能上限，即相同 关于模型的可解释性，我们需要深入探讨 DeepSeekMoE 的专家结构是否为我们提供了一种新的视角来理解模型的决策过程。 通过分析专家的行为，或许可以提高模型的可解释性，并为模型决策过程带来更清晰的解释。 在考虑模型的安全性和伦理性时，随着模型规模的扩大，我们需要确保模型能够产生安全和符合伦理标准的结果。 性能媲美 Llama 2-7B，计算量降低 60% 国产第一个基于混合专家技术的大模型开源：幻方量化旗下公司开源 DeepSeekMoE-16B，未来还有 1450 亿参数的 MoE 大模型 沈向洋：致
2.6K00编辑于 2024-05-25 - 来自专栏DeepHub IMBA
使用MergeKit创建自己的专家混合模型：将多个模型组合成单个MoE
由于Mixtral的发布，专家混合(MoE)架构在最近几个月变得流行起来。 MOE 混合专家是为提高效率和性能而设计的体系结构。它使用多个专门的子网，称为“专家”。与激活整个网络的密集模型不同，MoEs只根据输入激活相关专家。这可以获得更快的训练和更有效的推理。 还可以将配置复制到LazyMergekit中，我们将在Colab提供中（本文最后），可以输入您的模型名称，选择混合分支，指定Hugging Face用户名/令牌，并运行。 这个模型不是为了在传统的基准测试中脱颖而出而设计的，因为代码和角色扮演模型通常不适用于那些环境。但是由于强大的通用专家，它表现得非常好。 但是frankenMoEs擅长保存知识，这可以获得更强大的模型，如我们上面的beyond - 4x7b -v3所示。 总结 在本文中，我们介绍了混合专家体系结构。
1.4K10编辑于 2024-04-01
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号