- 综合排序
- 最热优先
- 最新优先
深度学习前沿：稀疏专家模型（MoE）门控机制的探索
稀疏专家模型（MoE）概述 在深度学习领域，稀疏专家模型（Mixture of Experts, MoE）正成为处理超大规模模型的重要范式。 2021年Google推出的Switch Transformer将专家数量扩展到数千个，验证了超大规模稀疏模型的可行性。 负载均衡的数学建模 在稀疏专家模型（MoE）的架构中，负载均衡问题直接决定了模型的计算效率和资源利用率。 这个1571B参数的巨型模型采用动态门控机制，在预训练任务中展现出惊人的效率——相比传统T5-XXL（11B）稠密模型，其样本效率提升达7倍。 未来展望与挑战 技术演进的三重突破方向 当前稀疏专家模型（MoE）的门控机制正面临从"可用"到"好用"的关键跃迁阶段。
1.7K10编辑于 2025-08-27- 来自专栏机器学习算法工程师
《机器学习》笔记-特征选择与稀疏学习（11）
现在考虑另一种稀疏性：D所对应的矩阵中存在很多零元素，但这些零元素并不是以整列、整行形式存在的。 当样本具有这样的稀疏表达形式时，对学习任务来说会有不少好处。 例如具有高度的稀疏性使大多数问题变得线性可分。同时，稀疏样本并不会造成存储上的巨大负担，因为稀疏矩阵已有很多高效的存储方法。 这两个称谓稍有差别，”字典学习“更侧重于学得字典的过程，而”稀疏编码“则更侧重于对样本稀疏表达的过程。 6 压缩感知 与特征选择、稀疏表示不同，压缩感知关注的是如何利用信号本身所具备的稀疏性，从部分观测样本中恢复原信号。通常认为，压缩感知分为”感知测量“和”重构恢复“这两个阶段。” 感知测量“关注如何对原始信号进行处理以获得稀疏样本表示；”重构恢复“关注的是如何基于稀疏性从少量观测中恢复原信号，这是压缩感知的精髓，当我们谈到压缩感知时，通常是指该部分。
68940发布于 2018-07-27 - 来自专栏智能生信
稀疏混合专家融合是领域泛化的学习者
在这项工作中，作者通过利用分布式处理跨领域预测特征的多个方面，揭示了混合专家（MoE）模型在DG上的可泛化性。 为此，作者提出了稀疏融合混合专家模型（SF-MoE），该模型将稀疏性和融合机制结合到MoE框架中，以保持模型的稀疏性和预测性。 SF-MoE有两个专用模块：稀疏块和融合块，分别对对象的不同学习信号进行分离和聚合。大量实验表明，SF-MoE是大规模基准测试领域的可泛化学习者。
51420编辑于 2022-12-29 - 来自专栏时空探索之旅
Moirai-MoE: 稀疏混合专家赋能时间序列基础模型
频率挑战 为了解决上述问题，作者提出了全新的时间序列统一训练解决方案Moirai-MoE，其核心思想是利用单个输入/输出投影层，同时将各种时间序列模式的建模委托给 Transformer层中的稀疏混合专家 基于稀疏混合专家的时序基础模型 Moirai-MoE构建在它的前序工作Moirai之上。 但其主要改进在于：Moirai-MoE不使用多个启发式定义的输入/输出投影层来对具有不同频率的时间序列进行建模，而是使用单个输入/输出投影层，同时将捕获不同时间序列模式的任务委托给Transformer中的稀疏混合专家 稀疏混合专家Transformer 通过用MoE层替换Transformer的每个FFN来建立专家混合层。该MoE层由个专家网络和一个门控函数组成。 考虑到 Moirai-MoE-Small 只有11M激活参数（比Moirai-Large少28倍），这些进步是非常显著的。
75400编辑于 2024-11-19 - 来自专栏月色的自留地
从锅炉工到AI专家(11)(END)
语音识别 TensorFlow 1.x中提供了一个语音识别的例子speech_commands，用于识别常用的命令词汇，实现对设备的语音控制。speech_commands是一个很成熟的语音识别原型，有很高的正确率，除了提供python的完整源码，还提供了c/c++的示例程序，方便你移植到嵌入设备及移动设备中去。 官方提供了关于这个示例的语音识别教程。不过实际就是一个使用说明，没有对代码和原理做过多解释。 这个程序相对前面的例子复杂了很多，整体结构、代码、算法都可以当做范本，我觉得我已经没有资格象前面的
82370发布于 2018-06-20 - 来自专栏互联网数据官iCDO
高效营销技术专家的11个习惯
引言：本文分析了11个顶尖营销技术专家一般都具有的特质和性格。 在我看来，顶尖的营销技术专家一般都具有以下11种特质和性格。 1. 他们像CEO一样思考 “具有营销技术背景的首席营销官很大可能会被委任为下一代的CEO。” 为什么？ “近五年，营销技术专家的目标已由考察点击量提升至消费者驱动的盈利领域。他们中的顶尖专家已拥有和CEO一样的思维模式。” 2. 最好的营销技术专家在每个数字接触点都是客户心声的内部倡导者。 “CX数字化转型的第一次和重复实践是营销技术专家与其他利益相关者一起亲自体验旅程。” 3. 对于市场营销技术专家来说，仔细制定和实施系统解决方案，以简化营销活动能降低成本，提高清晰度，改善客户体验。对过度复杂的抵制创造了营销基础设施的优雅，从而提高了整个企业的利用率。 11.
3.9K60发布于 2018-03-27 - 来自专栏机器之心
可与ViT一较高下，DeepMind从稀疏转向Soft混合专家模型
稀疏混合专家模型（MoE）是一种很有前途的替代方案，可以在计算成本较少的情况下，扩展模型的大小。 稀疏 MoE Transformer 有一个关键的离散优化问题：决定每个输入 token 应该使用哪些模块。这些模块通常是称为专家的 MLP。 论文地址：https://arxiv.org/pdf/2308.00951.pdf Soft MoE 不采用稀疏且离散的路由器在 token 和专家之间进行硬分配（hard assignment），而是通过混合 作为对比，稀疏 MoE 方法通常采用的是硬分类。 其次 Soft MoE 没有 token dropping 和专家不平衡。 因此，Soft MoE 的速度明显要快于大多数稀疏 MoE，具体如下图 6 所示。 Soft MoE 还兼具稀疏和密集的特点。稀疏 MoE 的稀疏性来自于专家参数仅应用于输入 token 的子集。
35410编辑于 2023-09-08 - 来自专栏大模型系列
解密 DeepSeek V4：双轴稀疏 MoE + Engram 记忆 + Muon 优化器，如何打造高效万亿模型？
其采用先进的双轴稀疏设计、优化的混合注意力机制、全栈国产化适配等关键技术，构建了一个高效、普惠、安全的大模型生态系统。 在推理过程中，通过一个“门控网络”（GatingNetwork）动态选择最合适的专家组合，实现稀疏激活。 2.2双轴稀疏架构（Two-AxisSparsity）DeepSeekV4最核心的创新之一是“双轴稀疏架构”，即在两个维度上同时实现稀疏化：2.2.1专家维度稀疏（ExpertSparsity）专家维度稀疏是 通过双轴稀疏架构，DeepSeekV4成功将100万Token上下文的推理计算量压缩至前代模型的个位数百分比，实现了长文本处理的革命性突破。 其创新的MoE架构、双轴稀疏设计、混合注意力机制、Engram记忆架构等技术突破，不仅解决了超大规模模型的效率问题，更在长上下文处理、推理性能、成本控制等方面实现了全面领先。
22220编辑于 2026-05-16 - 来自专栏大模型系列
打破幻觉与成本魔咒：DeepSeek-V4 如何用双轴稀疏架构重塑大模型未来？
DeepSeek-V4的“双轴稀疏架构”正是对这一时代命题的响亮回答。 第二章：核心理念——从“单轴”到“双轴”的范式跃迁在DeepSeek-V4之前，主流的稀疏化技术是混合专家（MixtureofExperts,MoE）。 MoE通过为每个输入Token动态选择激活少量“专家”子网络，实现了条件计算（ConditionalComputation），即只在需要时才进行计算。这是一种单轴稀疏，其稀疏性仅体现在“计算”维度上。 这构成了其双轴稀疏架构的核心：第一轴：MoE-条件计算：负责动态的、复杂的逻辑推理和创造性任务。第二轴：Engram-条件记忆：负责高效、精准地存储和检索静态的、确定性的事实知识。 这场由“双轴稀疏”引发的架构革命，正在深刻地重塑大模型的未来格局。
43220编辑于 2026-04-24 - 来自专栏腾讯研究院的专栏
数字经济驱动未来，11位专家深度解读国家战略
2016年12月，美国商务部建立了数字经济顾问委员会（DEBA），成员包括科技行业巨头、创新者以及专家，旨在帮助政府、企业和消费者提供发展数字经济的建议，从而凭借数字技术的应用与发展促进经济繁荣、教育完善 同时，人工智能的发展将创造很多新的岗位，如数据科学家、自动化专家和机器人监控专业人士等，高端需求将大量增加。就业结构的变化要求教育、社会保障等领域加快变革，并做好职业培训，尽可能降低潜在风险。
1.2K50发布于 2018-02-01 - 来自专栏机器之心
30年历史回顾，Jeff Dean：我们整理了一份「稀疏专家模型」研究综述
机器之心报道 机器之心编辑部 30年时间，稀疏专家模型已逐渐成为一种很有前途的解决方案。 稀疏专家模型是一个已有 30 年历史的概念，至今依然被广泛使用，是深度学习中的流行架构。 近日，谷歌 AI 负责人 Jeff Dean 等人撰写了一篇稀疏专家模型的综述，回顾了稀疏专家模型的概念，提供了通用算法的基本描述，最后展望了未来的研究方向。 稀疏专家模型已成为一种很有前途的解决方案。 稀疏专家模型（其中，混合专家系统（MoE）是最流行的变体）是一种特殊的神经网络，其中一组参数被划分为 “专家”，每个“专家” 具有唯一的权重。 ., 2021），进一步复杂化了对稀疏专家模型的理解。 上游扩展 稀疏专家模型在大型数据集上训练时表现出色。 稀疏专家模型的迅速发展 稀疏专家模型的影响正在迅速蔓延到NLP以外的其他领域，包括计算机视觉、语音识别和多模态应用。
72530编辑于 2022-10-08 - 来自专栏机器之心
手把手教你，从零开始实现一个稀疏混合专家架构语言模型（MoE）
选自huggingface 机器之心编译 机器之心编辑部 本文介绍了实现一个稀疏混合专家语言模型（MoE）的方法，详细解释了模型的实施过程，包括采用稀疏混合专家取代传统的前馈神经网络，实现 top-k 内容简介 在混合专家模型 Mixtral 发布后，混合专家模型（MoE）越来越受到人们的关注。在稀疏化的混合专家语言模型中，大部分组件都与传统的 transformers 相同。 不过，每个区块的结构发生了巨大的变化：标准的前馈神经网络被多个稀疏激活的前馈网络（即专家网络）所取代。所谓「稀疏激活」，是指序列中的每个 token 只被分配给有限数量的专家（通常是一个或两个）。 这个过程的关键和难点是避免不必要的乘法运算，只为前 k 名专家进行正向转播。为每个专家执行前向传播将破坏使用稀疏 MoE 的目的，因为这个过程将不再是稀疏的。 索引确定了被激活的专家是哪些， 对应的值又决定了权重大小。下图进一步解释了加权求和的概念。 模块整合 将多头自注意力和稀疏混合专家相结合，形成稀疏混合专家 transformer 块。
2.8K11编辑于 2024-02-26 - 来自专栏机器之心
为内存塞不下Transformer犯愁？OpenAI应用AI研究负责人写了份指南
(1) 对矩阵中的列进行排列可以在剪枝过程中提供更多可能，以保持参数的数量或满足特殊限制，如 N:M 稀疏性。只要两个矩阵对应的轴按相同的顺序排列，矩阵乘法的结果就不会改变。 例如，(1) 在自注意力模块中，如果 query 的嵌入矩阵 Q 的轴 1 和 key 嵌入矩阵 K^⊤的轴 0 采用相同的排列顺序，则 QK^⊤的矩阵乘法最终结果保持不变。 图 7. Q（轴 1）和 K^⊤（轴 0）上相同排列，自注意力模块的结果不变。 W_1（轴 1）和 W_2（轴 0）上有着相同的排列，可以保持 FFN 层的输出不变。为简单起见，图示省略了偏差项，但也应对它们应用相同的排列。 图 11. Top-KAST 的剪枝掩码会随时间稳定下来。 为了防止马太效应，Top-KAST 通过 L2 正则化损失来惩罚激活权重，以鼓励产生更多新的探索。
2.5K30编辑于 2023-03-29 - 来自专栏Metaverse元宇宙
11位全球顶尖技术专家对2022年AR、VR发展的预测
而这些公司争先恐后的举措却并不全是炒作，事实上，专家们在对AR和VR的预测时，GlobalData的分析师认为该技术可能会像2007年的iPhone一样极具革命性。 业内专家们对2022年的AR和VR预测 2020年AR市场的估值是相对克制的70亿美元，但GlobalData认为这才仅仅是个开端，到2030年它将产生1520亿美元的收入。 为了对此情况进行更全面且详细的理解，Verdict邀请到了业内利益相关者、分析师和专家们来面向大众分享他们对2022年的AR和VR发展最大的预测。 Jared Ficklin，argodesign首席创意技术专家和创始合伙人 随着我们进入2022年，VR和人脸追踪将在两个领域具有巨大的增长潜力：第一是VR会议将开始在质量上赶上传统远程呈现，第二是人脸和目光追踪将改变人们与设备本身的互动方式
73110编辑于 2022-03-30 - 来自专栏大模型系列
国产大模型杀疯了！DeepSeek V4 开源 1.6 万亿 MoE，推理成本仅 GPT-4 的 1/70
2.1MoE基础：稀疏激活的魔法混合专家（MixtureofExperts,MoE）的核心思想是“千军万马，只调精锐”。 2.2双轴稀疏架构：DeepSeekV4的独门绝技DeepSeekV4在传统MoE基础上，创新性地提出“双轴稀疏”（Two-AxisSparsity）：（1）专家轴稀疏（ExpertSparsity）动态路由 ：门控网络根据输入内容选择最优专家组合；负载均衡：通过辅助损失函数防止专家“偏科”，确保资源均匀利用；通信优化：采用专家并行（ExpertParallelism）减少GPU间数据传输。 （2）注意力轴稀疏（AttentionSparsity）CSA（CompressedSparseAttention）：结合局部窗口与全局采样，降低O(n²)复杂度；HCA（HierarchicalContextAttention ）：按语义层级（句子→段落→章节）构建注意力，提升长文本理解；动态稀疏调度：根据内容重要性自动调整稀疏度，关键信息不丢失。
31820编辑于 2026-05-16 - 来自专栏大模型系列
解密DeepSeek-V4 预览版Engram 记忆模块、mHC 稳定训练与百万Token稀疏注意力的三大突破——百万Token上下文的智能压缩引擎
上下文瓶颈（ContextBottleneck）：长文本处理成本高昂→DSA稀疏注意力。 这与MoE（混合专家）实现的条件计算（ConditionalComputation）形成了完美的互补，共同构成了V4的“双轴稀疏”特性。 第五章：三大突破的协同效应——构建“双轴稀疏架构”Engram、mHC和DSA这三大技术并非孤立的创新，它们在DeepSeek-V4中形成了一个高度协同的系统。 mHC+MoE：mHC不仅稳定了主干网络，也优化了MoE专家之间的信息流，使得在万亿参数规模下，专家间的协作依然高效可靠。 整体架构：这三大技术共同支撑起了V4的“双轴稀疏架构”——Engram代表“记忆”轴的稀疏（只检索相关知识），MoE代表“计算”轴的稀疏（只激活相关专家），而DSA则是让这两者能在超长上下文中高效协同的
54220编辑于 2026-04-29 - 来自专栏数据派THU
150亿参数，谷歌开源了史上最大视觉模型V-MoE的全部代码
稀疏门控混合专家网络 (MoE) 在自然语言处理中展示了出色的可扩展性。然而，在计算机视觉中，几乎所有的高性能网络都是密集的，也就是说，每个输入都会转化为参数进行处理。 去年 6 月，来自谷歌大脑的研究者提出了 V-MoE（Vision MoE ），这是一种基于专家稀疏混合的新视觉架构。当应用于图像识别时，V-MoE 在推理时只需要一半的计算量，就能达到先进网络性能。 FFN 的稀疏混合（称之为专家）。 x 轴对应 32 个专家中的每一个，y 轴显示图像类别的 ID（从 1 到 1000）。图中每个条目都显示了为与特定图像类对应的 token 选择专家的频率，颜色越深表示频率越高。 异构专家架构和条件可变长度路由也是有潜力的研究方向。稀疏模型尤其有益于数据丰富的领域，例如大规模视频建模。他们希望开源的代码和模型能够吸引更多研究人员关注该领域。
51720编辑于 2022-03-04 - 来自专栏机器之心
150亿参数，谷歌开源了史上最大视觉模型V-MoE的全部代码
稀疏门控混合专家网络 (MoE) 在自然语言处理中展示了出色的可扩展性。然而，在计算机视觉中，几乎所有的高性能网络都是密集的，也就是说，每个输入都会转化为参数进行处理。 去年 6 月，来自谷歌大脑的研究者提出了 V-MoE（Vision MoE ），这是一种基于专家稀疏混合的新视觉架构。当应用于图像识别时，V-MoE 在推理时只需要一半的计算量，就能达到先进网络性能。 FFN 的稀疏混合（称之为专家）。 x 轴对应 32 个专家中的每一个，y 轴显示图像类别的 ID（从 1 到 1000）。图中每个条目都显示了为与特定图像类对应的 token 选择专家的频率，颜色越深表示频率越高。 异构专家架构和条件可变长度路由也是有潜力的研究方向。稀疏模型尤其有益于数据丰富的领域，例如大规模视频建模。他们希望开源的代码和模型能够吸引更多研究人员关注该领域。
40220编辑于 2022-02-23 - 来自专栏大模型系列
万字长文解读 DeepSeek-V4：百万上下文、万亿参数、开源免费，国产大模型迎来JPEG时刻—解密 Engram 记忆模块、MHC 稳定训练与百万Token
二、核心技术解密：双轴稀疏架构的范式革命DeepSeek-V4 的强大并非凭空而来，其背后是两大开创性技术的支撑：Engram 条件记忆模块 和 MoE（Mixture of Experts）条件计算。 这两者共同构成了其“记忆-计算分离”的双轴稀疏架构，这是对传统大模型设计的一次根本性颠覆。1. Engram 条件记忆：给AI配一本“超级活字典”想象一下，让一个学生去参加一场开卷考试。 MoE（混合专家）基础：传统稠密模型在处理任何输入时，都会激活所有的神经元。MoE 架构则将模型拆分成多个“专家子网络”。 MHC 技术就像一位“顶级项目监理”，它通过对专家间连接方式施加数学上的流形约束，确保了信息在专家网络中的流动是平滑、有序且高效的。 它通过“记忆-计算分离”的双轴稀疏设计，巧妙地绕开了大模型发展的传统瓶颈，将超长上下文、顶级性能和极致性价比融为一体。百万字长文对话只是起点。
2.7K100编辑于 2026-04-24 - 来自专栏凯哥讲故事系列
凯哥 丨 AI 进入存算解耦的新纪元
过去几年，行业在 MoE 上找出路：让模型“只激活部分专家”，减少每 token 的计算开销。DeepSeek 自家 V3 技术报告本就强调了 MoE 的高效激活路径。 3）存储稀疏：比 MoE 更彻底的“只读我需要的记忆” MoE 是“只算部分专家”，仍然需要路由与激活管理。 Engram 是“只读少量记忆”，并且通过确定性地址减少路由负担。 范式结论：双轴时代来了——GPU 管智商，RAM 管记忆 我们终于可以把结论写在墙上了： 计算轴（Compute Axis）：负责推理、泛化、策略与“智商”——主要由 GPU 与计算预算决定 记忆轴（Memory Axis）：负责静态知识、局部模式与“博学”——主要由可扩展存储（RAM/NVMe/分层缓存）决定 Engram 把“条件记忆”明确为一种新的稀疏轴，与 MoE 的条件计算形成互补。 预测 3：MoE 的下一站是“混合稀疏”：算得少 + 记得快 MoE 解决计算稀疏，Engram 解决存储稀疏。二者组合会成为新的工程默认项： MoE 管会想，Engram 管会背。
30210编辑于 2026-01-22
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号