- 综合排序
- 最热优先
- 最新优先
深度学习前沿：稀疏专家模型（MoE）门控机制的探索
稀疏专家模型（MoE）概述 在深度学习领域，稀疏专家模型（Mixture of Experts, MoE）正成为处理超大规模模型的重要范式。 2021年Google推出的Switch Transformer将专家数量扩展到数千个，验证了超大规模稀疏模型的可行性。 负载均衡的数学建模 在稀疏专家模型（MoE）的架构中，负载均衡问题直接决定了模型的计算效率和资源利用率。 未来展望与挑战 技术演进的三重突破方向 当前稀疏专家模型（MoE）的门控机制正面临从"可用"到"好用"的关键跃迁阶段。 在终端设备上部署时，动态路由产生的延迟可能超过专家计算本身。2024年Qualcomm发布的实验数据显示，在移动端部署8专家模型时，路由决策耗时占比高达61%。
1.7K10编辑于 2025-08-27- 来自专栏智能生信
稀疏混合专家融合是领域泛化的学习者
在这项工作中，作者通过利用分布式处理跨领域预测特征的多个方面，揭示了混合专家（MoE）模型在DG上的可泛化性。 为此，作者提出了稀疏融合混合专家模型（SF-MoE），该模型将稀疏性和融合机制结合到MoE框架中，以保持模型的稀疏性和预测性。 SF-MoE有两个专用模块：稀疏块和融合块，分别对对象的不同学习信号进行分离和聚合。大量实验表明，SF-MoE是大规模基准测试领域的可泛化学习者。
51420编辑于 2022-12-29 - 来自专栏时空探索之旅
Moirai-MoE: 稀疏混合专家赋能时间序列基础模型
频率挑战 为了解决上述问题，作者提出了全新的时间序列统一训练解决方案Moirai-MoE，其核心思想是利用单个输入/输出投影层，同时将各种时间序列模式的建模委托给 Transformer层中的稀疏混合专家 基于稀疏混合专家的时序基础模型 Moirai-MoE构建在它的前序工作Moirai之上。 但其主要改进在于：Moirai-MoE不使用多个启发式定义的输入/输出投影层来对具有不同频率的时间序列进行建模，而是使用单个输入/输出投影层，同时将捕获不同时间序列模式的任务委托给Transformer中的稀疏混合专家 稀疏混合专家Transformer 通过用MoE层替换Transformer的每个FFN来建立专家混合层。该MoE层由个专家网络和一个门控函数组成。 与所有规模的Moirai相比，Moirai-MoE-Small在CRPS方面提高了3%-14%，在MASE方面提高了8%-16%。
75400编辑于 2024-11-19 - 来自专栏深度学习和计算机视觉
SLAM程序阅读（第8讲 稀疏直接法）
本次阅读的程序为第八章的第2个程序direct_sparse.cpp，该程序实现了稀疏直接法进行位姿变换的计算。 首先来看一下程序的运行结果： ? <<endl; // plot the feature points cv::Mat img_show ( color.rows*2, color.cols, CV_8UC3 RAND_MAX; cv::circle ( img_show, cv::Point2d ( pixel_prev ( 0,0 ), pixel_prev ( 1,0 ) ), 8, cv::circle ( img_show, cv::Point2d ( pixel_now ( 0,0 ), pixel_now ( 1,0 ) +color.rows ), 8, RAND_MAX; cv::circle ( img_show, cv::Point2d ( pixel_prev ( 0,0 ), pixel_prev ( 1,0 ) ), 8,
79810发布于 2019-10-24 - 来自专栏月色的自留地
从锅炉工到AI专家(8)
vgg.py: #这个程序相当于一个库，不会直接执行， #所以开始没有用于脚本模式的标志 # -*- coding=UTF-8 -*- import tensorflow as tf import numpy relu5_3', 'conv5_4', 'relu5_4', 'pool5', 'fc6', 'relu6', 'fc7', 'relu7', 'fc8' /usr/bin/env python # -*- coding=UTF-8 -*- import vgg import os,sys import numpy as np import scipy.misc n02130308 cheetah, chetah, Acinonyx jubatus Problity=0.024339 注意这个网络比较深，训练数据集也很大，因此执行这个程序建议至少是16G内存8核以上
790130发布于 2018-06-20 - 来自专栏机器之心
可与ViT一较高下，DeepMind从稀疏转向Soft混合专家模型
稀疏混合专家模型（MoE）是一种很有前途的替代方案，可以在计算成本较少的情况下，扩展模型的大小。 稀疏 MoE Transformer 有一个关键的离散优化问题：决定每个输入 token 应该使用哪些模块。这些模块通常是称为专家的 MLP。 作为对比，稀疏 MoE 方法通常采用的是硬分类。 其次 Soft MoE 没有 token dropping 和专家不平衡。 因此，Soft MoE 的速度明显要快于大多数稀疏 MoE，具体如下图 6 所示。 Soft MoE 还兼具稀疏和密集的特点。稀疏 MoE 的稀疏性来自于专家参数仅应用于输入 token 的子集。 训练帕累托 - 优化模型 研究者训练了 VIT-S/8、VIT-S/16、VIT-S/32、VIT-B/16、VIT-B/32、VIT-L/16、VIT-L/32 和 VIT-H/14 模型，以及它们的稀疏对应模型
35410编辑于 2023-09-08 - 来自专栏运维入门时间
成为K8S专家必修之路
当2021年容器化 云原生炙手可热时代， 但凡想在云市场分一杯羹的云厂商，K8S已经成为所有云厂商重要的ALL in 项目之一。 随着K8S这一侧工作5年之后 个人借鉴了网上诸多大佬经验翻译及陆陆续续得出一些自己的经验看法写了这份文案，希望对大家帮忙。 对于admissionregistration.k8s.io/v1，默认Fail为拒绝请求。 k8s.io/client-go 动态客户端使用示例 七、描述子资源 子资源是资源的部分元素，其 REST API 端点与主资源分开提供。最常见的子资源是/status代表status元素。 /taint-and-toleration/#taint-based-evictions — 8 — 云厂商K8S对比
1.8K11编辑于 2022-05-29 - 来自专栏大模型系列
解密 DeepSeek V4：双轴稀疏 MoE + Engram 记忆 + Muon 优化器，如何打造高效万亿模型？
其采用先进的双轴稀疏设计、优化的混合注意力机制、全栈国产化适配等关键技术，构建了一个高效、普惠、安全的大模型生态系统。 2.2双轴稀疏架构（Two-AxisSparsity）DeepSeekV4最核心的创新之一是“双轴稀疏架构”，即在两个维度上同时实现稀疏化：2.2.1专家维度稀疏（ExpertSparsity）专家维度稀疏是 具体来说：专家数量：V4-Pro包含约32,000个专家，V4-Flash包含约8,000个专家；激活策略：采用Top-K选择机制，K=2或K=4，根据输入内容动态调整；负载均衡：通过辅助损失函数确保各专家被均匀使用 通过双轴稀疏架构，DeepSeekV4成功将100万Token上下文的推理计算量压缩至前代模型的个位数百分比，实现了长文本处理的革命性突破。 4.1.2GSM8K（GradeSchoolMath8K）GSM8K是一个小学数学问题解决基准。DeepSeekV4-Pro在GSM8K上达到了78.5%的准确率，展示了强大的数学推理能力。
22220编辑于 2026-05-16 - 来自专栏大模型系列
打破幻觉与成本魔咒：DeepSeek-V4 如何用双轴稀疏架构重塑大模型未来？
DeepSeek-V4的“双轴稀疏架构”正是对这一时代命题的响亮回答。 第二章：核心理念——从“单轴”到“双轴”的范式跃迁在DeepSeek-V4之前，主流的稀疏化技术是混合专家（MixtureofExperts,MoE）。 MoE通过为每个输入Token动态选择激活少量“专家”子网络，实现了条件计算（ConditionalComputation），即只在需要时才进行计算。这是一种单轴稀疏，其稀疏性仅体现在“计算”维度上。 通用推理：在MATH、GSM8K等数学推理数据集上，得益于mHC和Engram的协同，准确率有显著提升。 这场由“双轴稀疏”引发的架构革命，正在深刻地重塑大模型的未来格局。
43220编辑于 2026-04-24 - 来自专栏机器之心
30年历史回顾，Jeff Dean：我们整理了一份「稀疏专家模型」研究综述
机器之心报道 机器之心编辑部 30年时间，稀疏专家模型已逐渐成为一种很有前途的解决方案。 稀疏专家模型是一个已有 30 年历史的概念，至今依然被广泛使用，是深度学习中的流行架构。 近日，谷歌 AI 负责人 Jeff Dean 等人撰写了一篇稀疏专家模型的综述，回顾了稀疏专家模型的概念，提供了通用算法的基本描述，最后展望了未来的研究方向。 稀疏专家模型已成为一种很有前途的解决方案。 稀疏专家模型（其中，混合专家系统（MoE）是最流行的变体）是一种特殊的神经网络，其中一组参数被划分为 “专家”，每个“专家” 具有唯一的权重。 ., 2021），进一步复杂化了对稀疏专家模型的理解。 上游扩展 稀疏专家模型在大型数据集上训练时表现出色。 稀疏专家模型的迅速发展 稀疏专家模型的影响正在迅速蔓延到NLP以外的其他领域，包括计算机视觉、语音识别和多模态应用。
72530编辑于 2022-10-08 - 来自专栏机器之心
手把手教你，从零开始实现一个稀疏混合专家架构语言模型（MoE）
选自huggingface 机器之心编译 机器之心编辑部 本文介绍了实现一个稀疏混合专家语言模型（MoE）的方法，详细解释了模型的实施过程，包括采用稀疏混合专家取代传统的前馈神经网络，实现 top-k 内容简介 在混合专家模型 Mixtral 发布后，混合专家模型（MoE）越来越受到人们的关注。在稀疏化的混合专家语言模型中，大部分组件都与传统的 transformers 相同。 不过，每个区块的结构发生了巨大的变化：标准的前馈神经网络被多个稀疏激活的前馈网络（即专家网络）所取代。所谓「稀疏激活」，是指序列中的每个 token 只被分配给有限数量的专家（通常是一个或两个）。 这个过程的关键和难点是避免不必要的乘法运算，只为前 k 名专家进行正向转播。为每个专家执行前向传播将破坏使用稀疏 MoE 的目的，因为这个过程将不再是稀疏的。 索引确定了被激活的专家是哪些， 对应的值又决定了权重大小。下图进一步解释了加权求和的概念。 模块整合 将多头自注意力和稀疏混合专家相结合，形成稀疏混合专家 transformer 块。
2.8K11编辑于 2024-02-26 - 来自专栏机器之心
为内存塞不下Transformer犯愁？OpenAI应用AI研究负责人写了份指南
只将模型权重量化为 8 位，激活函数使用完整的精度的时候能取得较好的效果（W8A32）；激活函数量化为 8 位时，无论权重是否为低精度（W8A8 和 W32A8）效果都不如 W8A32。 (1) 对矩阵中的列进行排列可以在剪枝过程中提供更多可能，以保持参数的数量或满足特殊限制，如 N:M 稀疏性。只要两个矩阵对应的轴按相同的顺序排列，矩阵乘法的结果就不会改变。 Q（轴 1）和 K^⊤（轴 0）上相同排列，自注意力模块的结果不变。 (2) 在包含两个 MLP 层和一个 ReLU 非线性层的 FFN 层内，可以将第一个线性权重矩阵 W_1 沿轴 1 排列，然后第二个线性权重矩阵 W_2 沿轴 0 按相同顺序排列。 图 8. W_1（轴 1）和 W_2（轴 0）上有着相同的排列，可以保持 FFN 层的输出不变。为简单起见，图示省略了偏差项，但也应对它们应用相同的排列。
2.5K30编辑于 2023-03-29 - 来自专栏hank
8步轻松晋级AMD MPSoC Linux内核调试专家
8步轻松晋级AMD MPSoC Linux内核调试专家 介绍 AMD MPSoC Linux一般使用PetaLinux编译Linux系统，包括Linux内核、DTS、文件系统。 find ./ -name "*.c" | xargs -P 8 -i -t astyle -s --style=otbs {} find ./ -name "*.h" | xargs -P 8 -i dtc -I dtb -O dts -o system.dtb.dts system.dtb 步骤8：修改DTS 如果发现DTS不符合要求，需要更改DTS。
1.3K20编辑于 2023-10-16 - 来自专栏机器学习算法与Python学习
8个技巧让Vim菜鸟变专家
8. 日期（date） 在许多场景下，你需要给文件加上日期。这一操作缓慢且乏味。 相关链接： https://medium.com/swlh/8-vim-tricks-that-will-take-you-from-beginner-to-expert-817ff4870245
98020发布于 2019-10-21 k8s纯源码解读课程，助力你变成k8s专家
随着云计算的快速发展和容器化技术的广泛应用，Kubernetes（K8s）已经成为了当今 IT 基础设施中的关键组成部分。 本文将从以下几个方面展开，探讨 K8s 的源码解读和科技能力的突破，以期为未来的云原生专家提供一种全新的视角和深入理解。1. API Server 是 K8s 集群的入口，负责处理所有的 REST 请求，并通过 etcd 存储和管理集群状态。 在学习的过程中，如何快速掌握 K8s 核心模块的架构，并能从全局的角度理解其内部工作机制，是一大挑战。 未来云原生专家的必备能力未来的云原生专家不仅需要掌握容器技术和编排平台的基础知识，还需要具备以下几个方面的能力：技术深度与源码解读能力：能够深入剖析 Kubernetes 的源码，从内部实现的角度理解其工作原理和架构设计
25510编辑于 2025-11-28- 来自专栏大模型系列
国产大模型杀疯了！DeepSeek V4 开源 1.6 万亿 MoE，推理成本仅 GPT-4 的 1/70
2.1MoE基础：稀疏激活的魔法混合专家（MixtureofExperts,MoE）的核心思想是“千军万马，只调精锐”。 2.2双轴稀疏架构：DeepSeekV4的独门绝技DeepSeekV4在传统MoE基础上，创新性地提出“双轴稀疏”（Two-AxisSparsity）：（1）专家轴稀疏（ExpertSparsity）动态路由 （2）注意力轴稀疏（AttentionSparsity）CSA（CompressedSparseAttention）：结合局部窗口与全局采样，降低O(n²)复杂度；HCA（HierarchicalContextAttention ）：按语义层级（句子→段落→章节）构建注意力，提升长文本理解；动态稀疏调度：根据内容重要性自动调整稀疏度，关键信息不丢失。 第四章：性能实测——全面对标GPT-44.1通用能力基准基准V4-ProGPT-4优势MMLU（57学科）86.285.7+0.5GSM8K（数学）78.5%74.4%+4.1%HumanEval（代码
31820编辑于 2026-05-16 - 来自专栏北京马哥教育
天龙八部：8步从Python白板到专家
http://www.kaggle.com/ 8、深度学习 终于看到这个，兴奋吧？！现在，你已经学到了绝大多数关于机器学习的技术，是时候试试深度学习了。
1.2K50发布于 2018-05-02 - 来自专栏AI进修生
全球首创4090推理！昆仑万维开源Skywork-MoE模型：2千亿参数架构、训练与评估（技术浅析）
具体来说，GPT-4采用了Mixture of Experts (MoE)架构，每个专家模型都有2200亿个参数，共计8个这样的模型。 下面这张8头怪，看起来就像现在的GPT-4。 通过MoE架构的稀疏激活机制，可以在不牺牲性能的前提下减少计算资源的需求 小结一下 DeepSpeed为大规模模型提供了强大的优化支持，MoE架构通过专家模块提升了模型的处理能力，而Upcycling技术将二者结合 推理成本低： • 稀疏激活机制：Skywork-MoE利用稀疏激活机制，仅在推理时激活一部分参数（20B），大幅降低计算成本和资源消耗，几乎减少了3倍的推理成本。 3. : • X轴：Token (B) • Y轴：训练损失 • 观察: 绿色曲线(init_300b-const)在100B Tokens结束时显示出最低的训练损失。 init_300b-3xLR (红色) • 轴标签: • X轴：Token (B) • Y轴：专家相似性 • 观察: 绿色曲线(init_300b-const)在整个训练过程中保持了较高的专家相似性，
89510编辑于 2024-12-02 - 来自专栏移动机器人
看完这8篇论文，你会完全掌握桌面六轴协作机器人！
今天，给大家推荐一些协作机器人的论文，这些论文均来自国内外各所知名高校，这8篇论文资料，主要使用的产品是桌面六轴协作机器人mycobot系列，建议收藏学习。 我们将方法应用于一个低刚度的6轴机械臂-MyCobot，并通过进行基于视觉伺服的物体抓取实验确认其有效性。 ④ 机器人触摸发送慰问：发送者和接收者的不同观点 作者：Rachel H. Y.
1.2K20编辑于 2022-12-09 - 来自专栏灯塔大数据
2016年大数据专家值得期待的8件事
当然，这在聘用大数据专家时也一样奏效。数据质量总监、软件工程师、平台软件工程师、数据库工程师、大数据平台工程师，安全分析师，分析师和信息系统开发管理工作这些职位都需要精通大数据。 在此列举八件2016年大数据专家值得期待的事： 1. 收入增长 如果你有大数据的专业技能，说不定你可以拿到124000美元年薪，其中不包括奖金及其它补贴哦。 2. 更多行业将用到大数据 多个行业将需要大数据专家，比如：制造业、金融保险业、零售业、信息技术，以及其他科学及技术服务业。专家们认为，像制造业这样的垂直市场的投资回报率是最高的。 8.
54160发布于 2018-04-10
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号