- 综合排序
- 最热优先
- 最新优先
- 来自专栏python库介绍
Python库介绍7 数组的轴
numpy中，数组的轴(axis)是一个重要概念，轴的个数等于数组的维数以下面这个数组为例：这是个二维数组，它一共有两条轴，分为为0轴和1轴有了轴以后，我们可以通过轴索引来访问数组的元素import numpy (1,10)a=a.reshape(3,3)print(a)print(a[1,2])我们构建了一个2维数组a，通过a[1,2]取出了数组a的第2行第3个元素（值为6）放括号中的1、2分别为数组a的0轴、 1轴索引三维数组的轴有三条分别代表数组的长度、宽度和深度下面我们创建一个三维数组：import numpy as npa=np.arange(11,20)b=np.arange(21,30)c=np.arange
47510编辑于 2024-05-10 深度学习前沿：稀疏专家模型（MoE）门控机制的探索
稀疏专家模型（MoE）概述 在深度学习领域，稀疏专家模型（Mixture of Experts, MoE）正成为处理超大规模模型的重要范式。 2021年Google推出的Switch Transformer将专家数量扩展到数千个，验证了超大规模稀疏模型的可行性。 负载均衡的数学建模 在稀疏专家模型（MoE）的架构中，负载均衡问题直接决定了模型的计算效率和资源利用率。 这个1571B参数的巨型模型采用动态门控机制，在预训练任务中展现出惊人的效率——相比传统T5-XXL（11B）稠密模型，其样本效率提升达7倍。 未来展望与挑战 技术演进的三重突破方向 当前稀疏专家模型（MoE）的门控机制正面临从"可用"到"好用"的关键跃迁阶段。
1.7K10编辑于 2025-08-27- 来自专栏智能生信
稀疏混合专家融合是领域泛化的学习者
在这项工作中，作者通过利用分布式处理跨领域预测特征的多个方面，揭示了混合专家（MoE）模型在DG上的可泛化性。 为此，作者提出了稀疏融合混合专家模型（SF-MoE），该模型将稀疏性和融合机制结合到MoE框架中，以保持模型的稀疏性和预测性。 SF-MoE有两个专用模块：稀疏块和融合块，分别对对象的不同学习信号进行分离和聚合。大量实验表明，SF-MoE是大规模基准测试领域的可泛化学习者。
51420编辑于 2022-12-29 - 来自专栏时空探索之旅
Moirai-MoE: 稀疏混合专家赋能时间序列基础模型
频率挑战 为了解决上述问题，作者提出了全新的时间序列统一训练解决方案Moirai-MoE，其核心思想是利用单个输入/输出投影层，同时将各种时间序列模式的建模委托给 Transformer层中的稀疏混合专家 基于稀疏混合专家的时序基础模型 Moirai-MoE构建在它的前序工作Moirai之上。 但其主要改进在于：Moirai-MoE不使用多个启发式定义的输入/输出投影层来对具有不同频率的时间序列进行建模，而是使用单个输入/输出投影层，同时将捕获不同时间序列模式的任务委托给Transformer中的稀疏混合专家 稀疏混合专家Transformer 通过用MoE层替换Transformer的每个FFN来建立专家混合层。该MoE层由个专家网络和一个门控函数组成。 每个token只激活一个专家子集，从而允许专家专注于不同模式的时间序列数据并确保计算效率。在Moirai-MoE中，作者探索了不同的门控函数。
75400编辑于 2024-11-19 - 来自专栏月色的自留地
从锅炉工到AI专家(7)
随后一般就需要算法的专家上场。不过大多数公司在开始都没有这样的人才，因此更多的可能是程序人员代替，或者太独特的项目就需要外援专家。 在正规的IT公司一般是聘请比较资深的数学专家配合技术人员完成这部分工作。 接下来会根据数学模型的要求，确定需要收集的数据，并预估数据量。 这部分工作一般需要数学的专家和程序人员配合一起完成。所以这时候程序人员要多听取算法人员的意见，挑选更能说明算法问题的监控环节。调优完成后一般可以去掉大部分耗时的监视代码，只留下算法核心的部分。 其实主要是强调算法专家的角色和数据收集的工作。这两组人员在一般的项目中是没有或者位置并不是很重要的。但是在机器学习项目中，往往是核心部分。
75660发布于 2018-06-20 - 来自专栏机器之心
可与ViT一较高下，DeepMind从稀疏转向Soft混合专家模型
稀疏混合专家模型（MoE）是一种很有前途的替代方案，可以在计算成本较少的情况下，扩展模型的大小。 稀疏 MoE Transformer 有一个关键的离散优化问题：决定每个输入 token 应该使用哪些模块。这些模块通常是称为专家的 MLP。 论文地址：https://arxiv.org/pdf/2308.00951.pdf Soft MoE 不采用稀疏且离散的路由器在 token 和专家之间进行硬分配（hard assignment），而是通过混合 作为对比，稀疏 MoE 方法通常采用的是硬分类。 其次 Soft MoE 没有 token dropping 和专家不平衡。 因此，Soft MoE 的速度明显要快于大多数稀疏 MoE，具体如下图 6 所示。 Soft MoE 还兼具稀疏和密集的特点。稀疏 MoE 的稀疏性来自于专家参数仅应用于输入 token 的子集。
35410编辑于 2023-09-08 - 来自专栏大模型系列
解密 DeepSeek V4：双轴稀疏 MoE + Engram 记忆 + Muon 优化器，如何打造高效万亿模型？
其采用先进的双轴稀疏设计、优化的混合注意力机制、全栈国产化适配等关键技术，构建了一个高效、普惠、安全的大模型生态系统。 在推理过程中，通过一个“门控网络”（GatingNetwork）动态选择最合适的专家组合，实现稀疏激活。 2.2双轴稀疏架构（Two-AxisSparsity）DeepSeekV4最核心的创新之一是“双轴稀疏架构”，即在两个维度上同时实现稀疏化：2.2.1专家维度稀疏（ExpertSparsity）专家维度稀疏是 通过双轴稀疏架构，DeepSeekV4成功将100万Token上下文的推理计算量压缩至前代模型的个位数百分比，实现了长文本处理的革命性突破。 其创新的MoE架构、双轴稀疏设计、混合注意力机制、Engram记忆架构等技术突破，不仅解决了超大规模模型的效率问题，更在长上下文处理、推理性能、成本控制等方面实现了全面领先。
22220编辑于 2026-05-16 - 来自专栏机器学习/数据可视化
D3.js库-7-坐标轴的使用
D3.js库-7-添加坐标轴 坐标轴 坐标轴是可视化图表中经常出现的一种图形，由一些刻度和线列段组成。D3中是没有现成的坐标轴，SVG中因而没有现成的图形元素，需要通过D3提供的其他组件来手动添加。 坐标轴构成 在SVG画布的预定义元素中，有6种基本的图形： 矩形 圆形 椭圆 线段 折线 多边形 还有一种特殊的元素就是：路径path 几乎画布中的所有图形都是由以上7种元素构成的。 定义一个坐标轴 定义一个坐标轴需要使用上一篇文章中使用的比例尺。它们二者经常是一起使用的。 .ticks(7); // 坐标轴上的刻度数 g.append("g") // 追加足够多的g元素 .attr("transform","translate(" + 30 + (dataset.length var xAxis = d3.axisBottom(xScale) // 向下的坐标轴 .ticks(7); // 刻度数为7
3.7K10发布于 2021-03-01 - 来自专栏机器人网
人手臂是7个自由度？工业机器人六轴和七轴有何区别？
目前，应用的最多的工业机器人，一般都是六轴的，但是最近有人机协作机械臂，却推出了7个自由度？哪不一样了？ 据称，这7个自由度是对人手臂的真实还原。 有人问5，6是不是一样的。 然而为什么人手臂是7个自由度，而不是8个也不是6个？ 首先，6个自由度的机械手，在空间中无法在保持末端机构的三维位置不变的情况下从一个构型变换到另一个构型。 人能够实现这个简单的动作，就是因为我们的胳膊有7个自由度。 这也意味着，末端机构有6个自由度（三维位置，三维旋转），而胳膊作为一个机械手，有7个自由度，这两个自由度好像说的不是一回事，但是数量上7-6=1，所以这1个自由度我能拿来拧钥匙。
7.3K41发布于 2018-04-19 - 来自专栏大模型系列
打破幻觉与成本魔咒：DeepSeek-V4 如何用双轴稀疏架构重塑大模型未来？
DeepSeek-V4的“双轴稀疏架构”正是对这一时代命题的响亮回答。 第二章：核心理念——从“单轴”到“双轴”的范式跃迁在DeepSeek-V4之前，主流的稀疏化技术是混合专家（MixtureofExperts,MoE）。 MoE通过为每个输入Token动态选择激活少量“专家”子网络，实现了条件计算（ConditionalComputation），即只在需要时才进行计算。这是一种单轴稀疏，其稀疏性仅体现在“计算”维度上。 这构成了其双轴稀疏架构的核心：第一轴：MoE-条件计算：负责动态的、复杂的逻辑推理和创造性任务。第二轴：Engram-条件记忆：负责高效、精准地存储和检索静态的、确定性的事实知识。 这场由“双轴稀疏”引发的架构革命，正在深刻地重塑大模型的未来格局。
43220编辑于 2026-04-24 - 来自专栏科控自动化
S7-1500T 轴优化的三种方法
1 轴优化的相关因素 1.1 轴稳定性相关因素 2 提升稳定性的优化方法 2.1 优化方法一、通过修改运动曲线的方法提升稳定性 2.2 优化方法二、通过使用专用程序块提升稳定性 2.3 优化方法三、通过调整预控和平衡时间常数提升稳定性. 1 轴提升稳定性的相关因素 1.1 轴稳定性相关因素 1. 轴的运动控制的基础是通过速度曲线进行。速度曲线根据动态参数由工艺对象进行自动计算。一个速度曲线可以定义在逼近、制动和速度改变等期间轴的特性。定位期间，将计算速度曲线，并将轴移至目标点。 使用此程序块时，轴以某种特殊方式定位，以便尽可能少地激发负载振荡。这样可以显着减少负载侧的振荡，而无需增加额外的编码器。该应用程序与所有 S7-1500 控制器兼容。 图7 参数设置 速度控制回路的替代时间是速度控制环的简化模型参数。它可以防止位置控制器在加速和减速阶段叠加受控速度变量。
2.2K21编辑于 2022-03-29 - 来自专栏机器之心
30年历史回顾，Jeff Dean：我们整理了一份「稀疏专家模型」研究综述
机器之心报道 机器之心编辑部 30年时间，稀疏专家模型已逐渐成为一种很有前途的解决方案。 稀疏专家模型是一个已有 30 年历史的概念，至今依然被广泛使用，是深度学习中的流行架构。 稀疏专家模型已成为一种很有前途的解决方案。 稀疏专家模型（其中，混合专家系统（MoE）是最流行的变体）是一种特殊的神经网络，其中一组参数被划分为 “专家”，每个“专家” 具有唯一的权重。 ., 2021），进一步复杂化了对稀疏专家模型的理解。 上游扩展 稀疏专家模型在大型数据集上训练时表现出色。 ., 2021) 在 T5 模型上使用相同的计算资源测量到 4-7 倍的 wall-time 加速。该工作还研究了作为参数计数函数的交叉熵损失扩展，但观察到超过 256 位专家时，收益减少了。 稀疏专家模型的迅速发展 稀疏专家模型的影响正在迅速蔓延到NLP以外的其他领域，包括计算机视觉、语音识别和多模态应用。
72530编辑于 2022-10-08 - 来自专栏CSDN技术头条
数据专家必知必会的7款Python工具
如果你有志于做一个数据专家，你就应该保持一颗好奇心，总是不断探索，学习，问各种问题。 在线入门教程和视频教程能帮你走出第一步，但是最好的方式就是通过熟悉各种已经在生产环境中使用的工具而为成为一个真正的数据专家做好充分准备。 我咨询了我们真正的数据专家，收集整理了他们认为所有数据专家都应该会的七款 Python 工具。
1.2K60发布于 2018-02-13 - 来自专栏企鹅号快讯
数据专家必知必会的 7款Python 工具
print#rd 如果你有志于做一个数据专家，你就应该保持一颗好奇心，总是不断探索，学习，问各种问题。 在线入门教程和视频教程能帮你走出第一步，但是最好的方式就是通过熟悉各种已经在生产环境中使用的工具而为成为一个真正的数据专家做好充分准备。 我咨询了我们真正的数据专家，收集整理了他们认为所有数据专家都应该会的七款 Python 工具。 支持代码，纯文本，数学公式，内置图表和其他富媒体 支持交互数据可视化和图形界面工具 灵活，可嵌入解释器加载到任意一个自有工程里 简单易用，用于并行计算的高性能工具 由数据分析总监，Galvanize 专家 由 Galvanize 专家，数据科学家 Nir Kaldero 提供。 PuLP 线性编程是一种优化，其中一个对象函数被最大程度地限制了。PuLP 是一个用 Python 编写的线性编程模型。
1.4K60发布于 2018-01-12 - 来自专栏华章科技
数据专家必知必会的7款Python工具
如果你有志于做一个数据专家，你就应该保持一颗好奇心，总是不断探索，学习，问各种问题。 在线入门教程和视频教程能帮你走出第一步，但是最好的方式就是通过熟悉各种已经在生产环境中使用的工具而为成为一个真正的数据专家做好充分准备。 我咨询了我们真正的数据专家，收集整理了他们认为所有数据专家都应该会的七款 Python 工具。
80930发布于 2018-08-16 - 来自专栏网络安全技术点滴分享
零信任架构实施指南：7个专家步骤详解
如何实施零信任：7个专家步骤零信任不仅关乎用户访问资源的方式，更是一种网络安全模型。成功实施需要时间投入、坚定承诺和持续支持。 组建专业团队成立专项小组负责迁移工作成员需覆盖应用/数据/网络/基础设施等多领域安全专家开展零信任原理与实施方法培训2. 渐进式部署优先部署SSO等用户体验提升措施通过技术团队试点验证方案可行性建立持续优化机制7.
69310编辑于 2025-07-26 - 来自专栏机器之心
手把手教你，从零开始实现一个稀疏混合专家架构语言模型（MoE）
选自huggingface 机器之心编译 机器之心编辑部 本文介绍了实现一个稀疏混合专家语言模型（MoE）的方法，详细解释了模型的实施过程，包括采用稀疏混合专家取代传统的前馈神经网络，实现 top-k 内容简介 在混合专家模型 Mixtral 发布后，混合专家模型（MoE）越来越受到人们的关注。在稀疏化的混合专家语言模型中，大部分组件都与传统的 transformers 相同。 不过，每个区块的结构发生了巨大的变化：标准的前馈神经网络被多个稀疏激活的前馈网络（即专家网络）所取代。所谓「稀疏激活」，是指序列中的每个 token 只被分配给有限数量的专家（通常是一个或两个）。 这个过程的关键和难点是避免不必要的乘法运算，只为前 k 名专家进行正向转播。为每个专家执行前向传播将破坏使用稀疏 MoE 的目的，因为这个过程将不再是稀疏的。 索引确定了被激活的专家是哪些， 对应的值又决定了权重大小。下图进一步解释了加权求和的概念。 模块整合 将多头自注意力和稀疏混合专家相结合，形成稀疏混合专家 transformer 块。
2.8K11编辑于 2024-02-26 - 来自专栏PPV课数据科学社区
大数据专家：大数据7大最奇特应用
近来，我盘点了7个最有趣、最独特的大数据应用，以及它们可能对我们的生活产生的影响。 1.大数据广告牌 户外营销公司Route正使用大数据在广告牌、长椅以及公交车两侧的广告空间上设定定价模式。 7.大数据胸罩 True&Co 网站正利用大数据帮助女性寻找号码更合适的胸罩。统计数据显示，大多数女性都戴错了胸罩的号码，为此这家网站试图帮助解决这个问题。 知识无极限 6、回复“啤酒”查看数据挖掘关联注明案例-啤酒喝尿布 7、回复“栋察”查看大数据栋察——大数据时代的历史机遇连载 8、回复“数据咖”查看数据咖——PPV课数据爱好者俱乐部省分会会长招募 9、
1.2K50发布于 2018-04-20 - 来自专栏目标检测和深度学习
全球最全计算机视觉资料（7：领域专家）
领域专家 （水平有限，漏了很多大牛，欢迎大家提建议和补充，会一直保持更新） 华人机构和学者 旷视首席科学家, 前MSRA首席研究员 孙剑 [http://www.jiansun.org/] - CI2CV Computer Vision Lab: https://computervisiononline.com/blog/awesome-computer-vision-groups 7. Laboratory of Robotics and Automation: https://computervisiononline.com/blog/awesome-computer-vision-groups 7. Processing and Computer Vision Lab: https://computervisiononline.com/blog/awesome-computer-vision-groups 7.
2.5K10发布于 2018-07-20 - 来自专栏机器之心
为内存塞不下Transformer犯愁？OpenAI应用AI研究负责人写了份指南
(1) 对矩阵中的列进行排列可以在剪枝过程中提供更多可能，以保持参数的数量或满足特殊限制，如 N:M 稀疏性。只要两个矩阵对应的轴按相同的顺序排列，矩阵乘法的结果就不会改变。 例如，(1) 在自注意力模块中，如果 query 的嵌入矩阵 Q 的轴 1 和 key 嵌入矩阵 K^⊤的轴 0 采用相同的排列顺序，则 QK^⊤的矩阵乘法最终结果保持不变。 图 7. Q（轴 1）和 K^⊤（轴 0）上相同排列，自注意力模块的结果不变。 W_1（轴 1）和 W_2（轴 0）上有着相同的排列，可以保持 FFN 层的输出不变。为简单起见，图示省略了偏差项，但也应对它们应用相同的排列。 7. 使用内核：使用内核可以让自注意力机制的公式书写起来更简单。需要注意的使，这里的内核是指内核方法中的内核，而不是 GPU 操作程序。 8.
2.5K30编辑于 2023-03-29
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号