- 综合排序
- 最热优先
- 最新优先
- 来自专栏Python机器学习算法说书人
SciPy 稀疏矩阵（5）：CSR
当然，构造实例的方法主要有 5 种： csr_matrix(D)：D 是一个普通矩阵（二维数组）。 csr_matrix(S)：S 是一个稀疏矩阵。 np.array([0, 0, 1, 2, 2, 2]) >>> col = np.array([0, 2, 2, 0, 1, 2]) >>> data = np.array([1, 2, 3, 4, 5, 6]], dtype=int32) 通过第 5 种实例化方法实例化一个稀疏矩阵： >>> indptr = np.array([0, 2, 3, 6]) >>> indices = np.array( =(3, 3)).toarray() array([[1, 0, 2], [0, 0, 3], [4, 5, 6]]) 依旧是通过元素值序列、行索引序列以及列索引序列来实例化一个 最后还是通过第 5 种实例化方法实例化一个稀疏矩阵，但是这里很明显和之前不一样的地方就是它第 1 行的列索引存在重复，出现了 2 次 0，在这里处理的方式是把一行中重复列索引的对应值相加，和 COO 格式的稀疏矩阵差不多
99210编辑于 2024-06-13 深度学习前沿：稀疏专家模型（MoE）门控机制的探索
稀疏专家模型（MoE）概述 在深度学习领域，稀疏专家模型（Mixture of Experts, MoE）正成为处理超大规模模型的重要范式。 负载均衡的数学建模 在稀疏专家模型（MoE）的架构中，负载均衡问题直接决定了模型的计算效率和资源利用率。 一个典型的实现案例是Google的GLaM模型，其噪声路由模块包含： 专家选择直方图监控 基于滑动窗口的负载检测 自适应噪声缩放因子 当系统检测到前5%的专家处理了超过30%的请求时，会自动增大其他专家的噪声偏置 \quad \text{latency} \leq 50\text{ms} 在保证毫秒级响应的前提下，实现了专家负载的标准差控制在5%以内。 这催生了新一代"路由感知"的芯片架构设计，如TPU v5采用的专家局部性缓存技术，但专用硬件与通用计算平台的兼容性矛盾依然存在。 训练动态不稳定性是另一个深层挑战。
1.7K10编辑于 2025-08-27- 来自专栏智能生信
稀疏混合专家融合是领域泛化的学习者
在这项工作中，作者通过利用分布式处理跨领域预测特征的多个方面，揭示了混合专家（MoE）模型在DG上的可泛化性。 为此，作者提出了稀疏融合混合专家模型（SF-MoE），该模型将稀疏性和融合机制结合到MoE框架中，以保持模型的稀疏性和预测性。 SF-MoE有两个专用模块：稀疏块和融合块，分别对对象的不同学习信号进行分离和聚合。大量实验表明，SF-MoE是大规模基准测试领域的可泛化学习者。 它在5个大型DG数据集（如DomainNet）中的表现优于最先进的同类模型2%以上，计算成本相同甚至更低。作者进一步从分布式表示的角度（如视觉属性）揭示了SF-MoE的内部机制。
51420编辑于 2022-12-29 - 来自专栏时空探索之旅
Moirai-MoE: 稀疏混合专家赋能时间序列基础模型
频率挑战 为了解决上述问题，作者提出了全新的时间序列统一训练解决方案Moirai-MoE，其核心思想是利用单个输入/输出投影层，同时将各种时间序列模式的建模委托给 Transformer层中的稀疏混合专家 基于稀疏混合专家的时序基础模型 Moirai-MoE构建在它的前序工作Moirai之上。 但其主要改进在于：Moirai-MoE不使用多个启发式定义的输入/输出投影层来对具有不同频率的时间序列进行建模，而是使用单个输入/输出投影层，同时将捕获不同时间序列模式的任务委托给Transformer中的稀疏混合专家 稀疏混合专家Transformer 通过用MoE层替换Transformer的每个FFN来建立专家混合层。该MoE层由个专家网络和一个门控函数组成。 每个token只激活一个专家子集，从而允许专家专注于不同模式的时间序列数据并确保计算效率。在Moirai-MoE中，作者探索了不同的门控函数。
75400编辑于 2024-11-19 - 来自专栏数控编程社区
翼型零件的5轴铣削工艺
加工方钢刀片的5轴工艺 考虑过程的第一步翼型件的工艺方案的制定。根据产品的结构特点，以及精度等级和技术要求，确定最稳定的装夹方式和最合理的加工方法。 整个流程安排如下： 1、在五轴立式机床上，一次装夹。 首先加工方钢的夹紧工艺凸台，两端采用中心孔加工定位用的中心孔，充分保证了所有工艺基准的一致性； 2、通过工艺凸台和中心孔在五轴机床上定位，并在一端紧固夹具一端； 3、装夹牢固后，先整体去除大面积的加工余量 相应调整刀的长度，然后加工直至两侧对齐；然后，用最终调整的刀具长度，精密铣削尾座内侧的内表面； 5、重复上述步骤和在线测量调整刀长的方法，使准驱动端夹具的两侧，以及该部分的内表面； 6、然后粗铣表面和两个圆角的过渡处 最后与工程人员沟通后，只好把半圆槽放在三轴设备上。
42910编辑于 2023-12-19 - 来自专栏机器之心
可与ViT一较高下，DeepMind从稀疏转向Soft混合专家模型
稀疏混合专家模型（MoE）是一种很有前途的替代方案，可以在计算成本较少的情况下，扩展模型的大小。 稀疏 MoE Transformer 有一个关键的离散优化问题：决定每个输入 token 应该使用哪些模块。这些模块通常是称为专家的 MLP。 作为对比，稀疏 MoE 方法通常采用的是硬分类。 其次 Soft MoE 没有 token dropping 和专家不平衡。 因此，Soft MoE 的速度明显要快于大多数稀疏 MoE，具体如下图 6 所示。 Soft MoE 还兼具稀疏和密集的特点。稀疏 MoE 的稀疏性来自于专家参数仅应用于输入 token 的子集。 下图 5 展示了这些模型。
35410编辑于 2023-09-08 - 来自专栏月色的自留地
从锅炉工到AI专家(5)
图像识别基本原理 从上一篇开始，我们终于进入到了TensorFlow机器学习的世界。采用第一个分类算法进行手写数字识别得到了一个91%左右的识别率结果，进展可喜，但成绩尚不能令人满意。 结果不满意的原因，当然还是算法太简单了。尽管我们都已经接受了“所有问题都可以用数学公式来描述”这个观点，但直接把一幅图片展开的784个数字作为方程式参数进行一个线性运算+非线性分类器就叫做“人工智能”怎么都感觉那么不靠谱...至于能得到91%不高的识别率，从这个意义上说，似乎都令人有点不太相信。这个不相信不是指91%太低了
83640发布于 2018-06-20 - 来自专栏大模型系列
解密 DeepSeek V4：双轴稀疏 MoE + Engram 记忆 + Muon 优化器，如何打造高效万亿模型？
其采用先进的双轴稀疏设计、优化的混合注意力机制、全栈国产化适配等关键技术，构建了一个高效、普惠、安全的大模型生态系统。 在推理过程中，通过一个“门控网络”（GatingNetwork）动态选择最合适的专家组合，实现稀疏激活。 2.2双轴稀疏架构（Two-AxisSparsity）DeepSeekV4最核心的创新之一是“双轴稀疏架构”，即在两个维度上同时实现稀疏化：2.2.1专家维度稀疏（ExpertSparsity）专家维度稀疏是 通过双轴稀疏架构，DeepSeekV4成功将100万Token上下文的推理计算量压缩至前代模型的个位数百分比，实现了长文本处理的革命性突破。 其创新的MoE架构、双轴稀疏设计、混合注意力机制、Engram记忆架构等技术突破，不仅解决了超大规模模型的效率问题，更在长上下文处理、推理性能、成本控制等方面实现了全面领先。
22220编辑于 2026-05-16 - 来自专栏小尘哥的专栏
移动端H5的简单时间轴效果
最近给移动端写接口，写完了才告诉我其中两个页面是H5的，需要我这边来做。本着“我是公司一块砖，哪里需要哪里搬”的原则，让做就做。结果一看原型，还有时间轴效果。 第一反应：找度娘，找github，找oschina~~~确实也有不少的时间轴插件，但是总觉得都太花哨了，大道至简，自己来一个吧。 Talk is cheap,show me the code. 时间轴部分主要代码 ? 开始撸代码(CSS部分) 气泡效果的小箭头 ? 其他样式定位（包括 时间轴的线和点） ?
2K20发布于 2018-08-15 - 来自专栏大模型系列
打破幻觉与成本魔咒：DeepSeek-V4 如何用双轴稀疏架构重塑大模型未来？
DeepSeek-V4的“双轴稀疏架构”正是对这一时代命题的响亮回答。 第二章：核心理念——从“单轴”到“双轴”的范式跃迁在DeepSeek-V4之前，主流的稀疏化技术是混合专家（MixtureofExperts,MoE）。 MoE通过为每个输入Token动态选择激活少量“专家”子网络，实现了条件计算（ConditionalComputation），即只在需要时才进行计算。这是一种单轴稀疏，其稀疏性仅体现在“计算”维度上。 这构成了其双轴稀疏架构的核心：第一轴：MoE-条件计算：负责动态的、复杂的逻辑推理和创造性任务。第二轴：Engram-条件记忆：负责高效、精准地存储和检索静态的、确定性的事实知识。 这场由“双轴稀疏”引发的架构革命，正在深刻地重塑大模型的未来格局。
43220编辑于 2026-04-24 - 来自专栏机器之心
30年历史回顾，Jeff Dean：我们整理了一份「稀疏专家模型」研究综述
著名的里程碑语言模型包括 GPT-2（Radford et al., 2018）、BERT（Devlin et al., 2018）、T5（Raffel et al., 2019）、GPT-3（Brown 稀疏专家模型已成为一种很有前途的解决方案。 稀疏专家模型（其中，混合专家系统（MoE）是最流行的变体）是一种特殊的神经网络，其中一组参数被划分为 “专家”，每个“专家” 具有唯一的权重。 ., 2021），进一步复杂化了对稀疏专家模型的理解。 上游扩展 稀疏专家模型在大型数据集上训练时表现出色。 ., 2021) 在 T5 模型上使用相同的计算资源测量到 4-7 倍的 wall-time 加速。该工作还研究了作为参数计数函数的交叉熵损失扩展，但观察到超过 256 位专家时，收益减少了。 研究结果如下图 5 所示，虽然较大的密集模型和稀疏模型的校准都得到了改善，但稀疏模型与使用 10 倍以上 FLOP 的密集模型的校准相当。
72530编辑于 2022-10-08 - 来自专栏机器学习/数据可视化
Highcharts-5-属性倾斜、区间变化、多轴柱状图
Highcharts-5-柱状图3 本文中介绍的是3种柱状图相关设置： x轴属性倾斜设置 区间变化柱状图（温度为例） 多轴图形 highcharts保存文件 H.save_file('highcharts 在实际的需求中，我们可能需要将多个图形放在一个画布中，并且共用一个x轴，下面? 通过Highcharts来实现这个需求 效果 看看某个城市一年的天气和下雨量的数据展示效果： X轴共用 坐标轴在左右两侧 折线图的实心点和虚点 图例的设置 代码 下面是代码完整解释，主要包含： 配置项的解释 如何绘制多轴的图形 如何进行添加数据 ⚠️：数据添加的顺序和坐标轴的顺序必须保持一致 from highcharts import Highchart H = Highchart(width=850, tooltip: { backgroundColor: '#FCFFC5', // 背景颜色 borderColor: 'black', // 边框颜色 borderRadius
3.2K20发布于 2021-03-01 - 来自专栏云计算D1net
混合云策略的5个专家建议
混合云的动态特性要求组织具有意愿来定期审查和更新其战略以及执行情况，因此可以考虑采用专家的一些建议。混合云需要建立一些重要的基础，其理想情况是从一开始就建立，这些基础将为组织不断取得成果奠定基础。 混合云的动态特性要求组织具有意愿来定期审查和更新其战略以及执行情况，因此可以考虑采用专家的一些建议。 即使组织一开始无意中采用混合云，为其成功运营做好计划还为时不晚。 混合云策略取得成功的5个因素 混合云需要建立一些重要的基础，其理想情况是从一开始就建立，这些基础将为组织不断取得成果奠定基础。行业专家为成功实施混合云策略提供了一些建议。 (5)关注安全情况 如果组织的内部部署环境的安全状况较差，则可能会在其混合云中扩散。虽然任何有价值的云平台或服务都会在安全性方面投入大量资金，但这并不意味着可以避免一些麻烦。
56510发布于 2020-11-04 - 来自专栏机器之心
手把手教你，从零开始实现一个稀疏混合专家架构语言模型（MoE）
选自huggingface 机器之心编译 机器之心编辑部 本文介绍了实现一个稀疏混合专家语言模型（MoE）的方法，详细解释了模型的实施过程，包括采用稀疏混合专家取代传统的前馈神经网络，实现 top-k 不过，每个区块的结构发生了巨大的变化：标准的前馈神经网络被多个稀疏激活的前馈网络（即专家网络）所取代。所谓「稀疏激活」，是指序列中的每个 token 只被分配给有限数量的专家（通常是一个或两个）。 3]], [[3, 5], [7, 3], [3, 6], [1, 0]]])) 创建稀疏化的混合专家模块 在获得门控网络的输出结果之后 这个过程的关键和难点是避免不必要的乘法运算，只为前 k 名专家进行正向转播。为每个专家执行前向传播将破坏使用稀疏 MoE 的目的，因为这个过程将不再是稀疏的。 索引确定了被激活的专家是哪些， 对应的值又决定了权重大小。下图进一步解释了加权求和的概念。 模块整合 将多头自注意力和稀疏混合专家相结合，形成稀疏混合专家 transformer 块。
2.8K11编辑于 2024-02-26 - 来自专栏计算摄影学
光学词汇12-透镜5-垂轴放大率
垂轴放大率（Transverse Magnification）是指光学系统中，像的垂轴尺寸与物的垂轴尺寸的比值。它是评估光学系统放大或缩小图像能力的一个重要参数。 垂轴放大率较大的光学系统，如显微镜和望远镜，能够将物体放大到更大的尺寸，使观察者可以更清晰地看到物体的细节。 垂轴放大率可以影响图像的大小和清晰度，较高的垂轴放大率通常能得到更大但可能较暗的图像，因为同样的光线被扩展到更大的区域。 垂轴放大率在光学设计中具有重要意义，因为它可以帮助光学设计师优化光学系统的性能，以满足特定的应用需求，比如需要放大观察的显微镜设计，或需要接近原始尺寸成像的相机镜头设计。 垂轴放大率也与光线的传播和聚焦有关，因此对于光学系统的成像效果和光学性能具有重要影响。了解垂轴放大率如何影响图像的大小和清晰度，可以帮助我们更好地理解和利用光学系统。
1.3K40编辑于 2023-09-01 - 来自专栏蚂蚁开源社区
HTML5+CSS3响应式垂直时间轴，高端，大气
HTML5+CSS3响应式垂直时间轴，使用了HTML5标签
，时间轴中所有的内容包括标题、简介、时间和图像都放在.cd-timeline-block的DIV中，多个DIV形成一个序列，并把这些 CSS3响应式垂直时间轴</title> <link rel="stylesheet" href="style.css" /> <style type="text/css"> h2.top_title CSS3响应式垂直时间轴
请使用IE9+或Chrome，Firefox高级浏览器或手机访问本页 <section id="cd-timeline" class CSS3响应式垂直时间轴网页时间轴一般用于展示以时间为主线的事件，如企业网站常见的公司发展历程等。 本文将给大家介绍一款基于HTML5和CSS3的漂亮的垂直时间轴，它可以响应页面布局，适用于HTML5开发的PC和移动手机WEB应用。
2.3K20发布于 2019-08-09 - 来自专栏人工智能快报
专家展望未来5年深度学习技术的发展
2015年12月29日，美国科技资讯网Re-work发文，总结了多位深度学习专家对未来5年深度学习技术的发展预测。 今天，仅仅通过改进网络结构和使用更好的培训方法，我们设计出的视觉网络就可以比一年前使用昂贵部件的系统便宜5-10倍、参数少15倍，却具有更好的性能。 （5）加州大学伯克利分校计算机科学副教授、Gradescope网联合创始人Pieter Abbeel：当前有很多基于深度监督学习和视频缩放技术的行业，正在努力使深度学习超越当前自然语言处理的方法，并在深度无监督学习和深度强化学习方面取得重大进展 我们认为这是未来5年内要解决的关键问题，而且我们相信人工智能将成为数据和更好的决策之间的桥梁。显然，深度学习将在这个演化中扮演重要角色，但它将与其他人工智能方法相结合。
89860发布于 2018-03-13 - 来自专栏机器之心
为内存塞不下Transformer犯愁？OpenAI应用AI研究负责人写了份指南
图 5. SmoothQuant 将尺度方差从激活函数迁移到离线权重，以降低激活函数量化的难度。由此产生的新权重和激活矩阵都易于量化。 (1) 对矩阵中的列进行排列可以在剪枝过程中提供更多可能，以保持参数的数量或满足特殊限制，如 N:M 稀疏性。只要两个矩阵对应的轴按相同的顺序排列，矩阵乘法的结果就不会改变。 Q（轴 1）和 K^⊤（轴 0）上相同排列，自注意力模块的结果不变。 W_1（轴 1）和 W_2（轴 0）上有着相同的排列，可以保持 FFN 层的输出不变。为简单起见，图示省略了偏差项，但也应对它们应用相同的排列。 5.Side Memory：使用可以一次访问多个 token 的 Side Memory 模块 Set Transformer 设计了一种受归纳点方法启发的新注意力； ETC（Extended transformer
2.5K30编辑于 2023-03-29 - 来自专栏CSDN技术头条
专家展望未来5年深度学习发展趋势
在过去的一年中，我们有幸通过RE•WORK节目与从事人工智能和计算机科学方面的许多大牛进行交流，我们期待在2016年会晤更多的专家，并向他们学习。 作为Q&A系列的一部分，我们邀请了一些深度学习方面最为资深的人士，来预测深度学习领域未来5年的可能发展情况。 未来5年我们可能看到深度学习会有怎样的发展？ 即使未来5年深度学习无法达到人类水平的认知（尽管这很可能在我们有生之年发生），我们也将会看到在许多其他领域里深度学习会有巨大的改进。 在接下来的5年里，我们会看到越来越多的混合系统中，深度学习用于处理一些难以感知的任务，而其他人工智能和机器学习（ML）技术用于处理其他部分的问题，如推理。 Koray Kavukcuoglu & Alex Graves，谷歌DeepMind研究科学家：未来5年会发生许多事。我们希望无监督学习和强化学习会更加杰出。
1.8K50发布于 2018-02-11 - 来自专栏人工智能头条
专家展望未来5年深度学习发展趋势
在过去的一年中，我们有幸通过RE•WORK节目与从事人工智能和计算机科学方面的许多大牛进行交流，我们期待在2016年会晤更多的专家，并向他们学习。 作为Q&A系列的一部分，我们邀请了一些深度学习方面最为资深的人士，来预测深度学习领域未来5年的可能发展情况。 未来5年我们可能看到深度学习会有怎样的发展？ 即使未来5年深度学习无法达到人类水平的认知（尽管这很可能在我们有生之年发生），我们也将会看到在许多其他领域里深度学习会有巨大的改进。 在接下来的5年里，我们会看到越来越多的混合系统中，深度学习用于处理一些难以感知的任务，而其他人工智能和机器学习（ML）技术用于处理其他部分的问题，如推理。 Koray Kavukcuoglu & Alex Graves，谷歌DeepMind研究科学家：未来5年会发生许多事。我们希望无监督学习和强化学习会更加杰出。
47840发布于 2018-06-06
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号