深度学习中的稀疏注意力

需要注意的是：稀疏注意力的实现并不仅限于DeepSpeed。虽然DeepSpeed提供了一种高效的稀疏注意力实现，但其他深度学习框架和库也可能提供稀疏注意力的支持。 2. 多头注意力的概念最早出现在2017年论文《Attention Is All You Need》中，该论文提出了一种基于自注意力（Self Attention）的序列到序列（Seq2Seq）模型，称为Transformer 在处理稀疏注意力内核时，DeepSpeed采用了块稀疏计算。 在训练阶段，可以使用稀疏注意力来优化模型。稀疏注意力通过减少注意力机制中需要计算的元素数量来提高训练效率。 它的主要贡献包括：计算softmax时候不需要全量input数据，可以分段计算；反向传播的时候，不存储attention matrix (N^2的矩阵)，而是只存储softmax归一化的系数。

稀疏性在机器学习中的发展趋势：MoE、稀疏注意力机制

2021年，谷歌的 GLaM 模型表明，Transformer 和 MoE 风格的层可以组合在一起生成一个模型，在29个基准测试中平均超过GPT-3模型的精度，而使用3倍少的能耗进行训练和2倍少的计算进行推理 此外，还从理论上证明了稀疏注意力机制保持了二次型全 Transformer 的表达能力和灵活性。 BigBird 模型中的稀疏注意力包括三个主要部分: 一组注意输入序列的所有部分的全局标记 所有标记注意一组相邻的局部标记 所有标记注意一组随机标记 BigBird 稀疏注意力模型由（注意输入序列的所有部分的 全局标记作为信息流的管道，证明了使用全局标记的稀疏注意力机制可以和全注意模型一样强大。 稀疏注意力模型的高效实现 大规模采用稀疏注意力的一个主要障碍，是稀疏操作在现代硬件中效率相当低。 稀疏注意力机制的高效实现示意图。

SciPy 稀疏矩阵（2）：COO

三元组的存储策略 如果存储一个稀疏矩阵对应的多个三元组可以有非常多的实现方式，针对每一种都进行讲解是非常不现实的，而且完全没有这个必要，因为三元组的存储策略可以分为 2 大类：三元组容器法以及三个序列法 SciPy COO 格式的稀疏矩阵 在开始 SciPy COO 格式的稀疏矩阵之前我花了一些篇幅讲解稀疏矩阵的三元组存储策略，这主要是因为 SciPy COO 格式的稀疏矩阵用的存储策略就是三元组存储策略的第 2 种方法：三个序列法。 这 2 个方法都是原地操作，无返回值。现在方法有了，怎么消除零元素以及重复的行列索引无非就是两个方法的调用顺序的问题。显然我们应该先消除重复的行列索引，再消除零元素。 可以高效地构造稀疏矩阵。 在借助稀疏工具的情况下，可以高效地进行矩阵左乘列向量的操作。

DeepSeek原生稀疏注意力机制（NSA）：重塑长文本建模

2025年2月，中国AI公司DeepSeek推出原生稀疏注意力机制（Native Sparse Attention, NSA），通过算法与硬件的协同创新，为长文本建模提供了高效解决方案。 细粒度选择：在保留的块内，利用注意力评分动态选择局部重要Token，如高频关键词或逻辑连接词，确保局部上下文精度。 2. 原生可训练性 传统稀疏注意力机制多采用固定模式（如局部窗口或随机采样），而NSA通过动态路由机制，允许稀疏模式在训练过程中自适应调整。 2.性能与成本的平衡 训练加速：NSA在预训练阶段减少约40%的计算量，同时保持与全注意力模型相当的基准测试表现。 2. 专用硬件适配 针对稀疏计算的AI芯片（如支持可变稀疏度的Tensor Core）有望进一步提升NSA效率。DeepSeek已与多家芯片厂商合作，推动FP8混合精度与稀疏计算的深度融合。

AAAI21 | 会话推荐--稀疏注意力去除噪声，自注意力生成目标表征

2. 定义 I=\{i_1,i_2,...,i_m\} 表示所有商品的集合 S=\{s_1,s_2,... 而sparsemax是2016年提出的softmax的改进版，他可以得到稀疏的结果，即让一些值为0，它和softmax具有相似的性能，但具有选择性、更紧凑、注意力集中。 如下如所示，sparsemax相比如softmax是更硬的，在过大过小的地方对应1和0，即可以得到稀疏解。 ,e_t,e_s\} 就是稀疏自注意力机制的得到的输出。前t个是item的embedding，字后一个es是目标embedding。 针对第一个问题，作者采用学习target embedding的方式，而不是直接采用会话中最后一个点击的商品 针对第二个问题，作者采用α-entmax的激活函数，主要是通过该方法产生稀疏解，从而避免给一些不感兴趣的商品加权

深入浅出：什么是 DeepSeek 稀疏注意力 (DSA)？

深入浅出：什么是 DeepSeek 稀疏注意力 (DSA)？本文旨在揭开 DeepSeek 稀疏注意力（DeepSeek Sparse Attention, DSA）机制的神秘面纱。 在大型语言模型中，一个核心机制叫做“注意力”（Attention），它帮助模型理解单词之间的关系。在传统的注意力机制中，模型为了理解一个词，必须将其与前面出现过的每一个词进行关联和计算。 而 DeepSeek 稀疏注意力（DSA）正是为了解决这个效率难题而设计的创新方案。2. 解决方案：DeepSeek 稀疏注意力 (DSA) 登场DeepSeek 稀疏注意力（DSA）是由 DeepSeek-AI 开发的一种创新的注意力机制，旨在解决长文本处理的效率问题。 DeepSeek 稀疏注意力（DSA）是一项关键的架构创新，它通过智能的两步筛选机制，有效解决了大型语言模型在处理长文档时面临的效率和成本瓶颈。

115_LLM基础模型架构设计：从Transformer到稀疏注意力

注意力机制的计算复杂度 3.1 标准自注意力的复杂度分析 标准自注意力机制的计算复杂度为： 时间复杂度： O(L2⋅d)O(L^2 \cdot d) ，其中 LL 是序列长度， dd 是隐藏维度 空间复杂度 稀疏注意力机制 4.1 稀疏注意力的基本思想 稀疏注意力机制通过限制注意力计算的范围，将标准注意力的 O(L2)O(L^2) 复杂度降低到 O(L⋅K)O(L \cdot K) 或 O(Llog⁡L)O 核心思想： 局部注意力：只关注相邻的位置 固定模式注意力：使用预定义的稀疏模式 自适应稀疏注意力：根据内容动态确定关注的位置 结构化稀疏：利用特定结构（如块、带状等）进行稀疏化 4.2 代表性稀疏注意力模型 1 1] [0 0 1 1 1 1] [0 0 0 1 1 1] 4.3 稀疏注意力的数学推导 对于局部稀疏注意力，假设每个位置只关注 KK 个相邻位置，则计算复杂度为 O(L⋅K)O(L \cdot ：保持稀疏矩阵结构 模式化剪枝：按照特定模式剪枝权重 动态稀疏训练：训练过程中逐步增加稀疏度 7.2.3 2025年剪枝最新技术 PagedAttention剪枝：保留注意力重要区域，剪枝次要区域 渐进式稀疏化

DeepSeek-V3.2“稀疏注意力”炸场！初步体验效果如何？

pdf这一次它最主要的是引入了一个新机制DeepSeek Sparse Attention（稀疏注意力，DSA），旨在在处理长上下文（long context）时提升训练与推理效率，同时尽可能保持输出质量不变 稀疏注意力的思路在很多新一代 Transformer 变体中都在被探索：即不是所有 token 间都做全连接的 self-attention，而是选一些关键 token 或局部连接，从而减少计算复杂度。 接下来只在这些 top-k 上计算真正的注意力。经过两个组件之后，这样复杂度从 O(L^2)降低到O(LK)，其中 k<<LDeepSeek-V3.2-Exp的优势是什么？ 基本上效果已经出来了~Q2：将单词“DeepSeek-V3.2-Exp”反过来写它是把每一个字符进行拆分，然后再合并结果，答案是对的。 （4）性能表现：尽管采用稀疏注意力，但整体能力与 V3.1-Terminus 基本持平，尤其在长上下文任务中展现出更优的性价比。

谷歌NLP新模型「大鸟」突破BERT限制，稀疏注意力机制更省内存

谷歌最近又推出了一个重磅的稀疏注意力模型：Big Bird。 之前各种刷榜的BERT和它的各种衍生版本RoBERTa等，都是构建在Transformer基础上。 如果能把这个n^2的复杂度降下来，那么就能实现一个长距的上下文注意力机制，而不会把内存撑爆，这就是Big Bird要做的事。 谷歌团队解决这个问题的方法，是引入一种全新的稀疏注意力机制：Big Bird。 谷歌「大鸟」：稀疏注意力机制更省内存 Big Bird相对于传统的全注意力机制来说变的更稀疏，作为更长序列上的Transformer，Big Bird不仅能注意到更长的上下文信息，还将计算的二次依赖降低到了线性 图（a）表示r=2的随机注意力机制，图（b）表示w=3的局部注意力机制，图（c）表示g=2的全局注意力机制，图（d）是三者加起来的Big Bird模型。

YOLOv13改进：注意力独家魔改 | 可变形双级路由注意力（DBRA），魔改动态稀疏注意力的双层路由方法BiLevelRoutingAttention

BiFormer中的查询感知稀疏注意力旨在让每个查询聚焦于top-k路由区域。然而，在计算注意力时，选定的键值对受到太多无关查询的影响，减弱了对更重要查询的注意力。 虽然在图像分类中使用稀疏自适应注意力（如DAT）取得了显著成果，但在针对语义分割任务进行微调时，由可变形点选择的键值对缺乏语义相关性。 BiFormer中的查询感知稀疏注意力旨在让每个查询聚焦于top-k路由区域。然而，在计算注意力时，选定的键值对受到太多无关查询的影响，减弱了对更重要查询的注意力。 为了提高查询的注意力效率，我们提出了可变形双级路由注意力（DBRA），这是一种用于视觉识别的注意力内注意力架构。在DBRA的过程中，第一个问题是如何定位可变形点。 因此，我们提出了一种注意力内注意力架构，该架构如上所述，向可变形点移动，作为查询的代理。

稀疏数组

将i存到稀疏数组[0][0]的位置 将j存到稀疏数组[0][1]的位置 将count存到稀疏数组[0][2]的位置 将各个有效值的行列存到稀疏数组下一行，例如[1][0]=行，[1][1]=列，[1][ 2]=具体值 示意图 ? 稀疏数组转原始的二维数组的思路： 1.先读取稀疏数组的第一行，根据第一行的数据，创建原始的二维数组，比如上面的chessArr2 =int[5][6] 2.在读取稀疏数组后几行的数据，并赋给原始的二维数组即可 = 5; chessArr1[2][3] = 8; chessArr1[2][4] = 8; for (int[] row : chessArr1) { ，根据第一行的数据，创建原始的二维数组，比如上面的`chessArr2 =int[11][11]` * 2.在读取稀疏数组后几行的数据，并赋给原始的二维数组即可 */

稀疏数组

2代表蓝子 但是这样的做法存在一个问题 二维数组中很多值是默认值0，因此记录了很多没有意义的数据 这个时候就可以使用稀疏数组对数据进行压缩。 稀疏数组 当一个数组大部分为0，或者为同一个值的数组时，可以使用稀疏数组来保存该数组 稀疏数组的处理办法是： 1.记录数组一共有几行几列，有多少个不同的值 2.把具有不同值的元素的行列及值记录在一个小规模的数组 思路分析 二维数组转换为稀疏数组 1.遍历原始的二维数组，得到要保存的有效数据的个数（sum) 2.根据sum就可以创建稀疏数组 sparseArr int[sum+1][3]，即行=sum+1行，列永远等于 1.先读取稀疏数组的第一行（因为第一行数据保存了原来二维数组的行列和有效数据的个数） 2.根据第一行的数据数据创建原始的二维数组 chessArr2 = int[11][11] 3.在读取稀疏数组后几行的数据 11 11 2 1 3 1 2 4 2 稀疏数组转换后的原始二维数组 0 0 0 0 0 0 0

稀疏数组

，2020.2 IDEA 激活码 一、稀疏数组的定义 ---- 稀疏（sparsearray）数组：可以看做是普通数组的压缩，但是这里说的普通数组是值无效数据量远大于有效数据量的数组。 当遇到此种情况时，可以使用稀疏数组。 ? 当一个数组中大部分元素为0，或者为同一个值的数组时，可以使用稀疏数组来保存该数组。 【1】将上面类似的二位数组棋盘保存到稀疏数组中，并存放至外部备份文件 sparsearray.text 中：稀疏数组可以简单的看作为是压缩，在开发中也会使用到。 intArr[1][2]=1; intArr[2][3]=2; /* 上述二维数组输出的矩阵图如下所示 0 0 0 2 1 2 1 2 3 2 */ System.out.println("====分隔符===="); //文件输出

稀疏数组

当一个数组中大部分元素为0，或者为同一个值的数组时，可以使用稀疏数组来保存该数组。 稀疏数组的处理方法是： 1）记录数组一共有几行几列，有多少个不同的值 2）把具体不同值的元素的行列及值记录在一个小规模的数组中，从而缩小程序的规模。 ? chessArr1[2][3] = 2; /** * 输出原始的二维数组 */ System.out.println("原始的二维数组 创建稀疏数组，行数=sum+1 ，多出来的1行是对稀疏数组中总行数、总列数以及非0个总个数的 sparseArr[0][0] = chessArr1.length; sparseArr sparseArr[i][0]][sparseArr[i][1]] = sparseArr[i][2]; } System.out.println(chessArr2);

稀疏数组

稀疏数组 一、介绍 稀疏数组可以看作是普通数组的压缩，当一个数组中大部分元素为0或同一个值时，可用稀疏数组来保存该数组。 ，里面的有效值个数有三个， 那么转为稀疏数组后，将会变成一个4*3的稀疏数组。 ---- 还原不多说了，也很简单的，直接看代码吧 2）代码实现 package com.banmoon.datastructure.SparseArray; import java.util.Arrays [] args) { int[][] arrays = new int[11][11]; arrays[2][3] = 1; arrays[2][4] = i; sparseArray[currentRow][1] = j; sparseArray[currentRow][2]

稀疏矩阵

在矩阵中，如果数值为0的元素数目远远多于非0元素的数目，并且非0元素分布无规律时，则称该矩阵为稀疏矩阵（sparse matrix）；与之相反，若非0元素数目占大多数时，则称该矩阵为稠密矩阵。 当一个矩阵中含有大量的0值时，可以将矩阵以稀疏矩阵的方式存储以解决资源。在R中，可以用Matrix这个包, 它可以将矩阵转化为稀疏矩阵。 #转化成稀疏矩阵，可以看到0变成了点 library(Matrix) sparseM= Matrix(M) class(sparseM) sparseM ?

大模型应用：稀疏注意力 vs 滑动窗口：大模型扩窗技术完全解析.58

稀疏注意力执行流程步骤说明：1. 输入：文本序列 x1-xn，设定局部窗口 W（比如 2）、跨步 S（比如 3）；2. 遍历每个位置 i；3. （生成图片）""" # 创建画布（1行3列，对比原始/滑动窗口/稀疏注意力） fig, (ax1, ax2, ax3) = plt.subplots(1, 3, figsize=(15, 5 =3) # 计算稀疏注意力（窗口=2，跨步=3） sparse_output, sparse_mask = sparse_attention(q, k, v, window_size=2, 三种注意力的 “关注范围” 对比序列位置：1 2 3 4 5 6 7 8 9 10原始注意力：●●●●●●●●●●（全部关注）滑动窗口（W=3，i=5）： ●●● （只关注4,5,6）稀疏注意力（W 稀疏注意力：让大模型记得更全稀疏注意力解决了滑动窗口短视的问题：比如分析一本 10 万字的小说，滑动窗口只能看到局部情节，稀疏注意力能看到开头的人物设定、中间的关键转折、结尾的结局；现在的 “超长上下文大模型

Google | 提出稀疏注意力框架Exphormer，提升图Transformer的扩展性！

并且具有以下属性： 1）图的矩阵表示具有与完整图类似的线性代数属性； 2 ）它们表现出快速混合的随机游走，即从任何起始节点开始的随机游总走中的少量步骤足以确保收敛至图节点上的“稳定”分布。 那些最大化谱间隙的图被称为Ramanujan图——它们实现了 d-2*\sqrt{(d-1)} 的间隙，这本质上是 d-regular 正则图中最好的。 具体来说，Exphormer 的稀疏注意力机制构建了一个由三种类型的边组成的交互图，如下图所示： 输入图的边（局部注意力） constant-degree扩展图的边（扩展注意力） 从每个节点到一小组虚拟节点的边 特别是，当 Exphormer 的稀疏注意力图通过自环（将节点连接到自身的边）进行增强时，它可以普遍逼近连续函数。 与稀疏Transformer的关系 将 Exphormer 与稀疏注意力方法进行比较是很有趣的。也许在概念上与我们的方法最相似的架构是 BigBird，它通过组合不同的组件来构建交互图。

Seq2Seq与注意力机制

如果输入序列是\boldsymbol{x}_1,\boldsymbol{x}_2,... 这看上去就像是在解码器的每一时刻对输入序列中不同时刻分配不同的注意力。这也是注意力机制的由来 现在，对上面的解码器稍作修改。我们假设时刻t'的背景向量为\boldsymbol{c}_{t'}。 而权值也称注意力权值。 ）的输入和输出可以都是不定长序列 在解码器上应用注意力机制可以使解码器的每个时刻使用不同的背景向量。 每个背景向量相当于对输入序列的不同部分分配了不同的注意力

数组 – 稀疏数组

文章目录 一，稀疏数组 1.定义 2.存储 3.存储方式 1.普通存储 2.链式存储 a.普通链式存储 b.行式链式存储 c.十字链式存储 4.代码实现 3.将稀疏数组存到此磁盘中 4.从磁盘中读取稀疏数组 ： 11 11 2 1 2 1 2 4 2 2.存储 刚说到稀疏数组是一种压缩后的数组，为什么要进行压缩存储呢 Description: 稀疏数组 ---> 数组中有很多无效数据，压缩数组 * @Author: Kevin * @CreateDate: 2019/7/2 22:39 * @UpdateUser: "); /** * 稀疏数组 *

* 11 11 2 * 1 2 1 * 2 4 2 *

* 11 11 2 * 1 2 1 * 2 4 2 *