- 综合排序
- 最热优先
- 最新优先
- 来自专栏Reinvent Data Science
详解如何通过稀疏向量优化信息检索
03.学习得到的稀疏向量：将传统稀疏向量与上下文信息相结合 结合 Out-of-Domain 检索的精确词匹配技术，如词袋模型和 BERT 等稠密向量检索方法进行语义检索，长期以来一直是信息检索领域的一项主要任务 与仅依赖于统计方法（如 BM25）生成的传统稀疏向量不同，学习得到的稀疏 embedding 在保留关键词搜索能力的同时，丰富了稀疏表示的上下文信息。 来自 BGE-M3 的研究显示，学习得到的稀疏向量在多语言或跨语言检索任务中优于稠密向量，在准确性方面表现更佳。 此外，这些 embedding 固有的稀疏性大大简化了向量相似性搜索，减少了需要消耗的计算资源。此外，学习得到的稀疏向量通过匹配增强上下文理解，可以快速检查匹配的文档，以确定相应的匹配词。 Learned 稀疏向量检索。
1.9K20编辑于 2024-07-20 - 来自专栏自然语言处理
SPLADE 在稀疏向量搜索中的原理与应用详解
稀疏向量因其高效性、可解释性和精确的词语匹配特性，在信息检索领域曾广受欢迎。然而，它们远非完美。 稀疏向量搜索的工作方式与人类的自然表达存在脱节。 稀疏向量与稠密向量 在信息检索中，向量嵌入（Vector Embeddings）将文档和查询表示为数值向量格式。这种格式使得我们能够在向量数据库中通过计算相似度来检索相似的向量。 稀疏向量和稠密向量是向量表示的两种不同形式，各有优缺点。 稀疏向量包含很多零值，非零值比例非常小。 TF-IDF 或 BM25 等稀疏向量具有高维度，但包含的非零值非常少（因此得名“稀疏”）。 这主要有三个原因： SPLADE 查询和文档向量中的非零值数量通常多于传统稀疏向量，而现有的稀疏检索系统并未针对这一点进行优化。 非零值的分布偏离了传统稀疏检索系统所预期的分布，这也会导致速度变慢。 向量比较示例 让我们看看如何实际比较我们的稀疏向量。我们将定义三个短文本。
73500编辑于 2025-07-12 - 来自专栏NLP/KG
多维度信息捕捉：利用向量、稀疏向量、全文搜索及张量实现RAG的极致性能
另一种就是引入稀疏向量，跟稠密向量组合到一起提供混合搜索（hybrid search）。 这样，一篇原始文档，就可以用这些裁剪后的关键词组成的稀疏向量来表征。 ，似乎稠密向量 + 稀疏向量就是更好的多路召回方案，采用全文搜索 + 稠密向量，似乎没有必要？ 因此，近期 IBM 的研究文章（参考文献 [3]）对比了各种召回方式的组合，包括 BM25，稠密向量，BM25 + 稠密向量， 稠密向量 + 稀疏向量，以及 BM25 + 稠密向量 + 稀疏向量，最终得出结论 下图是 Infinity 跟知名向量数据库 Qdrant 在稀疏向量索引上的性能评测： 由此可见，在稠密向量、稀疏向量、全文搜索三种召回手段上， Infinity 的性能均达到了极致，再加上强大的多路召回能力
1.1K10编辑于 2025-04-22 - 来自专栏Michael阿明学习之路
两个稀疏向量的点积（哈希）
题目 给定两个稀疏向量，计算它们的点积（数量积）。 实现类 SparseVector： SparseVector(nums) 以向量 nums 初始化对象。 dotProduct(vec) 计算此向量与 vec 的点积。 稀疏向量 是指绝大多数分量为 0 的向量。 你需要 高效 地存储这个向量，并计算两个稀疏向量的点积。 进阶：当其中只有一个向量是稀疏向量时，你该如何解决此问题？
1.2K20发布于 2021-09-06 - 来自专栏MyTechnology
稀疏数组
稀疏数组 先看一个实际的需求 五子棋程序中，有存盘退出和续上盘的功能。 ? 分析问题: 因为该二维数组的很多值是默认值0, 因此记录了很多没有意义的数据.->稀疏数组。 1.1 稀疏数组介绍 当一个数组中大部分元素为０，或者为同一个值的数组时，可以使用稀疏数组来保存该数组。 将i存到稀疏数组[0][0]的位置 将j存到稀疏数组[0][1]的位置 将count存到稀疏数组[0][2]的位置 将各个有效值的行列存到稀疏数组下一行，例如[1][0]=行，[1][1]=列，[1][ 1.2 转换思路 二维数组转稀疏数组的思路： 遍历原始的二维数组，得到有效数据的个数sum 根据sum就可以创建稀疏数组sparseArr int[sum+1][3] 将二维数组的有效数据数据存入到稀疏数组 稀疏数组转原始的二维数组的思路： 1.先读取稀疏数组的第一行，根据第一行的数据，创建原始的二维数组，比如上面的chessArr2 =int[5][6] 2.在读取稀疏数组后几行的数据，并赋给原始的二维数组即可
60630发布于 2021-01-18 - 来自专栏生如夏花绚烂
稀疏数组
稀疏数组 当一个数组大部分为0，或者为同一个值的数组时，可以使用稀疏数组来保存该数组 稀疏数组的处理办法是： 1.记录数组一共有几行几列，有多少个不同的值 2.把具有不同值的元素的行列及值记录在一个小规模的数组 （稀疏数组 ）中，从而缩小程序的规模 如下例：将一个二维数组转换为稀疏数组 稀疏数组第一行保存的值是二维数组有多少行和列，有多少个不同的值。 13个有意义的值，那么原来的二维数组还是 7*6=42,而转换后稀疏数组则是 14*3=42,如果原来的二维数组有14、15、16、...个等有意义的值，那么稀疏数组的大小将会超过原先二维数组的大小，这里就得不偿失了 这里就得到两个结论： 二维数组的有效值越少，转换为对应的稀疏数组就越高效 稀疏数组适用于空数据较多的情况下 在使用稀疏数组之前一定要具体问题具体分析，不能一股脑的用！ 代码实现 还是以一个五子棋盘为例 为了对棋盘进行压缩，我们将原来的二维数组的方式转换为稀疏数组的方式 稀疏数组第一行存储的是原来二维数组的行和列以及有效的数据 第二行后存储的是每一个数据的位置和具体值
64820编辑于 2022-09-14 - 来自专栏学习笔记持续记录中...
稀疏数组
当一个数组中大部分元素为0，或者为同一个值的数组时，可以使用稀疏数组来保存该数组。 稀疏数组的处理方法是： 1）记录数组一共有几行几列，有多少个不同的值 2）把具体不同值的元素的行列及值记录在一个小规模的数组中，从而缩小程序的规模。 ? 二维数组转稀疏数组 public class SpareseArray { public static void main(String[] args) { /** d\t",data); } System.out.println(); } /** * 将二维数组转稀疏数组 创建稀疏数组，行数=sum+1 ，多出来的1行是对稀疏数组中总行数、总列数以及非0个总个数的 sparseArr[0][0] = chessArr1.length; sparseArr
50610发布于 2020-03-17 - 来自专栏Java架构师必看
稀疏数组
，2020.2 IDEA 激活码 一、稀疏数组的定义 ---- 稀疏（sparsearray）数组：可以看做是普通数组的压缩，但是这里说的普通数组是值无效数据量远大于有效数据量的数组。 当遇到此种情况时，可以使用稀疏数组。 ? 当一个数组中大部分元素为0，或者为同一个值的数组时，可以使用稀疏数组来保存该数组。 二、应用实例 ---- 我们将下图所示的棋盘使用稀疏数组进行存盘退出操作： ? 【1】将上面类似的二位数组棋盘保存到稀疏数组中，并存放至外部备份文件 sparsearray.text 中：稀疏数组可以简单的看作为是压缩，在开发中也会使用到。 【3】将稀疏数组文件中的内容恢复至传统的二维数组棋盘； /** * 将稀疏数组文件中的内容恢复至传统的二维数组棋盘 */ public class SparseArrayClass { public
84830发布于 2021-04-30 - 来自专栏半月无霜
稀疏数组
稀疏数组 一、介绍 稀疏数组可以看作是普通数组的压缩，当一个数组中大部分元素为0或同一个值时，可用稀疏数组来保存该数组。 由此可以发现，当一个数组上出现大量无用的数组时，我们可以使用一些方法将其压缩成稀疏数组进行存储，等到使用的时候再进行解压还原。 ，里面的有效值个数有三个， 那么转为稀疏数组后，将会变成一个4*3的稀疏数组。 ，如下图所示 由此可以分析出来，将二维数组转换成为稀疏数组只需要这么几步就可以成功。 遍历原数组，得到原数组中有效值的个数num 创建一个稀疏数组，大小为(num+1)*3 稀疏数组的第0行存放，原数组的行个数，列个数，以及有效值的个数 将有效值的行、列、值转换写入稀疏数组中
57420编辑于 2023-03-03 - 来自专栏生物信息学、python、R、linux
稀疏矩阵
在矩阵中，如果数值为0的元素数目远远多于非0元素的数目，并且非0元素分布无规律时，则称该矩阵为稀疏矩阵（sparse matrix）；与之相反，若非0元素数目占大多数时，则称该矩阵为稠密矩阵。 当一个矩阵中含有大量的0值时，可以将矩阵以稀疏矩阵的方式存储以解决资源。在R中，可以用Matrix这个包, 它可以将矩阵转化为稀疏矩阵。 #转化成稀疏矩阵，可以看到0变成了点 library(Matrix) sparseM= Matrix(M) class(sparseM) sparseM ?
1K20发布于 2020-11-24 - 来自专栏AI大模型应用开发炼丹房
解锁AI检索的7大Embedding技术：从稀疏到多向量，一文掌握
关键词式稀疏向量）Sparse Embedding 是一种基于关键词匹配的稀疏向量表示方法，其维度通常超过 50,000 维，且95%以上的位置为零值。 然而，它仅支持精确关键词匹配，无法处理同义词或句式变化的情况，同时高维稀疏性也会导致存储和索引成本急剧上升。 以下图的这个简易倒排索引所示，我们按照列为单元来看倒排索引，那么每列就可以表征为一个文档所包含的单词列表，这其实就是一种稀疏向量。 图中的 3 个红色框分别代表了文档 ID 为 1，3，7 的三个不同的稀疏向量。而倒排索引则提供了稀疏向量的高效检索方式。 最终部署时，采用 Sparse 与 Dense 结合的混合排序（Hybrid Ranking）策略往往最为稳妥：稀疏向量保证精度，稠密向量保证召回率，并通过权重调整平衡结果。
1.3K21编辑于 2025-09-12 - 来自专栏JusterZhu
02 稀疏数组
2.问题分析 上面棋盘可用二维数组进行记录，但是二维数组的很多值是默认值0，因此记录了很多没有意义的数据->稀疏数组 3.基本介绍 当一个数组中大部分元素为0，或者为同一个值的数组时，可以使用稀疏数组来保存该数组 稀疏数组的处理方法是： 记录数组一共有几行几列，有多少个不同的值。 把具有不同值的元素的行列及值记录在一个小规模的数组中，从而缩程序的规模。 4.应用实例 （1）使用稀疏数组，来保留类似前面的二维数组（棋盘、地图等） （2）把稀疏数组存盘，并且可以重新恢复原来的二维数组 public class MySparseArray { } } Console.WriteLine(sum); Console.WriteLine("3.创建稀疏数组 [i,j]; } } } Console.WriteLine("4.输出得到的稀疏数组
47910编辑于 2022-12-07 - 来自专栏全栈程序员必看
数组 – 稀疏数组
文章目录 一，稀疏数组 1.定义 2.存储 3.存储方式 1.普通存储 2.链式存储 a.普通链式存储 b.行式链式存储 c.十字链式存储 4.代码实现 3.将稀疏数组存到此磁盘中 4.从磁盘中读取稀疏数组 5.完整代码 一，稀疏数组 1.定义 稀疏数组可以看做是普通数组的压缩，但是这里说的普通数组是值无效数据量远大于有效数据量的数组 形如： 0 0 0 0 0 0 0 0 0 * - 由于稀疏矩阵中存在大量的“空”值，占据了大量的存储空间，而真正有用的数据却少之又少， * - 且在计算时浪费资源，所以要进行压缩存储以节省存储空间和计算方便。 我们可以使用java的IO流将稀疏数组存放到磁盘中，原数组和稀疏数组比较，肯定是稀疏数组体积更小，占用空间更小 /** * 将稀疏数组存入磁盘（文件） * */ public 在这里有个缺陷就是我不能动态的知道稀疏数组一共有几行，所以我选择传参的方式，这样其实是不太友好的 /** * 读文件获取稀疏数组(获取指定行数的稀疏数组)【不足】 * @return
1.4K40编辑于 2022-07-22 - 来自专栏吃猫的鱼个人博客编程笔记
稀疏数组详解
稀疏数组 基本介绍 当一个数组中大部分元素为0，或者同一个值的数组时，可以使用系数数组来保存该数组。 稀疏数组的处理方法是： 记录数组一共有几行几列，有多少个不同改的值。 把具有不同值的元素的行列及值记录在一个小规模的数组中，从而缩小程序的规模 稀疏数组转换 二维数组转稀疏数组的思路： 遍历 原始的二维数组，得到有效数据的个数sum 根据sum就可以创建 系数数组sparseArr intsum+1 将二维数组的有效数据存入到稀疏数组 稀疏数组转原始的二维数组的思路 先读取稀疏数组的第一行，根据第一行的数据，创建原始的二维数组。 、 在读取稀疏数组后几行的数据，并赋给原始的二维数组即可。 代码示例 /** *当前类用于将普通的二维数组转换为稀疏数组进行存储 */ public class SparseArray { public static void main(String
77240编辑于 2023-03-02 - 来自专栏hotarugaliの技术分享
稀疏矩阵存储格式
简介 稀疏矩阵是指矩阵中大多数元素为 0 的矩阵。多数情况下，实际问题中的大规模矩阵基本上都是稀疏矩阵，而且很多稀疏矩阵的稀疏度在 90% 甚至 99% 以上。 2. 存储格式 相较于一般的矩阵存储格式，即保存矩阵所有元素，稀疏矩阵由于其高度的稀疏性，因此需要更高效的存储格式。 对比 3.1 优缺点概述 存储格式 优点 缺点 COO 灵活、简单 压缩、稀疏矩阵矢量乘积效率低 CSR 灵活、简单 稀疏矩阵矢量乘积效率低 ELL 稀疏矩阵矢量乘积效率高 压缩效率不稳定 DIA 稀疏矩阵矢量乘积效率高 压缩效率不稳定 COO 格式常用于从文件中进行稀疏矩阵的读写，而 CSR 格式常用于读入数据后进行稀疏矩阵的计算。 3.2 存储效率 CSR 格式在存储稀疏矩阵时非零元素平均使用的字节数最为稳定；DIA 格式存储稀疏矩阵时非零元素平均使用的字节数与矩阵类型关联较大，该格式更适合 Structured Mesh 结构的稀疏矩阵
2.3K10编辑于 2022-03-18 - 来自专栏Titan笔记
稀疏矩阵的存储
【问题描述】 稀疏矩阵是指那些多数元素为零的矩阵。利用“稀疏”特点进行存储和计算可以大大节省存储空间，提高计算效率。实现一个能进行稀疏矩阵基本运算的运算器。 【基本要求】 以三元组顺序表表示稀疏矩阵，实现两个矩阵相加、相减的运算。稀疏矩阵的输入形式采用三元组表示，而运算结果的矩阵则以通常的阵列形式列出。 ? 稀疏矩阵加减法例子 【Talk is cheap, show you the code】 #include<iostream> // By Titan 2020-03-30 using namespace
1.5K20发布于 2020-07-22 - 来自专栏机器学习从入门到成神
稀疏矩阵转置
在此只讨论稀疏矩阵的转置问题； 可能看到矩阵就会想到二维数组，比如这样一个矩阵： ? int value; //元素值 }; 这样存储一个元素就会用到三个存储单元，七个就是二十一个存储单元，可能与二十五个没多大差别，但是如果矩阵的行列是一个很大的值，而且又是稀疏矩阵 这种存储结构只限于稀疏矩阵。 解决了存储结构，就开始矩阵的转置吧！！！ juzhen a[MAX_TERM]; //存放矩阵中元素数值不为零的元素 int chushi(struct juzhen a[MAX_TERM]) //初始化稀疏矩阵 /矩阵中的元素个数 return count_a; } void showjuzhen(struct juzhen a[MAX_TERM],int count_a) //显示稀疏矩阵
2.3K10发布于 2018-09-14 - 来自专栏Java后端开发博客
稀疏数组和队列
# 稀疏数组和队列 稀疏 sparsearray 数组 先看一个实际的需求 稀疏数组基本介绍 应用案例 代码实现 课后作业 队列 队列的一个使用场景 队列介绍 数组模拟队列思路 代码演示 数组模拟环形队列 ->稀疏数组。 # 稀疏数组基本介绍 当一个数组中大部分元素为0，或者为同一个值的数组时，可以使用稀疏数组来保存该数组。 稀疏数组的处理方法是: 记录数组一共有几行几列，有多少个不同的值 把具有不同值的元素的行列及值记录在一个小规模的数组中，从而缩小程序的规模 稀疏数组举例说明 # 应用案例 使用稀疏数组，来保留类似前面的二维数组 ，比如map.data.txt 恢复原来的数组时，读取map.data进行恢复 说下我的思路： 使用输出流把稀疏数组写入到磁盘（我是使用把稀疏数组元素遍历的方式把元素一个一个写入到文件，并在每个元素后面拼接 ，从第二行开始分别是元素的行，列，值，这样就可以初始化稀疏数组 ...
59020编辑于 2022-12-30 - 来自专栏YzlWHU
稀疏编码 Sparse Coding
稀疏编码是一种无监督的学习方法，通过寻找一组“超完备”的基向量来高效的表示样本数据。算法的目的就是找到一组基向量，使得输入向量能够表示为这组基底的线性组合。 每个神经元对这些刺激的表达则采用了稀疏编码原则，将图像在边缘、线段、条纹等方面以稀疏编码的形式进行描述。 因而，稀疏编码的工作即找出类似边缘、线段、条纹等的这样一组基底，其思想和小波变换的基函数具有一定的相似性。 基于此，1988年，Michison明确提出了神经稀疏编码的概念，然后由牛津大学的E. T. 稀疏编码具有如下几个优点： 编码方案存储能力大 具有联想记忆能力 计算简便 使自然信号的结构更加清晰 编码方案符合生物进化普遍的能量最小经济策略，又满足电生理实验结论 应用： 稀疏编码将神经生理学方面对于视觉系统的研究成果
3.5K10发布于 2019-04-02 - 来自专栏mathor
稀疏Softmax（Sparse Softmax）
本文源自于SPACES：“抽取-生成”式长文本摘要（法研杯总结），原文其实是对一个比赛的总结，里面提到了很多Trick，其中有一个叫做稀疏Softmax（Sparse Softmax）的东西吸引了我的注意 里边作者提出了将Softmax稀疏化的做法来增强其解释性乃至提升效果 不够稀疏的Softmax 前面提到Sparse Softmax本质上是将Softmax的结果稀疏化，那么为什么稀疏化之后会有效呢？ 我们认稀疏化可以避免Softmax过度学习的问题。 ，对于分类问题来说这是一个没有必要的过大的间隔，因为我们只希望目标类的logit比所有非目标类都要大一点就行，但是并不一定需要大\log (n-1)那么多，因此常规的交叉熵容易过度学习从而导致过拟合 稀疏的 Sparsemax 前面说了这么多关于Softmax的内容，那么Sparse Softmax或者说Sparsemax是如何做到稀疏化分布的呢？
2.2K31发布于 2021-07-19
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号