- 综合排序
- 最热优先
- 最新优先
- 来自专栏Reinvent Data Science
详解如何通过稀疏向量优化信息检索
03.学习得到的稀疏向量：将传统稀疏向量与上下文信息相结合 结合 Out-of-Domain 检索的精确词匹配技术，如词袋模型和 BERT 等稠密向量检索方法进行语义检索，长期以来一直是信息检索领域的一项主要任务 与仅依赖于统计方法（如 BM25）生成的传统稀疏向量不同，学习得到的稀疏 embedding 在保留关键词搜索能力的同时，丰富了稀疏表示的上下文信息。 来自 BGE-M3 的研究显示，学习得到的稀疏向量在多语言或跨语言检索任务中优于稠密向量，在准确性方面表现更佳。 此外，这些 embedding 固有的稀疏性大大简化了向量相似性搜索，减少了需要消耗的计算资源。此外，学习得到的稀疏向量通过匹配增强上下文理解，可以快速检查匹配的文档，以确定相应的匹配词。 Learned 稀疏向量检索。
1.9K20编辑于 2024-07-20 - 来自专栏Python机器学习算法说书人
SciPy 稀疏矩阵（5）：CSR
我们显然可以发现 LIL 格式的稀疏矩阵进行该操作效率非常高，因为不同于 COO 格式的稀疏矩阵外加上 DOK 格式的稀疏矩阵获取某一行数据需要扫描整个稀疏矩阵的非零元素信息，LIL 通过把稀疏矩阵看成是有序的稀疏行向量组并对这些稀疏行向量进行压缩存储 当然，构造实例的方法主要有 5 种： csr_matrix(D)：D 是一个普通矩阵（二维数组）。 csr_matrix(S)：S 是一个稀疏矩阵。 但是我们可以发现 LIL 格式和 CSR 格式都是把稀疏矩阵看成有序稀疏行向量组，然后对行向量组中每一个行向量进行压缩存储。 学过线性代数的人都非常地清楚，矩阵不仅可以看成是有序行向量组，还可以看成是有序列向量组。因此，稀疏矩阵不仅可以看成是有序稀疏行向量组，还可以看成是有序稀疏列向量组。 我们完全可以把稀疏矩阵看成是有序稀疏列向量组，然后模仿 LIL 格式或者是 CSR 格式对列向量组中的每一个列向量进行压缩存储。
94510编辑于 2024-06-13 - 来自专栏自然语言处理
SPLADE 在稀疏向量搜索中的原理与应用详解
稀疏向量因其高效性、可解释性和精确的词语匹配特性，在信息检索领域曾广受欢迎。然而，它们远非完美。 稀疏向量搜索的工作方式与人类的自然表达存在脱节。 稀疏向量与稠密向量 在信息检索中，向量嵌入（Vector Embeddings）将文档和查询表示为数值向量格式。这种格式使得我们能够在向量数据库中通过计算相似度来检索相似的向量。 稀疏向量和稠密向量是向量表示的两种不同形式，各有优缺点。 稀疏向量包含很多零值，非零值比例非常小。 TF-IDF 或 BM25 等稀疏向量具有高维度，但包含的非零值非常少（因此得名“稀疏”）。 这主要有三个原因： SPLADE 查询和文档向量中的非零值数量通常多于传统稀疏向量，而现有的稀疏检索系统并未针对这一点进行优化。 非零值的分布偏离了传统稀疏检索系统所预期的分布，这也会导致速度变慢。 向量比较示例 让我们看看如何实际比较我们的稀疏向量。我们将定义三个短文本。
79600编辑于 2025-07-12 - 来自专栏NLP/KG
多维度信息捕捉：利用向量、稀疏向量、全文搜索及张量实现RAG的极致性能
另一种就是引入稀疏向量，跟稠密向量组合到一起提供混合搜索（hybrid search）。 ，似乎稠密向量 + 稀疏向量就是更好的多路召回方案，采用全文搜索 + 稠密向量，似乎没有必要？ 因此，近期 IBM 的研究文章（参考文献 [3]）对比了各种召回方式的组合，包括 BM25，稠密向量，BM25 + 稠密向量， 稠密向量 + 稀疏向量，以及 BM25 + 稠密向量 + 稀疏向量，最终得出结论 除此之外，原始的 ColBERT 在排序质量上相比 Cross Encoder 略有差距，针对这些，ColBERT 作者在 2021 年推出了 ColBERT v2 （参考文献 [5]），通过 Cross 下图是 Infinity 跟知名向量数据库 Qdrant 在稀疏向量索引上的性能评测： 由此可见，在稠密向量、稀疏向量、全文搜索三种召回手段上， Infinity 的性能均达到了极致，再加上强大的多路召回能力
1.2K10编辑于 2025-04-22 - 来自专栏Michael阿明学习之路
两个稀疏向量的点积（哈希）
题目 给定两个稀疏向量，计算它们的点积（数量积）。 实现类 SparseVector： SparseVector(nums) 以向量 nums 初始化对象。 dotProduct(vec) 计算此向量与 vec 的点积。 稀疏向量 是指绝大多数分量为 0 的向量。 你需要 高效 地存储这个向量，并计算两个稀疏向量的点积。 进阶：当其中只有一个向量是稀疏向量时，你该如何解决此问题？ [0,1,0,0,2,0,0], nums2 = [1,0,0,0,3,0,4] 输出：6 提示： n == nums1.length == nums2.length 1 <= n <= 10^5
1.2K20发布于 2021-09-06 - 来自专栏Michael阿明学习之路
5. 支持向量机
线性支持向量机分类 2. 非线性支持向量机分类 2.1 多项式核 2.2 高斯 RBF 核 3. 支持向量机回归 4. 可参考：《统计学习方法》支持向量机（Support Vector Machines，SVM） 笔记 1. 非线性支持向量机分类 很多时候，数据是线性不可分的，我们可以增加特征，下图左侧数据线性不可分，增加 x2 项以后就可分了 ? [ ("scaler", StandardScaler()), ("svm_clf", SVC(kernel="poly", degree=3, coef0=1, C=5) 支持向量机回归 回归：在间隔内放置尽可能多的样本点 ?
49620发布于 2021-02-19 day5-向量+数据框
（4）显示工作路径 getwd() （5）向量是由元素组成的，元素可以是数字或者字符串。 （6）表格在R语言中称为数据框^_^ （7）别只复制代码，要理解其中的命令、函数的意思。 5.list 推荐参考：https://cloud.tencent.com/developer/article/1423987? 在数学上，向量和矩阵之间存在转换关系。对于某些类型的矩阵，特别是那些只有一个维度为1的情况，它可以被视为一个特殊的向量，也被称为列向量或行向量。同样，一个多维向量也可以通过堆叠成矩阵的形式来表示。 不同数据类型常用函数 向量：c() seq() rep() 矩阵 matrix() 数组 array() 数据框dataframe() list 重点关注向量和数据框 常用的操作 向量 赋值向量 从向量中提取元素 ：区别seq(), sep() 数据框 1.读取本地数据 2.查看行名和列名，行数和列数 3.数据框的导出 4.变量的保存与重新加载 5.提取元素 6.直接使用数据框中的变量 问题： save(a,file
43810编辑于 2024-01-20- 来自专栏硅光技术分享
机器学习笔记5：支持向量机
这篇笔记整理下支持向量机(support vector machine)的相关知识点。 支持向量机也是一种用来处理分类问题的算法，与逻辑回归相比，其假设函数发生了变化，不再是Sigmoid函数，而是线性的分段函数，如下图所示， ? 支持向量机的代价函数为 ? 支持向量机所做的是寻找一个直线来划分数据，使得该直线离两类数据集的距离最大，如下图所示。因此，支持向量机也被称为“大间距分离器”。 ?
44110发布于 2020-08-13 - 来自专栏MyTechnology
稀疏数组
1.1 稀疏数组介绍 当一个数组中大部分元素为０，或者为同一个值的数组时，可以使用稀疏数组来保存该数组。 将i存到稀疏数组[0][0]的位置 将j存到稀疏数组[0][1]的位置 将count存到稀疏数组[0][2]的位置 将各个有效值的行列存到稀疏数组下一行，例如[1][0]=行，[1][1]=列，[1][ 稀疏数组转原始的二维数组的思路： 1.先读取稀疏数组的第一行，根据第一行的数据，创建原始的二维数组，比如上面的chessArr2 =int[5][6] 2.在读取稀疏数组后几行的数据，并赋给原始的二维数组即可 //1: 表示黑子 //1: 表示蓝子 int chessArr1[][] = new int[7][8]; chessArr1[1][2] = 5; sparseArr[count][2] = chessArr1[i][j]; } } } // 5.
61130发布于 2021-01-18 - 来自专栏生如夏花绚烂
稀疏数组
稀疏数组 当一个数组大部分为0，或者为同一个值的数组时，可以使用稀疏数组来保存该数组 稀疏数组的处理办法是： 1.记录数组一共有几行几列，有多少个不同的值 2.把具有不同值的元素的行列及值记录在一个小规模的数组 （稀疏数组 ）中，从而缩小程序的规模 如下例：将一个二维数组转换为稀疏数组 稀疏数组第一行保存的值是二维数组有多少行和列，有多少个不同的值。 13个有意义的值，那么原来的二维数组还是 7*6=42,而转换后稀疏数组则是 14*3=42,如果原来的二维数组有14、15、16、...个等有意义的值，那么稀疏数组的大小将会超过原先二维数组的大小，这里就得不偿失了 这里就得到两个结论： 二维数组的有效值越少，转换为对应的稀疏数组就越高效 稀疏数组适用于空数据较多的情况下 在使用稀疏数组之前一定要具体问题具体分析，不能一股脑的用！ 代码实现 还是以一个五子棋盘为例 为了对棋盘进行压缩，我们将原来的二维数组的方式转换为稀疏数组的方式 稀疏数组第一行存储的是原来二维数组的行和列以及有效的数据 第二行后存储的是每一个数据的位置和具体值
65220编辑于 2022-09-14 - 来自专栏Java架构师必看
稀疏数组
，2020.2 IDEA 激活码 一、稀疏数组的定义 ---- 稀疏（sparsearray）数组：可以看做是普通数组的压缩，但是这里说的普通数组是值无效数据量远大于有效数据量的数组。 当遇到此种情况时，可以使用稀疏数组。 ? 当一个数组中大部分元素为0，或者为同一个值的数组时，可以使用稀疏数组来保存该数组。 二、应用实例 ---- 我们将下图所示的棋盘使用稀疏数组进行存盘退出操作： ? 【1】将上面类似的二位数组棋盘保存到稀疏数组中，并存放至外部备份文件 sparsearray.text 中：稀疏数组可以简单的看作为是压缩，在开发中也会使用到。 【3】将稀疏数组文件中的内容恢复至传统的二维数组棋盘； /** * 将稀疏数组文件中的内容恢复至传统的二维数组棋盘 */ public class SparseArrayClass { public
85030发布于 2021-04-30 - 来自专栏学习笔记持续记录中...
稀疏数组
当一个数组中大部分元素为0，或者为同一个值的数组时，可以使用稀疏数组来保存该数组。 稀疏数组的处理方法是： 1）记录数组一共有几行几列，有多少个不同的值 2）把具体不同值的元素的行列及值记录在一个小规模的数组中，从而缩小程序的规模。 ? 二维数组转稀疏数组 public class SpareseArray { public static void main(String[] args) { /** d\t",data); } System.out.println(); } /** * 将二维数组转稀疏数组 创建稀疏数组，行数=sum+1 ，多出来的1行是对稀疏数组中总行数、总列数以及非0个总个数的 sparseArr[0][0] = chessArr1.length; sparseArr
50910发布于 2020-03-17 - 来自专栏AI机器学习与深度学习算法
机器学习入门 5-4 向量化
本小节主要介绍使用向量化的方式提升性能。 简单线性回归 先来回归一下简单线性回归优化目标以及通过最小二乘的方式求得的参数a，b的解析解。 ? ，得益于numpy模块性能就会大大的提升，这就是向量化运算含义。 其实上面的w和v可以看成是一个向量，而将两个向量进行点乘之后正好是上面对应元素相乘后相加的结果，因此我们可以通过numpy中的点乘操作进行求解。 ? 上面我们将对应元素相乘然后相加的操作看成是向量之间的点乘，这也是为什么在最小二乘求解a的解析解的时候要把式子写成相乘累加的形式，这样就可以将其转换成向量之间的运算，进行向量化运算提升性能。 实现向量化的代码只需将for循环部分改成向量点乘即可： ? ? ? ? 为了比较两者的性能，将两种方式导入jupyter中，通过魔法命令来验证性能。 ? ? ? ?
89420发布于 2019-11-13 - 来自专栏paddle深度学习
paddle深度学习5 向量的维度变换
对于Tensor数据类型而言，有的时候，我们需要改变向量的形状，以满足计算要求例如：向量的变形、转置、压缩、解压等，属于基本的向量维度变换操作下面将对向量的维度变换操作进行介绍【reshape()】在numpy ，第二个参数为一个元组，它描述了新向量的形状注意元组的元素总数要与原向量一致【unsqueeze()】unsqueeze()方法将对向量进行维度扩充，在指定的轴增加一个维度import paddlea= ，从一个二维向量变成了一个三维向量【squeeze()】squeeze()方法与unsqueeze()方法正好相反，它的作用是减少一个维度但要注意，被删除的维度尺寸必须为1import paddlea= 【t()】t()方法用于向量的转置转置是一种改变向量维度顺序的操作，通常用于交换矩阵的行和列。 ，第二个参数是一个元组，元组代表新向量的轴顺序原本的(0,1,2)轴顺序被调换为了(2,0,1)因此向量的形状也从(2,3,4)变成了(4,2,3)【expand()】`paddle.expand()是
47800编辑于 2025-01-11 - 来自专栏半月无霜
稀疏数组
稀疏数组 一、介绍 稀疏数组可以看作是普通数组的压缩，当一个数组中大部分元素为0或同一个值时，可用稀疏数组来保存该数组。 由此可以发现，当一个数组上出现大量无用的数组时，我们可以使用一些方法将其压缩成稀疏数组进行存储，等到使用的时候再进行解压还原。 ，里面的有效值个数有三个， 那么转为稀疏数组后，将会变成一个4*3的稀疏数组。 ，如下图所示 由此可以分析出来，将二维数组转换成为稀疏数组只需要这么几步就可以成功。 遍历原数组，得到原数组中有效值的个数num 创建一个稀疏数组，大小为(num+1)*3 稀疏数组的第0行存放，原数组的行个数，列个数，以及有效值的个数 将有效值的行、列、值转换写入稀疏数组中
57620编辑于 2023-03-03 - 来自专栏生物信息学、python、R、linux
稀疏矩阵
在矩阵中，如果数值为0的元素数目远远多于非0元素的数目，并且非0元素分布无规律时，则称该矩阵为稀疏矩阵（sparse matrix）；与之相反，若非0元素数目占大多数时，则称该矩阵为稠密矩阵。 当一个矩阵中含有大量的0值时，可以将矩阵以稀疏矩阵的方式存储以解决资源。在R中，可以用Matrix这个包, 它可以将矩阵转化为稀疏矩阵。 #转化成稀疏矩阵，可以看到0变成了点 library(Matrix) sparseM= Matrix(M) class(sparseM) sparseM ?
1K20发布于 2020-11-24 - 来自专栏AI大模型应用开发炼丹房
解锁AI检索的7大Embedding技术：从稀疏到多向量，一文掌握
关键词式稀疏向量）Sparse Embedding 是一种基于关键词匹配的稀疏向量表示方法，其维度通常超过 50,000 维，且95%以上的位置为零值。 以下图的这个简易倒排索引所示，我们按照列为单元来看倒排索引，那么每列就可以表征为一个文档所包含的单词列表，这其实就是一种稀疏向量。 图中的 3 个红色框分别代表了文档 ID 为 1，3，7 的三个不同的稀疏向量。而倒排索引则提供了稀疏向量的高效检索方式。 不过，二值化方法通常会导致精度下降约5%~15%，且汉明距离仅能提供排序结果，无法还原真实的相似度分值。它特别适合移动设备或离线环境中的检索任务。 最终部署时，采用 Sparse 与 Dense 结合的混合排序（Hybrid Ranking）策略往往最为稳妥：稀疏向量保证精度，稠密向量保证召回率，并通过权重调整平衡结果。
1.4K21编辑于 2025-09-12 - 来自专栏JusterZhu
02 稀疏数组
2.问题分析 上面棋盘可用二维数组进行记录，但是二维数组的很多值是默认值0，因此记录了很多没有意义的数据->稀疏数组 3.基本介绍 当一个数组中大部分元素为0，或者为同一个值的数组时，可以使用稀疏数组来保存该数组 = new int[12,12]; public MySparseArray() { /* * exsmple：5 row, 7 cloum * 1 white 2 black */ SparseArray[5, 7] = 1; SparseArray[7, 5] = 1; SparseArray[7, 9] = 1; SparseArray[7, 11] = 1; { tempSparseArray[i,1] }\t{ tempSparseArray[i,2] }"); } Console.WriteLine("5.
48010编辑于 2022-12-07 - 来自专栏全栈程序员必看
数组 – 稀疏数组
文章目录 一，稀疏数组 1.定义 2.存储 3.存储方式 1.普通存储 2.链式存储 a.普通链式存储 b.行式链式存储 c.十字链式存储 4.代码实现 3.将稀疏数组存到此磁盘中 4.从磁盘中读取稀疏数组 5.完整代码 一，稀疏数组 1.定义 稀疏数组可以看做是普通数组的压缩，但是这里说的普通数组是值无效数据量远大于有效数据量的数组 形如： 0 0 0 0 0 0 0 0 0 我们可以使用java的IO流将稀疏数组存放到磁盘中，原数组和稀疏数组比较，肯定是稀疏数组体积更小，占用空间更小 /** * 将稀疏数组存入磁盘（文件） * */ public 在这里有个缺陷就是我不能动态的知道稀疏数组一共有几行，所以我选择传参的方式，这样其实是不太友好的 /** * 读文件获取稀疏数组(获取指定行数的稀疏数组)【不足】 * @return } } catch (Exception e) { e.printStackTrace(); } 5.
1.4K40编辑于 2022-07-22 - 来自专栏吃猫的鱼个人博客编程笔记
稀疏数组详解
稀疏数组 基本介绍 当一个数组中大部分元素为0，或者同一个值的数组时，可以使用系数数组来保存该数组。 稀疏数组的处理方法是： 记录数组一共有几行几列，有多少个不同改的值。 intsum+1 将二维数组的有效数据存入到稀疏数组 稀疏数组转原始的二维数组的思路 先读取稀疏数组的第一行，根据第一行的数据，创建原始的二维数组。 、 在读取稀疏数组后几行的数据，并赋给原始的二维数组即可。 a[][] = new int[6][6]; a[2][2] = 1; a[3][4] = 2; a[3][3] = 2; a[3][5] = 2; a[5][5] = 10; //首先判断当前数组的大小 int row = 6; int col = 6; /
78040编辑于 2023-03-02
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号