- 综合排序
- 最热优先
- 最新优先
- 来自专栏Reinvent Data Science
详解如何通过稀疏向量优化信息检索
03.学习得到的稀疏向量：将传统稀疏向量与上下文信息相结合 结合 Out-of-Domain 检索的精确词匹配技术，如词袋模型和 BERT 等稠密向量检索方法进行语义检索，长期以来一直是信息检索领域的一项主要任务 与仅依赖于统计方法（如 BM25）生成的传统稀疏向量不同，学习得到的稀疏 embedding 在保留关键词搜索能力的同时，丰富了稀疏表示的上下文信息。 来自 BGE-M3 的研究显示，学习得到的稀疏向量在多语言或跨语言检索任务中优于稠密向量，在准确性方面表现更佳。 此外，这些 embedding 固有的稀疏性大大简化了向量相似性搜索，减少了需要消耗的计算资源。此外，学习得到的稀疏向量通过匹配增强上下文理解，可以快速检查匹配的文档，以确定相应的匹配词。 Learned 稀疏向量检索。
1.9K20编辑于 2024-07-20 - 来自专栏自然语言处理
SPLADE 在稀疏向量搜索中的原理与应用详解
稀疏向量因其高效性、可解释性和精确的词语匹配特性，在信息检索领域曾广受欢迎。然而，它们远非完美。 稀疏向量搜索的工作方式与人类的自然表达存在脱节。 稀疏向量与稠密向量 在信息检索中，向量嵌入（Vector Embeddings）将文档和查询表示为数值向量格式。这种格式使得我们能够在向量数据库中通过计算相似度来检索相似的向量。 稀疏向量和稠密向量是向量表示的两种不同形式，各有优缺点。 稀疏向量包含很多零值，非零值比例非常小。 TF-IDF 或 BM25 等稀疏向量具有高维度，但包含的非零值非常少（因此得名“稀疏”）。 这主要有三个原因： SPLADE 查询和文档向量中的非零值数量通常多于传统稀疏向量，而现有的稀疏检索系统并未针对这一点进行优化。 非零值的分布偏离了传统稀疏检索系统所预期的分布，这也会导致速度变慢。 向量比较示例 让我们看看如何实际比较我们的稀疏向量。我们将定义三个短文本。
79600编辑于 2025-07-12 - 来自专栏NLP/KG
多维度信息捕捉：利用向量、稀疏向量、全文搜索及张量实现RAG的极致性能
另一种就是引入稀疏向量，跟稠密向量组合到一起提供混合搜索（hybrid search）。 ，似乎稠密向量 + 稀疏向量就是更好的多路召回方案，采用全文搜索 + 稠密向量，似乎没有必要？ 因此，近期 IBM 的研究文章（参考文献 [3]）对比了各种召回方式的组合，包括 BM25，稠密向量，BM25 + 稠密向量， 稠密向量 + 稀疏向量，以及 BM25 + 稠密向量 + 稀疏向量，最终得出结论 该具体算法来源于 SIGIR 2024 的 Best Paper Runner Up 论文（参考文献 9）。 下图是 Infinity 跟知名向量数据库 Qdrant 在稀疏向量索引上的性能评测： 由此可见，在稠密向量、稀疏向量、全文搜索三种召回手段上， Infinity 的性能均达到了极致，再加上强大的多路召回能力
1.2K10编辑于 2025-04-22 - 来自专栏Michael阿明学习之路
两个稀疏向量的点积（哈希）
题目 给定两个稀疏向量，计算它们的点积（数量积）。 实现类 SparseVector： SparseVector(nums) 以向量 nums 初始化对象。 dotProduct(vec) 计算此向量与 vec 的点积。 稀疏向量 是指绝大多数分量为 0 的向量。 你需要 高效 地存储这个向量，并计算两个稀疏向量的点积。 进阶：当其中只有一个向量是稀疏向量时，你该如何解决此问题？
1.2K20发布于 2021-09-06 - 来自专栏杨熹的专栏
TensorFlow-9-词的向量表示
http://wiki.jikexueyuan.com/project/tensorflow-zh/tutorials/word2vec.html 这一节是关于 word2vec 模型的，可以用来学习词的向量表达 /word2vec/word2vec_basic.py 词向量就是用一个具有一定维度的向量来表示一个单词，这样在分布式假设的思想下，我们可以认为出现在相同上下文情景中的词汇都有类似的语义。 最后还可以用 t－SNE 来可视化最后的词向量间的距离关系，可以发现具有相似信息的单词距离较近。 ? ---- 1. 用 SGD 优化器去优化目标， valid_embeddings 是用来检验的 16 个单词的词向量表示， similarity 是定义验证单词与词汇表中所有单词的相似度： ? 5. 最后用 TSNE 将 128 维的词向量降到 2 维，并展示频率最高的 100 个单词： ?
1.1K70发布于 2018-04-03 - 来自专栏WD学习记录
机器学习 学习笔记（9）支持向量机
为法向量，决定了超平面的方向，b为位移项，决定了超平面与原点之间的距离。 样本中任意点x到超平面的距离为 ? ，假设超平面能够正确分类训练样本，即对于 ? ， ? ，有 ? ，若 ? ，则 ? 距离样本超平面最近的几个训练样本使得等号成立，被称为支持向量，两个异类支持向量到超平面的距离之和为： ? ，被称为间隔。 欲找到具有最大间隔的划分超平面，也就是要找到能满足上面约束的w和b，使得 ? 确定偏移项b的方法： 对所有支持向量： ? ，其中 ? 为所有支持向量的下标集。理论上可以选择任意支持向量求解b，但现实任务中采用一种更加鲁棒的做法，使用所有支持向量求解平均值： ? 。 这就是常见的软间隔支持向量机。 ? ， 对偶问题： ? ? KKT条件为： ? ? ? ? ? ? 软间隔支持向量机的最终模型仍然仅与支持向量有关，即通过采用hinge损失函数保持了稀疏性。 # 如果支持向量太少，就可能会得到一个很差的决策边界 # 如果支持向量太多，也就相当于每次都利用整个数据集进行分类 参考： 《机器学习》 《统计学习方法》 《机器学习实战》
89120发布于 2018-09-03 - 来自专栏MyTechnology
稀疏数组
稀疏数组 先看一个实际的需求 五子棋程序中，有存盘退出和续上盘的功能。 ? 分析问题: 因为该二维数组的很多值是默认值0, 因此记录了很多没有意义的数据.->稀疏数组。 1.1 稀疏数组介绍 当一个数组中大部分元素为０，或者为同一个值的数组时，可以使用稀疏数组来保存该数组。 将i存到稀疏数组[0][0]的位置 将j存到稀疏数组[0][1]的位置 将count存到稀疏数组[0][2]的位置 将各个有效值的行列存到稀疏数组下一行，例如[1][0]=行，[1][1]=列，[1][ 1.2 转换思路 二维数组转稀疏数组的思路： 遍历原始的二维数组，得到有效数据的个数sum 根据sum就可以创建稀疏数组sparseArr int[sum+1][3] 将二维数组的有效数据数据存入到稀疏数组 稀疏数组转原始的二维数组的思路： 1.先读取稀疏数组的第一行，根据第一行的数据，创建原始的二维数组，比如上面的chessArr2 =int[5][6] 2.在读取稀疏数组后几行的数据，并赋给原始的二维数组即可
61130发布于 2021-01-18 - 来自专栏生如夏花绚烂
稀疏数组
稀疏数组 当一个数组大部分为0，或者为同一个值的数组时，可以使用稀疏数组来保存该数组 稀疏数组的处理办法是： 1.记录数组一共有几行几列，有多少个不同的值 2.把具有不同值的元素的行列及值记录在一个小规模的数组 （稀疏数组 ）中，从而缩小程序的规模 如下例：将一个二维数组转换为稀疏数组 稀疏数组第一行保存的值是二维数组有多少行和列，有多少个不同的值。 2.如果反过来原来二维数组的有效值只有8个，那么原来的二维数组还是 7*6=42，如果转换为稀疏数组则是9*3=27，可以看到有明显的压缩了。 这里就得到两个结论： 二维数组的有效值越少，转换为对应的稀疏数组就越高效 稀疏数组适用于空数据较多的情况下 在使用稀疏数组之前一定要具体问题具体分析，不能一股脑的用！ 代码实现 还是以一个五子棋盘为例 为了对棋盘进行压缩，我们将原来的二维数组的方式转换为稀疏数组的方式 稀疏数组第一行存储的是原来二维数组的行和列以及有效的数据 第二行后存储的是每一个数据的位置和具体值
65220编辑于 2022-09-14 - 来自专栏Java架构师必看
稀疏数组
，2020.2 IDEA 激活码 一、稀疏数组的定义 ---- 稀疏（sparsearray）数组：可以看做是普通数组的压缩，但是这里说的普通数组是值无效数据量远大于有效数据量的数组。 当遇到此种情况时，可以使用稀疏数组。 ? 当一个数组中大部分元素为0，或者为同一个值的数组时，可以使用稀疏数组来保存该数组。 二、应用实例 ---- 我们将下图所示的棋盘使用稀疏数组进行存盘退出操作： ? 【1】将上面类似的二位数组棋盘保存到稀疏数组中，并存放至外部备份文件 sparsearray.text 中：稀疏数组可以简单的看作为是压缩，在开发中也会使用到。 【3】将稀疏数组文件中的内容恢复至传统的二维数组棋盘； /** * 将稀疏数组文件中的内容恢复至传统的二维数组棋盘 */ public class SparseArrayClass { public
85030发布于 2021-04-30 - 来自专栏学习笔记持续记录中...
稀疏数组
当一个数组中大部分元素为0，或者为同一个值的数组时，可以使用稀疏数组来保存该数组。 稀疏数组的处理方法是： 1）记录数组一共有几行几列，有多少个不同的值 2）把具体不同值的元素的行列及值记录在一个小规模的数组中，从而缩小程序的规模。 ? 二维数组转稀疏数组 public class SpareseArray { public static void main(String[] args) { /** d\t",data); } System.out.println(); } /** * 将二维数组转稀疏数组 创建稀疏数组，行数=sum+1 ，多出来的1行是对稀疏数组中总行数、总列数以及非0个总个数的 sparseArr[0][0] = chessArr1.length; sparseArr
50910发布于 2020-03-17 - 来自专栏半月无霜
稀疏数组
稀疏数组 一、介绍 稀疏数组可以看作是普通数组的压缩，当一个数组中大部分元素为0或同一个值时，可用稀疏数组来保存该数组。 由此可以发现，当一个数组上出现大量无用的数组时，我们可以使用一些方法将其压缩成稀疏数组进行存储，等到使用的时候再进行解压还原。 ，里面的有效值个数有三个， 那么转为稀疏数组后，将会变成一个4*3的稀疏数组。 ，如下图所示 由此可以分析出来，将二维数组转换成为稀疏数组只需要这么几步就可以成功。 遍历原数组，得到原数组中有效值的个数num 创建一个稀疏数组，大小为(num+1)*3 稀疏数组的第0行存放，原数组的行个数，列个数，以及有效值的个数 将有效值的行、列、值转换写入稀疏数组中
57620编辑于 2023-03-03 - 来自专栏生物信息学、python、R、linux
稀疏矩阵
在矩阵中，如果数值为0的元素数目远远多于非0元素的数目，并且非0元素分布无规律时，则称该矩阵为稀疏矩阵（sparse matrix）；与之相反，若非0元素数目占大多数时，则称该矩阵为稠密矩阵。 当一个矩阵中含有大量的0值时，可以将矩阵以稀疏矩阵的方式存储以解决资源。在R中，可以用Matrix这个包, 它可以将矩阵转化为稀疏矩阵。 #转化成稀疏矩阵，可以看到0变成了点 library(Matrix) sparseM= Matrix(M) class(sparseM) sparseM ?
1K20发布于 2020-11-24 - 来自专栏AI大模型应用开发炼丹房
解锁AI检索的7大Embedding技术：从稀疏到多向量，一文掌握
关键词式稀疏向量）Sparse Embedding 是一种基于关键词匹配的稀疏向量表示方法，其维度通常超过 50,000 维，且95%以上的位置为零值。 以下图的这个简易倒排索引所示，我们按照列为单元来看倒排索引，那么每列就可以表征为一个文档所包含的单词列表，这其实就是一种稀疏向量。 图中的 3 个红色框分别代表了文档 ID 为 1，3，7 的三个不同的稀疏向量。而倒排索引则提供了稀疏向量的高效检索方式。 电商场景下，原本占用 2.4TB 的2亿商品向量数据，经量化后仅需600GB存储空间，全内存检索的P99延迟从18毫秒降低到9毫秒。因此，当内存资源成为瓶颈时，量化是最直接的优化方案。 最终部署时，采用 Sparse 与 Dense 结合的混合排序（Hybrid Ranking）策略往往最为稳妥：稀疏向量保证精度，稠密向量保证召回率，并通过权重调整平衡结果。
1.4K21编辑于 2025-09-12 - 来自专栏机器学习与统计学
100天搞定机器学习|Day9-12 支持向量机
支持向量机（support vector machines）是一种二分类模型，基本模型是定义在特征空间上的间隔最大化的线性分类器，通过引入核函数，最终转化为一个凸二次规划问题来求解。 支持向量机也可以作为非线性分类器来解决非线性数据集的分类问题。 支持向量机诞生于1963年，理论及应用都非常成熟，对初学者来说是绕不开的一个算法，在机器学习/数据挖掘的面试当中更是经典中的经典，非常能够体现面试者的数学功底以及对机器学习算法理解的程度。 支持向量机内涵诸多数学思想，比如几何思想、抽象思维、转化思想等等，学习SVM是一个非常好的实践数学思想的过程。 之前发过一篇SVM数学推导原理的文章：[算法系列]SVM的数学推导原理 各种博客或公众号都有很多类似文章，向大家推荐一个个人看过最靠谱的一篇： 《支持向量机通俗导论（理解SVM的三层境界）》 https
43230发布于 2019-04-23 - 来自专栏JusterZhu
02 稀疏数组
2.问题分析 上面棋盘可用二维数组进行记录，但是二维数组的很多值是默认值0，因此记录了很多没有意义的数据->稀疏数组 3.基本介绍 当一个数组中大部分元素为0，或者为同一个值的数组时，可以使用稀疏数组来保存该数组 稀疏数组的处理方法是： 记录数组一共有几行几列，有多少个不同的值。 把具有不同值的元素的行列及值记录在一个小规模的数组中，从而缩程序的规模。 4.应用实例 （1）使用稀疏数组，来保留类似前面的二维数组（棋盘、地图等） （2）把稀疏数组存盘，并且可以重新恢复原来的二维数组 public class MySparseArray { */ SparseArray[5, 7] = 1; SparseArray[7, 5] = 1; SparseArray[7, 9] SparseArray[7, 11] = 1; SparseArray[8, 10] = 2; SparseArray[10, 9]
48010编辑于 2022-12-07 - 来自专栏全栈程序员必看
数组 – 稀疏数组
文章目录 一，稀疏数组 1.定义 2.存储 3.存储方式 1.普通存储 2.链式存储 a.普通链式存储 b.行式链式存储 c.十字链式存储 4.代码实现 3.将稀疏数组存到此磁盘中 4.从磁盘中读取稀疏数组 5.完整代码 一，稀疏数组 1.定义 稀疏数组可以看做是普通数组的压缩，但是这里说的普通数组是值无效数据量远大于有效数据量的数组 形如： 0 0 0 0 0 0 0 0 0 * - 由于稀疏矩阵中存在大量的“空”值，占据了大量的存储空间，而真正有用的数据却少之又少， * - 且在计算时浪费资源，所以要进行压缩存储以节省存储空间和计算方便。 我们可以使用java的IO流将稀疏数组存放到磁盘中，原数组和稀疏数组比较，肯定是稀疏数组体积更小，占用空间更小 /** * 将稀疏数组存入磁盘（文件） * */ public 在这里有个缺陷就是我不能动态的知道稀疏数组一共有几行，所以我选择传参的方式，这样其实是不太友好的 /** * 读文件获取稀疏数组(获取指定行数的稀疏数组)【不足】 * @return
1.4K40编辑于 2022-07-22 - 来自专栏吃猫的鱼个人博客编程笔记
稀疏数组详解
稀疏数组 基本介绍 当一个数组中大部分元素为0，或者同一个值的数组时，可以使用系数数组来保存该数组。 稀疏数组的处理方法是： 记录数组一共有几行几列，有多少个不同改的值。 把具有不同值的元素的行列及值记录在一个小规模的数组中，从而缩小程序的规模 稀疏数组转换 二维数组转稀疏数组的思路： 遍历 原始的二维数组，得到有效数据的个数sum 根据sum就可以创建 系数数组sparseArr intsum+1 将二维数组的有效数据存入到稀疏数组 稀疏数组转原始的二维数组的思路 先读取稀疏数组的第一行，根据第一行的数据，创建原始的二维数组。 、 在读取稀疏数组后几行的数据，并赋给原始的二维数组即可。 //遍历找出有多少个有效数字 int count = 0; for(int i=0;i 版权属于： 吃猫的鱼 本文链接： https://www.fish9.
78040编辑于 2023-03-02 - 来自专栏hotarugaliの技术分享
稀疏矩阵存储格式
简介 稀疏矩阵是指矩阵中大多数元素为 0 的矩阵。多数情况下，实际问题中的大规模矩阵基本上都是稀疏矩阵，而且很多稀疏矩阵的稀疏度在 90% 甚至 99% 以上。 2. 存储格式 相较于一般的矩阵存储格式，即保存矩阵所有元素，稀疏矩阵由于其高度的稀疏性，因此需要更高效的存储格式。 一种解决方法是存成数组： 0 1 * 1 2 * 0 2 3 * 1 3 * 1 7 * 2 8 * 5 3 9 * 6 4 * 但这样要取一行就不太方便。 对比 3.1 优缺点概述 存储格式 优点 缺点 COO 灵活、简单 压缩、稀疏矩阵矢量乘积效率低 CSR 灵活、简单 稀疏矩阵矢量乘积效率低 ELL 稀疏矩阵矢量乘积效率高 压缩效率不稳定 DIA 稀疏矩阵矢量乘积效率高 压缩效率不稳定 COO 格式常用于从文件中进行稀疏矩阵的读写，而 CSR 格式常用于读入数据后进行稀疏矩阵的计算。
2.4K10编辑于 2022-03-18 - 来自专栏Titan笔记
稀疏矩阵的存储
【问题描述】 稀疏矩阵是指那些多数元素为零的矩阵。利用“稀疏”特点进行存储和计算可以大大节省存储空间，提高计算效率。实现一个能进行稀疏矩阵基本运算的运算器。 【基本要求】 以三元组顺序表表示稀疏矩阵，实现两个矩阵相加、相减的运算。稀疏矩阵的输入形式采用三元组表示，而运算结果的矩阵则以通常的阵列形式列出。 ? 稀疏矩阵加减法例子 【Talk is cheap, show you the code】 #include<iostream> // By Titan 2020-03-30 using namespace
1.5K20发布于 2020-07-22 - 来自专栏机器学习从入门到成神
稀疏矩阵转置
在此只讨论稀疏矩阵的转置问题； 可能看到矩阵就会想到二维数组，比如这样一个矩阵： ? int value; //元素值 }; 这样存储一个元素就会用到三个存储单元，七个就是二十一个存储单元，可能与二十五个没多大差别，但是如果矩阵的行列是一个很大的值，而且又是稀疏矩阵 这种存储结构只限于稀疏矩阵。 解决了存储结构，就开始矩阵的转置吧！！！ juzhen a[MAX_TERM]; //存放矩阵中元素数值不为零的元素 int chushi(struct juzhen a[MAX_TERM]) //初始化稀疏矩阵 /矩阵中的元素个数 return count_a; } void showjuzhen(struct juzhen a[MAX_TERM],int count_a) //显示稀疏矩阵
2.3K10发布于 2018-09-14
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号