- 综合排序
- 最热优先
- 最新优先
- 来自专栏技术研究和应用
【向量检索研究系列】本地向量检索（下）
1 背景上一篇文章《向量检索研究系列：本地向量检索（上）》介绍了如何加快向量相似度计算，但是一般的向量检索流程还包括对计算结果进行排序，以及有必要的话，在计算相似度之前可以对向量库中的向量进行过滤筛选（ 图片后台服务从Redis读取向量数据到内存，若10万个广告，使用方案二，存储向量需要内存270M，存储倒排索引3M。如果线上4个版本的向量进行AB实验，则内存总占用约1G。 3 排序优化向量过滤和相似度计算完之后，对结果取TopK的排序是否耗时？能否优化？ （2）优化后本地向量检索P99时延降低50倍，平均时延降低180倍。（3）优化后本地向量检索时延分布，99.2的检索时延都在1ms以内。 4.2 粗排服务（1）优化后SIMD向量计算P99时延降低62倍，向量检索平均时延降低3倍。5.
2.3K31编辑于 2022-07-14 - 来自专栏技术研究和应用
【向量检索研究系列】本地向量检索（上）
1 背景当广告推荐业务峰值QPS已经达到10万以上，向量检索QPS峰值就会就会达到30万以上，召回服务的向量检索P99时延和平均时延已经超出了能接受的正常范围，导致召回服务整体时延达到上限，很多请求超时以至于没有广告返回给上游服务 在数据量不大但检索QPS非常高的场景下，使用第三方的向量检索产品可能并不一定是最佳选择，像开源的Faiss、HNSWliib和ScaNN这些优秀的向量检索库比较适用于上亿数量级，而且第三方服务毕竟存在网络请求开销和不稳定性因素 但是在业务服务本身做向量检索会消耗比较多的CPU资源和内存资源，CPU资源是比较稀缺的，而且普通的向量检索效率比较低，时延比较长，如何减少资源消耗和加快向量检索效率成为了优化目标。 3 小结本文主要介绍了在当前的向量检索业务挑战的背景下，研究了如何在内存中进行本地向量检索的探索流程，对探索的多种方案也进行了压测，最终得出了综合性能较优的SIMD-Plan9汇编方案。 但实际上向量检索的流程还有前置的向量过滤（可选流程）和后置的检索结果排序，这两个方面也有进一步优化的空间，以及整体优化后的效果将在下一篇文章《向量检索研究系列：本地向量检索（下）》中进行详细介绍。
1.6K31编辑于 2022-09-13 - 来自专栏大数据杂货铺
全文检索、向量检索和混合检索的比较分析
全文检索 全文搜索是指将部分或全部文本查询与数据库中存储的文档进行匹配。与传统的数据库查询相比，全文搜索即使在部分匹配的情况下也能提供结果。 大语言模型可以处理数据库记录并生成向量嵌入——文档语义的数字表示。然后将这些嵌入存储在向量数据库中。顾名思义，矢量搜索的工作原理是比较相似的矢量。 通过执行向量比较，向量搜索有效地实现了语义搜索。 Elastic Search Elastic Search 引入了带有倒数排名融合 （RRF） 的混合搜索，以结合向量、关键字和语义技术以获得更好的结果。 此版本还提高了向量搜索和摄取的性能，响应时间加快了 30% 以上。 Elasticsearch 用户越来越多地使用不同类型信息的搜索检索 — BM25 用于文本，向量搜索用于密集向量。 混合搜索技术通常会提供更好的结果：对多个 BIER 数据集进行基准测试显示，结合 BM25 和基于 ELSER 的排名时，相关性有所提高，现在用户甚至可以更轻松地组合所有这些检索方法。
6.3K10编辑于 2024-04-24 - 来自专栏铭毅天下
Elasticsearch：普通检索和向量检索的异同？
1、引言 《Elasticsearch 向量搜索的工程化实战》文章一经发出，收到很多留言。读者对向量检索和普通检索的区别充满了好奇，所以就有了今天的文章。 2、普通搜索 VS 向量搜索 向量搜索已经在黑暗中成长了有些年头了，但是随着近几年机器学习和深度学习的蓬勃发展，“特别是万物皆可 embedding“的观点越来越流行之后，向量搜索才逐渐从小众的技术走入人们的视野之中 以广泛被使用的 Lucene、Elasticsearch、Solr，以及最近出来的一些类似 MeiliSearch、Redisearch 等为代表，基于词元和倒排索引所构建的普通搜索，是建立在准确的搜索内容和检索语句上的 ，他们往往通过各种方式对文档进行分词（analyze），通过诸如BKD tree等数据结构，将拆解出来的词元（token）进行倒排索引，在检索时也会对检索语句进行同样的分词处理，通过相同词元的匹配进行召回 ，通过预先配置的参数对向量进行 KNN 聚类的方式进行索引 召回时会通过寻找较近的核向量的方式来找到 topK 的向量进行 主要包含的一些方式： 2.2.2.3 升级和调优 其他一些可用的开源库 [NGT
5.7K10编辑于 2022-02-09 - 来自专栏AI技术探索和应用
向量检索（RAG）之向量数据库研究
结果汇总 向量数据库名称 是否开源（Github Star，数据统计于 2025年3月） 是否有 云版本 支持暴力检索 支持的索引 可视化界面 标量过滤 特点 Annoy 是（13.5k） 无 否 Annoy 功能：将文档生成向量，存储向量及其元数据，检索向量。即将推出：多种数据类型，包括图像、音频、视频等。 功能：将文档生成向量，存储向量及其元数据，检索向量。即将推出：多种数据类型，包括图像、音频、视频等。 然后将查询图像转换为向量，并检索出相似的图像。 产品推荐：基于代表用户的向量，为电子商务生成产品推荐。 如果设置为 true，搜索可能会运行很长时间，因为它会执行完整扫描以检索准确的结果。（暴力检索） ), limit=3 ) Qdrant 目前仅使用 HNSW 作为矢量索引。
3.3K42编辑于 2025-03-05 - 来自专栏韩曙亮的移动开发专栏
【AI 大模型】RAG 检索增强生成 ② ( 关键字检索 | 向量检索 | 向量简介 | 二维空间向量计算示例 | 文本向量 - 重点 ★★ | 文本向量示例 )
v = [v_1 , v_2, v_3] , 其中 v_1 , v_2 和 v_3 分别是 x 轴 , y 轴 和 y 轴 的分量 , 该向量可以理解为 从 原点 (0, 0, 0) 到 ( v_1 , v_2, v_3 ) 点的线段 ; 三维以上的空间画不出来 , 但是仍然存在 , 比如 四维空间 , 五维空间 , 一千维空间 ; 在 n 维空间中 , 向量通常表示为一个有序的数对 v = [v_1 , v_2, v_3, \cdots , v_n] , 其中 v_1 , v_2 到 v_n 分别是 n 个轴 的分量 , 该向量可以理解为 原点 到 ( v_1 , v_2, v_3, \cdots , v_n ) 点的 线段 ; 向量 的 本质 就是 一组数字 ; 2、二维空间 向量计算 示例 为了更好的理解 " 向量 " 这个概念 , 这里举一个 二维空间 的向量计算示例 x_1 - x_2 ; y 轴方向的分量是 y_1 - y_2 ; 3、文本向量 ( 重点 ★★ ) 文本向量 一般是 通过 Word2Vec / GloVe 词嵌入模型 表示 , 嵌入 英文为
90711编辑于 2024-08-29 - 来自专栏openclaw系列
向量检索实战 —— OpenClaw 如何实现混合搜索（向量 + 全文）
关键词：混合检索｜向量数据库｜SQLite FTS5｜ONNX 嵌入｜相似度归一化｜候选重排序 在上一篇中，我们了解了 OpenClaw 记忆系统的配置体系。 为此，OpenClaw 构建了一套轻量但强大的混合检索引擎（Hybrid Search Engine），巧妙结合向量语义搜索与全文关键词匹配，在资源受限的边缘设备（如个人服务器）上也能提供接近商业 RAG 单一策略的局限 混合检索的价值 高召回率（Recall）：关键词确保关键信息不丢失 高相关性（Relevance）：向量确保语义匹配 鲁棒性：任一子系统失效，另一仍可兜底 OpenClaw 默认采用 3. 结语：混合检索是平衡的艺术 OpenClaw 的混合检索引擎，没有追求最前沿的 ANN 算法或最大规模的向量库，而是在实用性、性能与准确性之间找到最优解。
1.4K21编辑于 2026-03-14 - 来自专栏技术研究和应用
【向量检索研究系列】快速入门
向量检索介绍1.1 概念介绍随着互联网的不断发展，产生了各种各样的海量数据，比如图片、文本、视频和语音等非结构化数据，这些数据可以通过人工智能技术提取出特征向量，然后通过对这些特征向量的计算和检索来实现对非结构化数据的分析和检索 ，如何对非结构化的向量数据进行高效检索即为向量检索技术的核心问题。 对于二值变量，谷本系数等价于杰卡德距离：图片对于二值变量，谷本系数值域为 0 到 +1（+1 的相似度最高）3. 基础算法了解了向量检索的计算相似度方式，如何加快检索速度是研究的重点。 如果该距离大于等于S中距离p最远的距离并且S中已有k个点，执行步骤3；如果该距离小于S中最远的距离或S中没有k个点，从当前结点的另一子节点开始执行步骤1；如果当前结点没有另一子结点，执行步骤3。 假设p节点为(-1,-5)，在数据集中的位置如以下左图，检索邻近3个节点，经过上述搜索算法后，得到3个邻近节点（绿色节点），坐标为(-6,-5), (-1,-3), (-2,-1)。
3.9K115编辑于 2022-06-30 - 来自专栏技术研究和应用
【向量检索研究系列】产品介绍
产品概况1.1 产品对比向量检索领域有着非常多优秀产品，不同的产品有着各自的特性，适用于不同的场景，接下来将对已了解的8款优秀向量检索产品进行简单的介绍。 glove-100-angular (k = 10)数据集的向量检索内积距离top 10测试结果fashion-mnist-784-euclidean (k = 10)数据集的向量检索欧式距离top 10 ScaNN使用了各向异性矢量量化技术提高了向量检索的精度。 2.8 ProximaProxima 是阿里内部达摩院开发的一个通用向量检索引擎框架，类似于Facebook开源的Faiss，支持多种索引类型。架构图优点支持多种向量检索算法。 3. 总结本文主要对向量检索领域相关的优秀产品进行了产品对比、技术对比和性能对比，以及对各个产品进行了简单的介绍，并阐述了其优缺点。
4.5K62编辑于 2025-08-18 - 来自专栏铭毅天下
Elasticsearch 8.X 向量检索和普通检索能否实现组合检索？如何实现？
换句话说，向量搜索和普通搜索的组合检索才是 Elasticsearch 作为向量数据库有别于其他新兴向量数据库的发力点所在。 更多向量检索的先验知识，推荐大家阅读： 干货 | 详述 Elasticsearch 向量检索发展史 高维向量搜索：在 Elasticsearch 8.X 中利用 dense_vector 的实战探索 Elasticsearch：普通检索和向量检索的异同？ 这个映射指定了索引中文档将包含的字段及其类型： image-vector：一个类型为dense_vector的字段，用于存储 ** 3 维 ** 向量数据。 2.3.4 官方答案一：Filtered kNN search 如下实现语法的核心：knn 向量检索的里面加了 filter 过滤。
1.6K10编辑于 2024-04-11 - 来自专栏NewBeeNLP
向量检索模型落地：瓶颈及解法！
作者 | Maple小七 整理 | NewBeeNLP 稠密向量检索巨大的内存占用一直是限制其落地的一大瓶颈。 今天分享一篇来自EMNLP 2021的论文，讨论了三种简单有效的压缩方法： 无监督PCA降维 有监督微调降维 乘积量化 实验结果表明简单的PCA降维有着很高的性价比，能够以少于3%的top-100准确度损失换取 虽然DPR能够提供更准确的检索结果，但DPR所生成的向量索引的内存占用是很大的。 Hybrid Search 大量研究已表明结合稀疏向量检索(BM25)和稠密向量检索能够提升性能，其中最简单有效的方法是对分数做线性加权求和： 这里我们简单地设定 ，即稠密检索和稀疏检索等权。 Discussion 限制稠密向量检索模型落地的一大瓶颈就是推理时延和内存消耗的问题，这篇论文通过实验证明了简单的主成分分析加上乘积量化，在辅以稀疏向量检索，就能在保证准确度的前提下大幅减少内存占用，提升检索速度
1.5K20编辑于 2022-02-26 - 来自专栏大数据生态
Elasticsearch 8.8 原生向量检索性能测试
R) Xeon(R) Platinum 8255C CPU @ 2.50GHz 背景 腾讯云大数据Elasticsearch Service首发上线 ES 8.8.1 版本，提供强大的云端AI增强与向量检索能力 ，支持在端到端搜索与分析平台中实现自然语言处理、向量搜索以及与大模型的集成，10亿级向量检索平均响应延迟控制在毫秒级，助力客户实现由AI驱动的高级搜索能力，为搜索与分析带来全新的前沿体验。 本⽂主要介绍使⽤ vespa-fbench 压测工具进行 ES 8.8 的向量检索性能压测。 需要创建2个文件，以及修改3个文件。 max_num_segments=1' 5.4 生成压测请求体文件 [root@centos dense-vector-ranking-performance]# python3 .
2.7K104编辑于 2023-09-06 大模型RAG向量检索原理深度解析
常规的知识库检索通常使用的是关键字与词条匹配，随着AGI的爆发，越来越多的知识库检索开始使用向量检索技术，特别是在RAG领域，增强型的生成式问答检索正在大面积应用和推广。 从上面对比分析来看，传统检索方法更适合准确匹配的场景，向量检索适合复杂语义匹配检索需求，可以理解更复杂的语义关系，提供更为准确和全面的检索结果。 除了刚才提到的基于知识库的问题系统用到了向量检索，向量检索的应用场景非常多，比如： 推荐系统：广告推荐、猜你喜欢等； 图片识别：以图搜图，通过图片检索图片。 应用场景: 亿级规模向量数据的近似最近邻搜索,如大规模图像检索、视频检索等。 算法逻辑: 将向量按插入顺序构建成多层次图结构,每层是上一层的导航对象。 应用场景: 海量高维向量数据的近似最近邻搜索,如大规模多媒体检索、电商商品检索等。 算法逻辑: 构建包含大量质心的预先计算的聚类簇,称为列表。 将向量分解为多个低维子向量,对每个子向量进行量化编码。
3.1K00编辑于 2024-04-19- 来自专栏Reinvent Data Science
详解如何通过稀疏向量优化信息检索
特别是与 Milvus 向量数据库结合时，稀疏向量能够改进信息检索系统，通过提高检索效率，提供富含上下文的答案，最终优化系统性能。 03.学习得到的稀疏向量：将传统稀疏向量与上下文信息相结合 结合 Out-of-Domain 检索的精确词匹配技术，如词袋模型和 BERT 等稠密向量检索方法进行语义检索，长期以来一直是信息检索领域的一项主要任务 来自 BGE-M3 的研究显示，学习得到的稀疏向量在多语言或跨语言检索任务中优于稠密向量，在准确性方面表现更佳。 虽然稀疏和稠密检索方法均正确识别了编号为 244468#1 和 244468#3 的段落，但稠密检索未能捕捉到其他相关故事。 Learned 稀疏向量检索。
1.9K20编辑于 2024-07-20 - 来自专栏架构进阶
大模型探索：阿里向量检索服务DashVector
废话不多说，在实际的大模型应用中，向量检索服务无疑是目前不可缺少的一个重要部分，几乎所有的prompt工程都离不开，因此这里从阿里的DashVector入手，从实际应用角度来了解什么是向量检索服务，以及怎样使用 简单理解，使用向量检索的云服务，就是避免我们自己搭建向量数据库、同时简化文本转向量的计算量，以及执行向量检索的工作，从而快速搭建应用。 3.1.2 DashScope 我们在做向量检索前，通常需要针对原始问题做向量化处理，然后才能拿着这个向量到向量库中进行检索。 ：录入一篇/多篇自己准备的文档到向量库作为知识库内容； （2）用户通过接口输入问题，服务端把问题文本计算为向量； （3）利用DashVector的API查询相似向量，召回相似度最高的文档； （4）通过召回的文档 这个接口支持的检索能力包括：（1）根据向量进行相似性检索；（2）根据主键（对应的向量）进行相似性检索；（3）带过滤条件的相似性检索；（4）带有Sparse Vector的向量检索。
2.5K11编辑于 2024-05-06 - 来自专栏架构进阶
大模型RAG：基于PgSql的向量检索
一 RAG与向量检索1.1 RAG概念 检索增强生成（Retrieval-augmented Generation），简称RAG。 1.3 RAG应用框架 RAG应用框架如下图所示，包含文本向量化、检索向量数据库、获取上下文（相关知识/文档）、prompt构造、调用大模型执行文本生成等主要环节。 从分类的角度说，包括：原生向量数据库（Chroma、LanceDB、Mivus等）、支持向量的全文检索数据库（Elastic、Lucene、OpenSearch和Solr）、支持向量的NoSQL数据库（ 2.2 PgSql与PgVector Postgres 通过 pg_vector 和 pg_embdding 两个插件来实现向量数据库，让PG数据库支持向量索引检索的能力。 三 基于PgSql的向量检索示例3.1 建立向量库 如下建表语句所示，向量库主要文档内容和embedding（文档向量化结果）。
1.2K00编辑于 2025-02-28 - 来自专栏铭毅天下
干货 | 详述 Elasticsearch 向量检索发展史
初步尝试：简单向量检索的引入 Elasticsearch 最初并未专门针对向量检索进行设计。然而，随着机器学习和人工智能的兴起，对于高维向量空间的查询需求逐渐增长。 3. 官方支持：进一步发展 到 Elasticsearch 7.0 版本，正式开始增加对向量字段的支持，例如通过 dense_vector 类型。 应用场景体现在： （1）个性化推荐：通过余弦相似度分析用户的行为和兴趣，提供更个性化的推荐内容； （2）图像识别和搜索：使用欧几里得距离快速检索与给定图像相似的图像； （3）声音分析：在声音文件之间寻找相似模式 看中间，Results 部分就是向量检索的结果。 综上，向量检索打破了传统倒排索引仅支持文本检索的缺陷，可以扩展支持文本、语音、图像、视频多种模态。 ESRE 集成了高级相关性排序如 BM25f、强大的矢量数据库、自然语言处理技术、与第三方模型如 GPT-3 和 GPT-4 的集成，并支持开发者自定义模型与应用。
1.9K20编辑于 2023-08-18 LLM 系列（十）：RAG 番外篇-向量检索
向量检索 本篇文章目的是为大家提供一份关于向量检索的详尽介绍，系统性地梳理从经典理论到前沿实践的完整知识图谱。我将从信息检索的基石——以BM25为代表的稀疏检索方法出发，为后续的讨论奠定理论基础。 3. 偏向长文档：尽管 TF 的归一化在一定程度上缓解了这个问题，但长文档仍然有更多机会包含更多种类的词，从而可能获得不公平的高分。 稠密向量检索 随着深度学习的兴起，信息检索领域经历了一场从词法到语义的深刻革命。 索引 (Indexing)：训练完成后，将数据集中的每一个向量分配到其最近的质心所对应的聚类中。 3. 查询 (Querying)：当一个查询向量到来时，系统首先找出最近的 nprobe 个质心。 表3：HNSW与IVF索引调优参数 索引类型 参数 描述 增加该参数的影响 HNSW m 每个节点的最大连接数 召回率 ↑, 查询速度 ↓, 索引大小 ↑, 构建时间 ↑ ef_construction
1.1K11编辑于 2025-09-02- 来自专栏为了不折腾而去折腾的那些事
向量数据库入坑：传统文本检索方式的降维打击，使用 Faiss 实现向量语义检索
为了让 MySQL 能够实现比较好的短文本场景的检索效果，我写了一个 “docker-compose.yml”： version: '3' services: mysql: image: 当模型构建完毕之后，我们就可以来体验和使用基于“向量相似度检索”的语义检索啦。 、建立向量索引、加载模型、进行内容检索并输出结果几个向量检索的必要步骤。 这就是基于向量的文本检索的强大之处。 最后 希望在看完这篇内容后，你对于传统文本检索与基于向量的语义检索会有一个相对立体的认知，能够熟悉这其中最常见的“套路”，并且了解到相似度检索技术，它到底解决了什么问题，我们在什么场景下需要借助“向量检索的能力
3.9K50编辑于 2022-09-10 - 来自专栏大数据生态
「最佳实践」腾讯云 Elasticsearch 8.13.3 向量混合检索
向量检索性能影响因素较多，生产环境请自行根据数据量以及业务需求进行POC性能测试，以匹配最佳配置。 向量化检索纯向量检索：GET goods_vector/_search //语义检索{ "knn": { "field": "title_vector.predicted_value", 检索效果对比所有准备工作就绪，下面将演示向量检索，我们分别用向量检索和分词检索测试两者的检索效果：cd /root/tencent-es_vector/vim vector_search.py修改配置信息 (3) counter = 1 with col1: st.write("### 向量检索结果") for hit in knn_resp['hits']['hits 总结从检索效果可以直观看出，使用纯向量检索，往往是达不到业务需求的。如果想提升召回率，则需要配合混合检索，不仅可以提前过滤一些不相关的内容，对性能也有一定提升。
1.2K76编辑于 2025-03-08
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号