- 综合排序
- 最热优先
- 最新优先
- 来自专栏技术研究和应用
【向量检索研究系列】本地向量检索（下）
1 背景上一篇文章《向量检索研究系列：本地向量检索（上）》介绍了如何加快向量相似度计算，但是一般的向量检索流程还包括对计算结果进行排序，以及有必要的话，在计算相似度之前可以对向量库中的向量进行过滤筛选（ 图片2.1 向量过滤把广告通过模型转成向量后，向量应该关联广告的一些基本信息，广告检索条件是基于这些广告属性的，检索的时候可以根据检索条件在向量关联的广告信息中进行向量的筛选过滤。 检索时把检索条件在第一个Map中查询到满足检索条件的广告ID列表，再根据ID列表从第二个Map中取出对应向量列表。大致结构可以参考2.2中向量存储方案图。 （2）优化后本地向量检索P99时延降低50倍，平均时延降低180倍。（3）优化后本地向量检索时延分布，99.2的检索时延都在1ms以内。 本地向量检索方案可以为100万以下数据量的业务提供快速、高性能且稳定的向量检索方案。SIMD自定义编程可以在应用到其它偏数学计算的业务，加速计算。
2.3K31编辑于 2022-07-14 - 来自专栏技术研究和应用
【向量检索研究系列】本地向量检索（上）
1 背景当广告推荐业务峰值QPS已经达到10万以上，向量检索QPS峰值就会就会达到30万以上，召回服务的向量检索P99时延和平均时延已经超出了能接受的正常范围，导致召回服务整体时延达到上限，很多请求超时以至于没有广告返回给上游服务 在数据量不大但检索QPS非常高的场景下，使用第三方的向量检索产品可能并不一定是最佳选择，像开源的Faiss、HNSWliib和ScaNN这些优秀的向量检索库比较适用于上亿数量级，而且第三方服务毕竟存在网络请求开销和不稳定性因素 但是在业务服务本身做向量检索会消耗比较多的CPU资源和内存资源，CPU资源是比较稀缺的，而且普通的向量检索效率比较低，时延比较长，如何减少资源消耗和加快向量检索效率成为了优化目标。 2 解决方案在探索向量检索优化方案的过程中，想到向量检索是一个数学运算的过程，业务服务是Golang写的，Golang是否有开源的做过数学计算优化的库，然后在Github上发现了开源项目Gonum，作为 但实际上向量检索的流程还有前置的向量过滤（可选流程）和后置的检索结果排序，这两个方面也有进一步优化的空间，以及整体优化后的效果将在下一篇文章《向量检索研究系列：本地向量检索（下）》中进行详细介绍。
1.6K31编辑于 2022-09-13 - 来自专栏大数据杂货铺
全文检索、向量检索和混合检索的比较分析
全文检索 全文搜索是指将部分或全部文本查询与数据库中存储的文档进行匹配。与传统的数据库查询相比，全文搜索即使在部分匹配的情况下也能提供结果。 大语言模型可以处理数据库记录并生成向量嵌入——文档语义的数字表示。然后将这些嵌入存储在向量数据库中。顾名思义，矢量搜索的工作原理是比较相似的矢量。 通过执行向量比较，向量搜索有效地实现了语义搜索。 Elastic Search Elastic Search 引入了带有倒数排名融合 （RRF） 的混合搜索，以结合向量、关键字和语义技术以获得更好的结果。 此版本还提高了向量搜索和摄取的性能，响应时间加快了 30% 以上。 Elasticsearch 用户越来越多地使用不同类型信息的搜索检索 — BM25 用于文本，向量搜索用于密集向量。 混合搜索技术通常会提供更好的结果：对多个 BIER 数据集进行基准测试显示，结合 BM25 和基于 ELSER 的排名时，相关性有所提高，现在用户甚至可以更轻松地组合所有这些检索方法。
6.3K10编辑于 2024-04-24 - 来自专栏铭毅天下
Elasticsearch：普通检索和向量检索的异同？
1、引言 《Elasticsearch 向量搜索的工程化实战》文章一经发出，收到很多留言。读者对向量检索和普通检索的区别充满了好奇，所以就有了今天的文章。 2、普通搜索 VS 向量搜索 向量搜索已经在黑暗中成长了有些年头了，但是随着近几年机器学习和深度学习的蓬勃发展，“特别是万物皆可 embedding“的观点越来越流行之后，向量搜索才逐渐从小众的技术走入人们的视野之中 以广泛被使用的 Lucene、Elasticsearch、Solr，以及最近出来的一些类似 MeiliSearch、Redisearch 等为代表，基于词元和倒排索引所构建的普通搜索，是建立在准确的搜索内容和检索语句上的 ，他们往往通过各种方式对文档进行分词（analyze），通过诸如BKD tree等数据结构，将拆解出来的词元（token）进行倒排索引，在检索时也会对检索语句进行同样的分词处理，通过相同词元的匹配进行召回 常见的向量化（嵌入）的算法： [Word2Vec] https://en.wikipedia.org/wiki/Word2vec [GloVe] https://en.wikipedia.org/wiki
5.7K10编辑于 2022-02-09 - 来自专栏AI技术探索和应用
向量检索（RAG）之向量数据库研究
功能：将文档生成向量，存储向量及其元数据，检索向量。即将推出：多种数据类型，包括图像、音频、视频等。 功能：将文档生成向量，存储向量及其元数据，检索向量。即将推出：多种数据类型，包括图像、音频、视频等。 embedding <-> '[3,1,2]' < 5; 近似近邻搜索 # 创建索引：在表有一些数据后创建索引，可以对多达2000个维度的向量进行索引 # L2 distance CREATE INDEX 然后将查询图像转换为向量，并检索出相似的图像。 产品推荐：基于代表用户的向量，为电子商务生成产品推荐。 2、Distance Metrics：这些用于衡量向量之间的相似性，并且必须在创建集合的同时选择它们。度量的选择取决于向量的获取方式，特别是取决于将用于编码新查询的神经网络。
3.3K42编辑于 2025-03-05 - 来自专栏韩曙亮的移动开发专栏
【AI 大模型】RAG 检索增强生成 ② ( 关键字检索 | 向量检索 | 向量简介 | 二维空间向量计算示例 | 文本向量 - 重点 ★★ | 文本向量示例 )
展示 如何 在 WIndows 系统中 实现 RAG ; 一、关键字检索 和 向量检索 " 关键字检索 " 和 " 向量检索 " 是 信息检索 和 数据检索 领域 中的 检索方法 , 二者各有优劣 , 文档中必须有要检索的关键字 , 如果是 关键字 的 同义词 则无法进行检索 ; 应用场景 : 百度搜索引擎 , 图书馆的文献检索系统 ; 2、向量检索 向量检索 基于 向量空间模型 进行检索 , 文档 和 查询词 都被表示为向量 , 检索系统通过 计算 向量之间 的 相似度 来找到相关文档 ; 向量检索特点 : 向量空间模型 : 文档 和 查询词 被 映射 到 高维向量空间 中 , 通常使用 Word2Vec ; A 点的坐标 (x_1 , y_1) , B 点的坐标 (x_2 , y_2) , 从 A 点 到 B 点 的向量 : 向量 AB = [x_2 - x_1 , y_2 - y_1] x 轴方向的分量是 x_2 - x_1 ; y 轴方向的分量是 y_2 - y_1 ; 从 B 点 到 A 点 的向量 : 向量 BA = [x_1 - x_2 , y_1 - y_2] x 轴方向的分量是
90711编辑于 2024-08-29 - 来自专栏openclaw系列
向量检索实战 —— OpenClaw 如何实现混合搜索（向量 + 全文）
关键词：混合检索｜向量数据库｜SQLite FTS5｜ONNX 嵌入｜相似度归一化｜候选重排序 在上一篇中，我们了解了 OpenClaw 记忆系统的配置体系。 ，系统执行： 步骤 1：生成查询嵌入 使用与索引相同的嵌入模型 得到查询向量 q_vec 步骤 2：并行执行两路搜索 路径 A：向量相似度搜索 SELECT id, content, distance 分数归一化（Normalization） 向量得分：原始为距离 [0, 2] → 转为相似度 sim = 1 - distance/2 → 归一化到 [0,1] 全文得分：FTS5 的 rank 是负对数概率 向量索引加速 使用 sqlite-vector 的 HNSW 近似索引（非暴力扫描） 内存缓存最近查询的嵌入（防重复计算） 2. 结语：混合检索是平衡的艺术 OpenClaw 的混合检索引擎，没有追求最前沿的 ANN 算法或最大规模的向量库，而是在实用性、性能与准确性之间找到最优解。
1.4K21编辑于 2026-03-14 - 来自专栏技术研究和应用
【向量检索研究系列】快速入门
向量检索介绍1.1 概念介绍随着互联网的不断发展，产生了各种各样的海量数据，比如图片、文本、视频和语音等非结构化数据，这些数据可以通过人工智能技术提取出特征向量，然后通过对这些特征向量的计算和检索来实现对非结构化数据的分析和检索 ，如何对非结构化的向量数据进行高效检索即为向量检索技术的核心问题。 2. 距离计算向量检索的过程是计算向量之间的相似度，最后返回相似度较高的TopK向量返回，而向量相似度计算有多种方式，不同的计算方式也适用于不同的检索场景。 基础算法了解了向量检索的计算相似度方式，如何加快检索速度是研究的重点。 基于图的向量检索算法在向量检索的评测中性能都是比较优异的。如果比较在乎检索算法的效率，而且可以容忍一定的空间成本，多数场景下比较推荐基于图的检索算法。
3.9K115编辑于 2022-06-30 - 来自专栏技术研究和应用
【向量检索研究系列】产品介绍
产品概况1.1 产品对比向量检索领域有着非常多优秀产品，不同的产品有着各自的特性，适用于不同的场景，接下来将对已了解的8款优秀向量检索产品进行简单的介绍。 glove-100-angular (k = 10)数据集的向量检索内积距离top 10测试结果fashion-mnist-784-euclidean (k = 10)数据集的向量检索欧式距离top 10 测试结果2. ScaNN使用了各向异性矢量量化技术提高了向量检索的精度。 2.8 ProximaProxima 是阿里内部达摩院开发的一个通用向量检索引擎框架，类似于Facebook开源的Faiss，支持多种索引类型。架构图优点支持多种向量检索算法。
4.5K62编辑于 2025-08-18 - 来自专栏铭毅天下
Elasticsearch 8.X 向量检索和普通检索能否实现组合检索？如何实现？
向量搜索热度不减，所以我们非常有必要将向量搜索和普通搜索结合方式给大家讲清楚。 换句话说，向量搜索和普通搜索的组合检索才是 Elasticsearch 作为向量数据库有别于其他新兴向量数据库的发力点所在。 更多向量检索的先验知识，推荐大家阅读： 干货 | 详述 Elasticsearch 向量检索发展史 高维向量搜索：在 Elasticsearch 8.X 中利用 dense_vector 的实战探索 Elasticsearch：普通检索和向量检索的异同？ 2.3.4 官方答案一：Filtered kNN search 如下实现语法的核心：knn 向量检索的里面加了 filter 过滤。
1.6K10编辑于 2024-04-11 - 来自专栏NewBeeNLP
向量检索模型落地：瓶颈及解法！
虽然DPR能够提供更准确的检索结果，但DPR所生成的向量索引的内存占用是很大的。 综上，我们认为PCA降维加乘积量化是最好的压缩方式，如果我们将指标下降幅度限制在平均4%以内，我们可以使用PCA-128+PQ2将稠密向量压缩96倍，将维基百科的向量索引的内存占用从61GB降低到642MB Hybrid Search 大量研究已表明结合稀疏向量检索(BM25)和稠密向量检索能够提升性能，其中最简单有效的方法是对分数做线性加权求和： 这里我们简单地设定 ，即稠密检索和稀疏检索等权。 加入混合检索可以进一步提升性能，下图展示了不同压缩方法的检索准确率和索引大小的关系，其中每条曲线从左到右依次为PQ1、PQ2和w/o PQ，图中的黑色虚线为帕累托边界，原始的768维DPR向量并没有落在帕累托边界上 Discussion 限制稠密向量检索模型落地的一大瓶颈就是推理时延和内存消耗的问题，这篇论文通过实验证明了简单的主成分分析加上乘积量化，在辅以稀疏向量检索，就能在保证准确度的前提下大幅减少内存占用，提升检索速度
1.5K20编辑于 2022-02-26 - 来自专栏大数据生态
Elasticsearch 8.8 原生向量检索性能测试
R) Xeon(R) Platinum 8255C CPU @ 2.50GHz 背景 腾讯云大数据Elasticsearch Service首发上线 ES 8.8.1 版本，提供强大的云端AI增强与向量检索能力 ，支持在端到端搜索与分析平台中实现自然语言处理、向量搜索以及与大模型的集成，10亿级向量检索平均响应延迟控制在毫秒级，助力客户实现由AI驱动的高级搜索能力，为搜索与分析带来全新的前沿体验。 本⽂主要介绍使⽤ vespa-fbench 压测工具进行 ES 8.8 的向量检索性能压测。 2), done. remote: Compressing objects: 100% (2/2), done. remote: Total 149 (delta 0), reused 0 (delta 需要创建2个文件，以及修改3个文件。
2.7K104编辑于 2023-09-06 大模型RAG向量检索原理深度解析
除了刚才提到的基于知识库的问题系统用到了向量检索，向量检索的应用场景非常多，比如： 推荐系统：广告推荐、猜你喜欢等； 图片识别：以图搜图，通过图片检索图片。 为了解决这样的问题，人们设计了一种特殊的 hash 函数，使得 2 个相似度很高的数据以较高的概率映射成同一个 hash 值，而令 2 个相似度很低的数据以极低的概率映射成同一个 hash 值。 如： 通用中文文本向量 text2vec-large-chinese https://modelscope.cn/models/thomas/text2vec-large-chinese/summary 最后到输出层，输出层，需要进行优化有压缩，方便向量存储与检索，这个又会涉及到向量模型优化的一些知识点，这个可以有兴趣可以参考word2vec完成算法模型进行研究： https://www.tensorflow.org /text/tutorials/word2vec
3.1K00编辑于 2024-04-19- 来自专栏Reinvent Data Science
详解如何通过稀疏向量优化信息检索
特别是与 Milvus 向量数据库结合时，稀疏向量能够改进信息检索系统，通过提高检索效率，提供富含上下文的答案，最终优化系统性能。 2013 年，Google 推出了 Word2Vec，这是首次尝试使用高维向量来表示单词并捕捉它们细微的语义差异。这一方法标志着信息检索方法逐渐转向由机器学习驱动。 03.学习得到的稀疏向量：将传统稀疏向量与上下文信息相结合 结合 Out-of-Domain 检索的精确词匹配技术，如词袋模型和 BERT 等稠密向量检索方法进行语义检索，长期以来一直是信息检索领域的一项主要任务 仔细查看结果：在稀疏检索中，7 个与朱熹相关的故事都排在前 10 名。而在稠密检索中，只有 2 个故事位于前 10。 我们使用 SPLADE 和 MiniLM-L6-v2 模型，将查询内容及 MIRACL 源数据集转化为稀疏和稠密向量。
1.9K20编辑于 2024-07-20 - 来自专栏架构进阶
大模型探索：阿里向量检索服务DashVector
废话不多说，在实际的大模型应用中，向量检索服务无疑是目前不可缺少的一个重要部分，几乎所有的prompt工程都离不开，因此这里从阿里的DashVector入手，从实际应用角度来了解什么是向量检索服务，以及怎样使用 简单理解，使用向量检索的云服务，就是避免我们自己搭建向量数据库、同时简化文本转向量的计算量，以及执行向量检索的工作，从而快速搭建应用。 3.1.2 DashScope 我们在做向量检索前，通常需要针对原始问题做向量化处理，然后才能拿着这个向量到向量库中进行检索。 1）本地知识库的向量化：录入一篇/多篇自己准备的文档到向量库作为知识库内容； （2）用户通过接口输入问题，服务端把问题文本计算为向量； （3）利用DashVector的API查询相似向量，召回相似度最高的文档 这个接口支持的检索能力包括：（1）根据向量进行相似性检索；（2）根据主键（对应的向量）进行相似性检索；（3）带过滤条件的相似性检索；（4）带有Sparse Vector的向量检索。
2.5K11编辑于 2024-05-06 - 来自专栏架构进阶
大模型RAG：基于PgSql的向量检索
一 RAG与向量检索1.1 RAG概念 检索增强生成（Retrieval-augmented Generation），简称RAG。 RAG通常包括两个阶段：1、检索上下文相关信息；2、使用检索到的知识指导生成过程。简单来说，就像开卷考试，我们可以携带参考材料用来查找相关信息来回答问题。 1.3 RAG应用框架 RAG应用框架如下图所示，包含文本向量化、检索向量数据库、获取上下文（相关知识/文档）、prompt构造、调用大模型执行文本生成等主要环节。 从分类的角度说，包括：原生向量数据库（Chroma、LanceDB、Mivus等）、支持向量的全文检索数据库（Elastic、Lucene、OpenSearch和Solr）、支持向量的NoSQL数据库（ 三 基于PgSql的向量检索示例3.1 建立向量库 如下建表语句所示，向量库主要文档内容和embedding（文档向量化结果）。
1.2K00编辑于 2025-02-28 - 来自专栏铭毅天下
干货 | 详述 Elasticsearch 向量检索发展史
本文将回顾 Elasticsearch 向量检索的发展历史，重点介绍各个阶段的特点和进展。以史为鉴，方便大家建立起 Elasticsearch 向量检索的全量认知。 2. 初步尝试：简单向量检索的引入 Elasticsearch 最初并未专门针对向量检索进行设计。然而，随着机器学习和人工智能的兴起，对于高维向量空间的查询需求逐渐增长。 应用场景体现在： （1）个性化推荐：通过余弦相似度分析用户的行为和兴趣，提供更个性化的推荐内容； （2）图像识别和搜索：使用欧几里得距离快速检索与给定图像相似的图像； （3）声音分析：在声音文件之间寻找相似模式 看中间，Results 部分就是向量检索的结果。 综上，向量检索打破了传统倒排索引仅支持文本检索的缺陷，可以扩展支持文本、语音、图像、视频多种模态。 图片来自：Elasticsearch 官方文档 相信你到这里，应该理解了向量检索和多模态。没有向量化的这个过程，多模态检索无从谈起。
1.9K20编辑于 2023-08-18 LLM 系列（十）：RAG 番外篇-向量检索
向量检索 本篇文章目的是为大家提供一份关于向量检索的详尽介绍，系统性地梳理从经典理论到前沿实践的完整知识图谱。我将从信息检索的基石——以BM25为代表的稀疏检索方法出发，为后续的讨论奠定理论基础。 2. 忽略词序：作为一个词袋模型，它丢失了词语的顺序信息，因此无法区分 "not pay the bill" 和 "pay the bill" 这样含义截然相反的短语。 3. 表2：ANN 算法版图：HNSW vs. IVF 在众多ANN算法中，基于图的HNSW和基于聚类的IVF是当今向量数据库中最主流的两种索引策略。 训练 (Training)：在构建索引之前，算法（通常是k-means）将整个向量空间划分为 nlist 个聚类（或称为“桶”）。每个聚类的中心点被称为“质心”（Centroid）。 2. 2. 领域专用（Domain-Specific）模型：通用模型在处理特定领域（如法律、医疗、金融）的专业术语时往往表现不佳。因此，针对特定领域数据进行微调的模型能够取得远超通用模型的效果。
1.1K11编辑于 2025-09-02- 来自专栏为了不折腾而去折腾的那些事
向量数据库入坑：传统文本检索方式的降维打击，使用 Faiss 实现向量语义检索
或者更“懒一些”的话，可以试着使用 Milvus 的 Cloud 服务，来完成高性能的向量检索。 当模型构建完毕之后，我们就可以来体验和使用基于“向量相似度检索”的语义检索啦。 、建立向量索引、加载模型、进行内容检索并输出结果几个向量检索的必要步骤。 这就是基于向量的文本检索的强大之处。 最后 希望在看完这篇内容后，你对于传统文本检索与基于向量的语义检索会有一个相对立体的认知，能够熟悉这其中最常见的“套路”，并且了解到相似度检索技术，它到底解决了什么问题，我们在什么场景下需要借助“向量检索的能力
3.9K50编辑于 2022-09-10 - 来自专栏大数据生态
「最佳实践」腾讯云 Elasticsearch 8.13.3 向量混合检索
向量检索性能影响因素较多，生产环境请自行根据数据量以及业务需求进行POC性能测试，以匹配最佳配置。 向量化检索纯向量检索：GET goods_vector/_search //语义检索{ "knn": { "field": "title_vector.predicted_value", 检索效果对比所有准备工作就绪，下面将演示向量检索，我们分别用向量检索和分词检索测试两者的检索效果：cd /root/tencent-es_vector/vim vector_search.py修改配置信息 检索效果测试我们模拟用户在商城搜索栏输入一个手机型号：小米 12 pro max ● 向量检索结果可能会召回不相关的内容 ● 而使用 ES 的混合检索，利用前置过滤，在提高效率的同时，可以大幅提升召回率 总结从检索效果可以直观看出，使用纯向量检索，往往是达不到业务需求的。如果想提升召回率，则需要配合混合检索，不仅可以提前过滤一些不相关的内容，对性能也有一定提升。
1.2K76编辑于 2025-03-08
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号