- 综合排序
- 最热优先
- 最新优先
- 来自专栏技术研究和应用
【向量检索研究系列】本地向量检索（下）
1 背景上一篇文章《向量检索研究系列：本地向量检索（上）》介绍了如何加快向量相似度计算，但是一般的向量检索流程还包括对计算结果进行排序，以及有必要的话，在计算相似度之前可以对向量库中的向量进行过滤筛选（ 图片2.1 向量过滤把广告通过模型转成向量后，向量应该关联广告的一些基本信息，广告检索条件是基于这些广告属性的，检索的时候可以根据检索条件在向量关联的广告信息中进行向量的筛选过滤。 检索时把检索条件在第一个Map中查询到满足检索条件的广告ID列表，再根据ID列表从第二个Map中取出对应向量列表。大致结构可以参考2.2中向量存储方案图。 （2）优化后本地向量检索P99时延降低50倍，平均时延降低180倍。（3）优化后本地向量检索时延分布，99.2的检索时延都在1ms以内。 本地向量检索方案可以为100万以下数据量的业务提供快速、高性能且稳定的向量检索方案。SIMD自定义编程可以在应用到其它偏数学计算的业务，加速计算。
2.3K31编辑于 2022-07-14 - 来自专栏技术研究和应用
【向量检索研究系列】本地向量检索（上）
1 背景当广告推荐业务峰值QPS已经达到10万以上，向量检索QPS峰值就会就会达到30万以上，召回服务的向量检索P99时延和平均时延已经超出了能接受的正常范围，导致召回服务整体时延达到上限，很多请求超时以至于没有广告返回给上游服务 在数据量不大但检索QPS非常高的场景下，使用第三方的向量检索产品可能并不一定是最佳选择，像开源的Faiss、HNSWliib和ScaNN这些优秀的向量检索库比较适用于上亿数量级，而且第三方服务毕竟存在网络请求开销和不稳定性因素 但是在业务服务本身做向量检索会消耗比较多的CPU资源和内存资源，CPU资源是比较稀缺的，而且普通的向量检索效率比较低，时延比较长，如何减少资源消耗和加快向量检索效率成为了优化目标。 2.1 Gonum计算向量检索的过程是两个向量按照一定的相似度计算公式进行运算，比如做内积、余弦或欧式距离计算。 但实际上向量检索的流程还有前置的向量过滤（可选流程）和后置的检索结果排序，这两个方面也有进一步优化的空间，以及整体优化后的效果将在下一篇文章《向量检索研究系列：本地向量检索（下）》中进行详细介绍。
1.6K31编辑于 2022-09-13 - 来自专栏大数据杂货铺
全文检索、向量检索和混合检索的比较分析
全文检索 全文搜索是指将部分或全部文本查询与数据库中存储的文档进行匹配。与传统的数据库查询相比，全文搜索即使在部分匹配的情况下也能提供结果。 大语言模型可以处理数据库记录并生成向量嵌入——文档语义的数字表示。然后将这些嵌入存储在向量数据库中。顾名思义，矢量搜索的工作原理是比较相似的矢量。 通过执行向量比较，向量搜索有效地实现了语义搜索。 Elastic Search Elastic Search 引入了带有倒数排名融合 （RRF） 的混合搜索，以结合向量、关键字和语义技术以获得更好的结果。 此版本还提高了向量搜索和摄取的性能，响应时间加快了 30% 以上。 Elasticsearch 用户越来越多地使用不同类型信息的搜索检索 — BM25 用于文本，向量搜索用于密集向量。 混合搜索技术通常会提供更好的结果：对多个 BIER 数据集进行基准测试显示，结合 BM25 和基于 ELSER 的排名时，相关性有所提高，现在用户甚至可以更轻松地组合所有这些检索方法。
6.1K10编辑于 2024-04-24 - 来自专栏铭毅天下
Elasticsearch：普通检索和向量检索的异同？
1、引言 《Elasticsearch 向量搜索的工程化实战》文章一经发出，收到很多留言。读者对向量检索和普通检索的区别充满了好奇，所以就有了今天的文章。 2、普通搜索 VS 向量搜索 向量搜索已经在黑暗中成长了有些年头了，但是随着近几年机器学习和深度学习的蓬勃发展，“特别是万物皆可 embedding“的观点越来越流行之后，向量搜索才逐渐从小众的技术走入人们的视野之中 以广泛被使用的 Lucene、Elasticsearch、Solr，以及最近出来的一些类似 MeiliSearch、Redisearch 等为代表，基于词元和倒排索引所构建的普通搜索，是建立在准确的搜索内容和检索语句上的 ，他们往往通过各种方式对文档进行分词（analyze），通过诸如BKD tree等数据结构，将拆解出来的词元（token）进行倒排索引，在检索时也会对检索语句进行同样的分词处理，通过相同词元的匹配进行召回 ，通过预先配置的参数对向量进行 KNN 聚类的方式进行索引 召回时会通过寻找较近的核向量的方式来找到 topK 的向量进行 主要包含的一些方式： 2.2.2.3 升级和调优 其他一些可用的开源库 [NGT
5.6K10编辑于 2022-02-09 - 来自专栏AI技术探索和应用
向量检索（RAG）之向量数据库研究
结果汇总 向量数据库名称 是否开源（Github Star，数据统计于 2025年3月） 是否有 云版本 支持暴力检索 支持的索引 可视化界面 标量过滤 特点 Annoy 是（13.5k） 无 否 Annoy 功能：将文档生成向量，存储向量及其元数据，检索向量。即将推出：多种数据类型，包括图像、音频、视频等。 = np.random.rand(num_embeddings, 256) project = atlas.map_embeddings(embeddings=embeddings) # 检索向量 neighbors 功能：将文档生成向量，存储向量及其元数据，检索向量。即将推出：多种数据类型，包括图像、音频、视频等。 然后将查询图像转换为向量，并检索出相似的图像。 产品推荐：基于代表用户的向量，为电子商务生成产品推荐。
2.9K42编辑于 2025-03-05 - 来自专栏韩曙亮的移动开发专栏
【AI 大模型】RAG 检索增强生成 ② ( 关键字检索 | 向量检索 | 向量简介 | 二维空间向量计算示例 | 文本向量 - 重点 ★★ | 文本向量示例 )
展示 如何 在 WIndows 系统中 实现 RAG ; 一、关键字检索 和 向量检索 " 关键字检索 " 和 " 向量检索 " 是 信息检索 和 数据检索 领域 中的 检索方法 , 二者各有优劣 , 分别适用于不同的 场景 和 需求 ; 关键字检索 : 适用于对 检索速度 和 精确匹配 要求较高的场景 , 但对语义理解能力有限 , 基本不能理解语义 ; 向量检索 : 适用于需要 语义理解 和 高灵活性 文档中必须有要检索的关键字 , 如果是 关键字 的 同义词 则无法进行检索 ; 应用场景 : 百度搜索引擎 , 图书馆的文献检索系统 ; 2、向量检索 向量检索 基于 向量空间模型 进行检索 , 文档 和 查询词 都被表示为向量 , 检索系统通过 计算 向量之间 的 相似度 来找到相关文档 ; 向量检索特点 : 向量空间模型 : 文档 和 查询词 被 映射 到 高维向量空间 中 , 通常使用 Word2Vec 和 长尾查询 ; 应用场景 : 新一代搜索引擎 、推荐系统 、聊天机器人 、语义搜索 ; 二、向量检索 分析 1、向量 简介 向量 是一个 数学 和 计算机科学 中的基本概念 , 用于 表示具有大小和方向的量
82611编辑于 2024-08-29 - 来自专栏技术研究和应用
【向量检索研究系列】快速入门
向量检索介绍1.1 概念介绍随着互联网的不断发展，产生了各种各样的海量数据，比如图片、文本、视频和语音等非结构化数据，这些数据可以通过人工智能技术提取出特征向量，然后通过对这些特征向量的计算和检索来实现对非结构化数据的分析和检索 ，如何对非结构化的向量数据进行高效检索即为向量检索技术的核心问题。 距离计算向量检索的过程是计算向量之间的相似度，最后返回相似度较高的TopK向量返回，而向量相似度计算有多种方式，不同的计算方式也适用于不同的检索场景。对于浮点型向量和二值型向量有着不同的距离计算方式。 基础算法了解了向量检索的计算相似度方式，如何加快检索速度是研究的重点。 基于图的向量检索算法在向量检索的评测中性能都是比较优异的。如果比较在乎检索算法的效率，而且可以容忍一定的空间成本，多数场景下比较推荐基于图的检索算法。
3.8K115编辑于 2022-06-30 - 来自专栏技术研究和应用
【向量检索研究系列】产品介绍
产品概况1.1 产品对比向量检索领域有着非常多优秀产品，不同的产品有着各自的特性，适用于不同的场景，接下来将对已了解的8款优秀向量检索产品进行简单的介绍。 glove-100-angular (k = 10)数据集的向量检索内积距离top 10测试结果fashion-mnist-784-euclidean (k = 10)数据集的向量检索欧式距离top 10 ScaNN使用了各向异性矢量量化技术提高了向量检索的精度。 2.8 ProximaProxima 是阿里内部达摩院开发的一个通用向量检索引擎框架，类似于Facebook开源的Faiss，支持多种索引类型。架构图优点支持多种向量检索算法。 后续还将进一步分享向量检索的技术详细介绍、测试、应用和思考。4.
4.4K62编辑于 2025-08-18 - 来自专栏铭毅天下
Elasticsearch 8.X 向量检索和普通检索能否实现组合检索？如何实现？
向量搜索热度不减，所以我们非常有必要将向量搜索和普通搜索结合方式给大家讲清楚。 换句话说，向量搜索和普通搜索的组合检索才是 Elasticsearch 作为向量数据库有别于其他新兴向量数据库的发力点所在。 更多向量检索的先验知识，推荐大家阅读： 干货 | 详述 Elasticsearch 向量检索发展史 高维向量搜索：在 Elasticsearch 8.X 中利用 dense_vector 的实战探索 Elasticsearch：普通检索和向量检索的异同？ 2.3.4 官方答案一：Filtered kNN search 如下实现语法的核心：knn 向量检索的里面加了 filter 过滤。
1.5K10编辑于 2024-04-11 - 来自专栏NewBeeNLP
向量检索模型落地：瓶颈及解法！
作者 | Maple小七 整理 | NewBeeNLP 稠密向量检索巨大的内存占用一直是限制其落地的一大瓶颈。 虽然DPR能够提供更准确的检索结果，但DPR所生成的向量索引的内存占用是很大的。 Hybrid Search 大量研究已表明结合稀疏向量检索(BM25)和稠密向量检索能够提升性能，其中最简单有效的方法是对分数做线性加权求和： 这里我们简单地设定 ，即稠密检索和稀疏检索等权。 加入混合检索可以进一步提升性能，下图展示了不同压缩方法的检索准确率和索引大小的关系，其中每条曲线从左到右依次为PQ1、PQ2和w/o PQ，图中的黑色虚线为帕累托边界，原始的768维DPR向量并没有落在帕累托边界上 Discussion 限制稠密向量检索模型落地的一大瓶颈就是推理时延和内存消耗的问题，这篇论文通过实验证明了简单的主成分分析加上乘积量化，在辅以稀疏向量检索，就能在保证准确度的前提下大幅减少内存占用，提升检索速度
1.5K20编辑于 2022-02-26 大模型RAG向量检索原理深度解析
常规的知识库检索通常使用的是关键字与词条匹配，随着AGI的爆发，越来越多的知识库检索开始使用向量检索技术，特别是在RAG领域，增强型的生成式问答检索正在大面积应用和推广。 从上面对比分析来看，传统检索方法更适合准确匹配的场景，向量检索适合复杂语义匹配检索需求，可以理解更复杂的语义关系，提供更为准确和全面的检索结果。 除了刚才提到的基于知识库的问题系统用到了向量检索，向量检索的应用场景非常多，比如： 推荐系统：广告推荐、猜你喜欢等； 图片识别：以图搜图，通过图片检索图片。 应用场景: 亿级规模向量数据的近似最近邻搜索,如大规模图像检索、视频检索等。 算法逻辑: 将向量按插入顺序构建成多层次图结构,每层是上一层的导航对象。 应用场景: 海量高维向量数据的近似最近邻搜索,如大规模多媒体检索、电商商品检索等。 算法逻辑: 构建包含大量质心的预先计算的聚类簇,称为列表。 将向量分解为多个低维子向量,对每个子向量进行量化编码。
3K00编辑于 2024-04-19- 来自专栏大数据生态
Elasticsearch 8.8 原生向量检索性能测试
R) Xeon(R) Platinum 8255C CPU @ 2.50GHz 背景 腾讯云大数据Elasticsearch Service首发上线 ES 8.8.1 版本，提供强大的云端AI增强与向量检索能力 ，支持在端到端搜索与分析平台中实现自然语言处理、向量搜索以及与大模型的集成，10亿级向量检索平均响应延迟控制在毫秒级，助力客户实现由AI驱动的高级搜索能力，为搜索与分析带来全新的前沿体验。 本⽂主要介绍使⽤ vespa-fbench 压测工具进行 ES 8.8 的向量检索性能压测。
2.6K104编辑于 2023-09-06 - 来自专栏架构进阶
大模型RAG：基于PgSql的向量检索
一 RAG与向量检索1.1 RAG概念 检索增强生成（Retrieval-augmented Generation），简称RAG。 1.3 RAG应用框架 RAG应用框架如下图所示，包含文本向量化、检索向量数据库、获取上下文（相关知识/文档）、prompt构造、调用大模型执行文本生成等主要环节。 从分类的角度说，包括：原生向量数据库（Chroma、LanceDB、Mivus等）、支持向量的全文检索数据库（Elastic、Lucene、OpenSearch和Solr）、支持向量的NoSQL数据库（ 2.2 PgSql与PgVector Postgres 通过 pg_vector 和 pg_embdding 两个插件来实现向量数据库，让PG数据库支持向量索引检索的能力。 三 基于PgSql的向量检索示例3.1 建立向量库 如下建表语句所示，向量库主要文档内容和embedding（文档向量化结果）。
1K00编辑于 2025-02-28 - 来自专栏架构进阶
大模型探索：阿里向量检索服务DashVector
废话不多说，在实际的大模型应用中，向量检索服务无疑是目前不可缺少的一个重要部分，几乎所有的prompt工程都离不开，因此这里从阿里的DashVector入手，从实际应用角度来了解什么是向量检索服务，以及怎样使用 使用DashVector服务能有效提升向量检索效率，实现针对非结构化数据的高性能向量检索服务，可广泛应用于大模型搜索、多模态搜索、AI搜索、分子结构分析等几乎所有的 AI 搜索场景。 简单理解，使用向量检索的云服务，就是避免我们自己搭建向量数据库、同时简化文本转向量的计算量，以及执行向量检索的工作，从而快速搭建应用。 3.1.2 DashScope 我们在做向量检索前，通常需要针对原始问题做向量化处理，然后才能拿着这个向量到向量库中进行检索。 这个接口支持的检索能力包括：（1）根据向量进行相似性检索；（2）根据主键（对应的向量）进行相似性检索；（3）带过滤条件的相似性检索；（4）带有Sparse Vector的向量检索。
2.3K11编辑于 2024-05-06 - 来自专栏Reinvent Data Science
详解如何通过稀疏向量优化信息检索
特别是与 Milvus 向量数据库结合时，稀疏向量能够改进信息检索系统，通过提高检索效率，提供富含上下文的答案，最终优化系统性能。 03.学习得到的稀疏向量：将传统稀疏向量与上下文信息相结合 结合 Out-of-Domain 检索的精确词匹配技术，如词袋模型和 BERT 等稠密向量检索方法进行语义检索，长期以来一直是信息检索领域的一项主要任务 来自 BGE-M3 的研究显示，学习得到的稀疏向量在多语言或跨语言检索任务中优于稠密向量，在准确性方面表现更佳。 docker-compose down cd .. && rm -rf milvus_sparse_demo 06.总结 本文探索了复杂的 Embedding 向量空间，展现了信息检索方法如何从传统的稀疏向量检索和稠密向量检索演变为创新型的 Learned 稀疏向量检索。
1.7K20编辑于 2024-07-20 - 来自专栏铭毅天下
干货 | 详述 Elasticsearch 向量检索发展史
本文将回顾 Elasticsearch 向量检索的发展历史，重点介绍各个阶段的特点和进展。以史为鉴，方便大家建立起 Elasticsearch 向量检索的全量认知。 2. 初步尝试：简单向量检索的引入 Elasticsearch 最初并未专门针对向量检索进行设计。然而，随着机器学习和人工智能的兴起，对于高维向量空间的查询需求逐渐增长。 看中间，Results 部分就是向量检索的结果。 综上，向量检索打破了传统倒排索引仅支持文本检索的缺陷，可以扩展支持文本、语音、图像、视频多种模态。 图片来自：Elasticsearch 官方文档 相信你到这里，应该理解了向量检索和多模态。没有向量化的这个过程，多模态检索无从谈起。 这种智能搜索方式，得益于强大的文本向量化等技术背景，使我们的在线搜索体验更加直观、方便和满意。 为了更清楚的解释由向量检索实现的文本检索——语义检索，这里给个动画演示一下。
1.8K20编辑于 2023-08-18 LLM 系列（十）：RAG 番外篇-向量检索
引言 在之前的系列文章中，我介绍了 RAG 和 Embedding，本篇文章将侧重在梳理整个向量检索技术体系。 向量检索 本篇文章目的是为大家提供一份关于向量检索的详尽介绍，系统性地梳理从经典理论到前沿实践的完整知识图谱。我将从信息检索的基石——以BM25为代表的稀疏检索方法出发，为后续的讨论奠定理论基础。 稀疏检索 在深入探讨现代向量检索之前，我们必须首先理解其前身：稀疏检索方法。这些基于关键词统计的经典算法，至今仍在许多高性能系统中扮演着不可或缺的角色。 它在简单性和性能之间取得了出色的平衡，使其成为现代搜索引擎（如 Elasticsearch）和向量数据库（如Milvus）中默认的稀疏检索算法，构成了许多复杂检索系统（包括混合检索）的基础。 稠密向量检索 随着深度学习的兴起，信息检索领域经历了一场从词法到语义的深刻革命。
83211编辑于 2025-09-02- 来自专栏为了不折腾而去折腾的那些事
向量数据库入坑：传统文本检索方式的降维打击，使用 Faiss 实现向量语义检索
或者更“懒一些”的话，可以试着使用 Milvus 的 Cloud 服务，来完成高性能的向量检索。 当模型构建完毕之后，我们就可以来体验和使用基于“向量相似度检索”的语义检索啦。 、建立向量索引、加载模型、进行内容检索并输出结果几个向量检索的必要步骤。 这就是基于向量的文本检索的强大之处。 最后 希望在看完这篇内容后，你对于传统文本检索与基于向量的语义检索会有一个相对立体的认知，能够熟悉这其中最常见的“套路”，并且了解到相似度检索技术，它到底解决了什么问题，我们在什么场景下需要借助“向量检索的能力
3.9K50编辑于 2022-09-10 - 来自专栏大数据生态
「最佳实践」腾讯云 Elasticsearch 8.13.3 向量混合检索
向量检索性能影响因素较多，生产环境请自行根据数据量以及业务需求进行POC性能测试，以匹配最佳配置。 向量化检索纯向量检索：GET goods_vector/_search //语义检索{ "knn": { "field": "title_vector.predicted_value", 检索效果对比所有准备工作就绪，下面将演示向量检索，我们分别用向量检索和分词检索测试两者的检索效果：cd /root/tencent-es_vector/vim vector_search.py修改配置信息 检索效果测试我们模拟用户在商城搜索栏输入一个手机型号：小米 12 pro max ● 向量检索结果可能会召回不相关的内容 ● 而使用 ES 的混合检索，利用前置过滤，在提高效率的同时，可以大幅提升召回率 总结从检索效果可以直观看出，使用纯向量检索，往往是达不到业务需求的。如果想提升召回率，则需要配合混合检索，不仅可以提前过滤一些不相关的内容，对性能也有一定提升。
1.1K76编辑于 2025-03-08 - 来自专栏AI科技时讯
Datawhale-基于向量检索减少chatGPT的幻觉
AI的幻觉 可以使用CVP技术栈解决上述问题 CVP技术栈 ossChat Application 向量数据库 Zilliz Cloud是Milvus的托管服务。
17920编辑于 2023-09-01
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号