- 综合排序
- 最热优先
- 最新优先
- 来自专栏NLP/KG
语义检索-BAAI Embedding语义向量模型深度解析：微调Cross-Encoder以提升语义检索精度
语义检索-BAAI Embedding语义向量模型深度解析：微调Cross-Encoder以提升语义检索精度 语义向量模型（Embedding Model）已经被广泛应用于搜索、推荐、数据挖掘等重要领域 然而，当前中文世界的高质量语义向量模型仍比较稀缺，且很少开源 BGE 出色的语义表征能力源于两方面要素：1）针对表征的预训练，2）大规模文本对训练。 BGE 在悟道 、Pile 两个大规模语料集上采取了针对表征的预训练算法 RetroMAE ：将低掩码率的输入编码为语义向量（Embed），再将高掩码率的输入与语义向量拼接以重建原始输入。 这样一来，BGE 得以利用无标签语料实现语言模型基座对语义表征任务的适配。 65K的负样本规模，增强了语义向量的判别能力。
1.3K10编辑于 2024-07-09 - 来自专栏架构进阶
Postgresql中的检索:中文分词及语义检索
一 前言 在上一篇文章中提到，在postgresql中，使用pgvector可以实现向量存储和检索，使用pg_trgm基于三元组文本模糊匹配和相似度计算，结合GIN 索引和GiST索引实现全文检索 但pg_trgm并不是一个专业的中文分词工具，它是基于字符层面的处理，不理解语义。 zhparser等分词插件的情况下，执行SELECT show_trgm('中文测试');时会发现结果为空，因此需要结合zhparser、jiebaR，或使用ElasticSearch等插件或工具实现中文分词/全文检索
1.6K00编辑于 2025-06-23 - 来自专栏Reinvent Data Science
Milvus x Lucidworks 快速构建语义检索
语义检索 [1]（Semantic Search) 是能帮助你的客户或员工找到正确的产品或信息的绝佳工具，它甚至可以检索到一些难以被索引的信息，从而获得更好的结果。 如果低效的语义检索难以胜任，那么如何进行高速的语义检索呢？ 幸运的是，Lucidworks 热衷于解决此类问题。 执行语义检索 为了让机器学习达到闪电般快的速度，Lucidworks 通过向量搜索的方法执行语义检索，由两个关键部分组成。 第一部分：机器学习模型 首先，你需要将文本编码为特征向量。 使用语义检索 在了解了 Milvus 如此重要的原因后，让我们回到语义检索的工作流程。 语义检索分为三个阶段：第一阶段是加载和/或训练机器学习模型；接着，将数据导入到 Milvus 和 Solr 中并建立索引；最后是查询阶段，即实际搜索发生的阶段。下面将重点介绍后两个阶段。
1.2K40发布于 2021-06-25 - 来自专栏源懒由码
C++11 move 语义
默认的构造函数，就会依次对应赋值，这样就会出现一个问题，如果给起赋值的是一个临时变量 MyTest t = temp，那么，表达式结束以后，temp.d释放掉，t.d就会成为野指针不安全。
83731发布于 2020-10-10 - 来自专栏AI SPPECH
Search Engine：全库搜索与语义检索
本文讲解Search Engine的实现：全文索引、语义向量检索、查询解析器、搜索结果ranking、以及如何将传统搜索与AI搜索融合，提供更精准的检索结果。 语义搜索：向量嵌入与近似最近邻检索 3.1 从关键词到语义的跨越 3.2 代码嵌入的特殊性 3.3 向量检索的工程实现 3.4 混合检索架构 4. 它将文本映射到高维向量空间，使语义相似的代码片段在向量空间中彼此接近。即使变量名完全不同，只要功能语义相同，就能被检索到。 语义搜索：向量嵌入与近似最近邻检索 3.1 从关键词到语义的跨越 语义搜索的核心思想是将查询和文档都映射到高维向量空间，通过向量距离衡量语义相似度。 现代搜索系统通常将语义搜索与传统搜索结合，形成混合检索架构： 分数融合策略是混合检索的核心。
37211编辑于 2026-06-02 - 来自专栏NLP/KG
语义检索系统：基于无监督预训练语义索引召回：SimCSE、Diffcse
它还具有可调整参数，可以根据需要来优化精度和速度之间的平衡，例如一次查询返回的最大邻居数、检索阈值等。 由于Hnswlib不依赖于任何特定类型的特征或数据格式，因此它可以应用于各种任务，例如图像检索、自然语言处理等。 预测 我们可以基于语义索引模型预测文本的语义向量或者计算文本 Pair 的语义相似度。 DiffCSE 模型同样适合缺乏监督数据，但是又有大量无监督数据的匹配和检索场景。 DiffCSE 模型同样适合缺乏监督数据，但是又有大量无监督数据的匹配和检索场景。
1.7K00编辑于 2023-08-02 - 来自专栏Java 学习
【全文检索_11】Logstash 基本使用
1.1 基本介绍 1.1.1 工作原理 Logstash 是由 JRuby 编写的，使用基于消息的简单架构，在 JVM 上运行(本篇博客主要介绍 Logstash 基本使用，介绍请见 ☞【全文检索_
1.4K10发布于 2021-03-02 - 来自专栏NewBeeNLP
语义信息检索中的预训练模型
由于待训练的模型参数很多（增加model capacity），而专门针对检索任务的有标注数据集较难获取，所以要使用预训练模型。 2. 检索模型的分类 检索的核心，在于计算query和document的 相似度 。 依此可以把信息检索模型分为如下三类： 基于统计的检索模型 使用exact-match来衡量<query,document>相似度,考虑的因素有query中的词语在document中出现的词频TF、document 基于exact-match的检索模型是召回中必不可少的一路。 其实，在现在常用的深度检索模型中也经常增加这种人工构造的特征。
2.5K10编辑于 2022-11-11 - 来自专栏NewBeeNLP
BM25 比语义向量检索效果好？
NewBeeNLP公众号原创出品 公众号专栏作者 @Maple小七 北京邮电大学·模式识别与智能系统 TL;DR 虽然以SentenceBERT为代表的语义向量检索展现出了超越传统的以 然而现实世界并不会这么理想，稀疏向量查询通常会存在棘手的词汇空缺或语义鸿沟问题(lexical/semantic gap)。 「语义鸿沟」可以理解为是自然语言词汇的稀疏性和语法的多样性，这些现象可以通过同义词典、句式变换等方式来改善。 这正是稠密向量查询想要达到的效果，也就是将查询和文档映射到同一个低维向量空间，通过计算余弦相似度来检索相关文档，关于稠密向量表示的探索可以追溯到经典的潜在语义分析(LSA)，2013年的DSSM首次将深度学习方法引入了稠密向量检索 ，目前，以SentenceBERT为代表的语义检索模型在很多数据集上超越了基于稀疏向量的检索方法。
3.2K20发布于 2021-06-25 - 来自专栏NewBeeNLP
语义信息检索中的预训练模型（下）
语义信息检索中的预训练模型 这一篇将介绍预训练模型在深度召回和精排中的应用。 4. 所以，应该设计专门针对检索任务的预训练任务。 文章Pre-training Tasks for Embedding-based Large-scale Retrieval提出了三个针对检索设计的预训练任务，都是使用Wikipedia的大量无标注数据进行自监督训练 Approximate Nearest Neighbor Negative Contrastive Learning for dense text retrieval[2]） 文中指出，端到端训练的深度检索模型有时效果甚至不如基于 exact-match的稀疏检索模型，这是因为过多的使用简单负例（random或者in-batch负采样）没有提供很多信息量，其 梯度范数较小、收敛速度慢 。
2.6K30编辑于 2022-11-11 - 来自专栏网罗开发
大模型如何提升信息检索效率：语义检索与向量数据库的结合
通过引入大模型的语义理解能力，检索系统能够更好地理解用户意图，而向量数据库则能够高效地存储和检索高维向量数据。本文还提供了一个可运行的示例 Demo 代码模块，展示了如何在实际应用中实现语义检索。 这些模型能够理解文本的语义，从而提升信息检索的效率和准确性。本文将介绍如何利用大模型实现语义检索，并结合向量数据库优化检索效率。 语义检索的实现大模型的语义理解能力大模型（如BERT、GPT等）通过预训练和微调，能够理解文本的语义。 语义检索的流程语义检索的流程通常包括以下几个步骤：查询理解：利用大模型对用户查询进行语义理解，生成查询向量。文档编码：利用大模型对文档库中的文档进行编码，生成文档向量。 通过引入大模型的语义理解能力，检索系统能够更好地理解用户意图，而向量数据库则能够高效地存储和检索高维向量数据。本文还提供了一个可运行的示例代码模块，展示了如何在实际应用中实现语义检索。
1.9K10编辑于 2025-03-04 - 来自专栏NLP/KG
语义检索系统：基于Milvus 搭建召回系统抽取向量进行检索，加速索引
语义检索系统：基于Milvus 搭建召回系统抽取向量进行检索，加速索引 目标：使用 Milvus 搭建召回系统，然后使用训练好的语义索引模型，抽取向量，插入到 Milvus 中，然后进行检索。 向量检索 5.1 基于Milvus的向量检索系统搭建 数据准备结束以后，开始搭建 Milvus 的语义检索引擎，用于语义向量的快速检索，使用Milvus开源工具进行召回，Milvus 的搭建教程请参考官方教程 参考项目，导出自己的静态图模型：语义检索系统：基于in-batch Negatives策略的有监督训练语义召回 数据量 显卡 时间 1000万条 V100 32GB 3h41min 1000万条 A100 针对第三个问题：Milvus只起到加速的效果，这个跟模型相关，并且关键字匹配不推荐使用语义检索，如果是句子级别的匹配，使用语义检索更合适；推荐进行双路召回【语义+关键字】 进入重点如何启动milvus向量库以及涉及到 图片 图片 6.FAQ 6.1 抽取文本语义向量后，利用 Milvus 进行 ANN 检索查询到了完全相同的文本，但是计算出的距离为什么不是 0？
3.8K00编辑于 2023-08-02 - 来自专栏AI算法之心
京东电商搜索中的语义检索与商品排序
文章作者：王松林、唐国瑜 京东算法工程师 编辑整理：Hoh 内容来源：作者授权 出品平台：DataFunTalk 导读：本文将介绍京东搜索场景中的两块技术，语义检索与商品排序。 下面我们分别介绍，基于向量检索召回和商品排序： 02 向量召回 向量检索作为一种信息检索方式在工业界已经被广泛应用，它能解决传统倒排检索不能解决的问题。 如下图所示，不同的 head 可以捕获 query 不同的语义 ( query=苹果，语义可以是手机和水果 )，捕获不同的品牌属性 ( query=手机，品牌可以是华为、小米 )，捕获不同的产品属性 ( 语义检索效果展示 语义检索上线后获得了很好的体验效果，不仅提升了转化，长尾流量降低了近10%的 query 改写率，也就是说用户不需要多次改写 query，就能获得想要的商品结果。 ? 04 总结 我们介绍了语义检索召回和商品排序，在京东搜索服务上部署并取得了良好效果。我们还在尝试一些业内其他流行的方法，比如 GNN、KG、MMoE 等方向，也获得了不错的成绩。
1.8K20发布于 2020-06-09 - 来自专栏YIN_尹的博客
【C++11】右值引用和移动语义
move是库里面的一个函数，它可以把传入的参数arg转换为右值引用（移动语义） 大家先了解一下，move我们后面还会说。 2. 有些场景下，可能真的需要用右值去引用左值实现移动语义。 当需要用右值引用引用一个左值时，可以通过move函数将左值转化为右值引用。 C++11中，std::move()函数位于头文件中，该函数名字具有迷惑性，它并不搬移任何东西，唯一的功能就是返回参数的右值引用（并不会真正改变参数的属性），然后实现移动语义。 那C++11有了右值引用之后呢？ C++11给STL中的容器都增加了移动构造和移动赋值。
57710编辑于 2024-01-23 - 来自专栏攻城狮Chovas
微服务架构Day11-SpringBoot之检索
ElasticSearch ElasticSearch是开源的全文搜索引擎,可以快速的存储,搜索,分析海量数据.SpringBoot通过整合Spring Data ElasticSearch提供检索功能支持
62020编辑于 2022-01-22 - 来自专栏C/C++基础
C++11移动语义与右值引用
1.移动语义 C++11新标准中一个最主要的特性就是提供了移动而非拷贝对象的能力。如此做的好处就是，在某些情况下，对象拷贝后就立即被销毁了，此时如果移动而非拷贝对象会大幅提升性能。 但第二次拷贝构造，在C++ 11中就是可以避免的了。 但是，这份免费的午餐也不是无条件就可以获取的，需要带上-std=c++11来编译。 函数名称具有一定迷惑性，实际上std::move并没有移动任何东西，本质上就是一个static_cast<T&&>，它唯一的功能是将一个左值强制转化为右值引用，进而可以使用右值引用使用该值，以用于移动语义 C++11[M].3.3右值引用：移动语义和完美转发 [5]（原创）C++11改进我们的程序之move和完美转发 [6]详解C++11中移动语义(std::move)和完美转发(std::forward
1.5K20发布于 2019-02-22 - 来自专栏C++11
《C++11》移动语义：std::move()函数详解
在C++11中，引入了一种新的语言特性，即移动语义，它为C++编程带来了新的可能性。其中，std::move()函数就是一个常用的工具，它可以将左值强制转换为右值。 std::move()函数std::move()函数是C++11中引入的一个新特性，它可以将左值强制转换为右值。 总结std::move()函数是C++11中的一个重要特性，它可以将左值强制转换为右值，从而实现资源的高效转移。
1.2K10编辑于 2025-01-09 - 来自专栏我的博客
【C++11】右值引用和移动语义
而到了C++11标准，为了支持移动语义和完美转发等新特性，新增加了右值引用（Rvalue Reference）这一重要语法特性，使用"&&"符号表示。 为了区分这两种引用类型，在C++11之后，我们把传统的引用称为左值引用（Lvalue Reference）。 ，C++11还引入了引用折叠规则和通用引用（Universal Reference）的概念，进一步丰富了引用的使用方式。 移动语义的优化机制 // 移动语义优化版本 void processVector(std::vector<BigObject>&& data) { // 直接接管资源所有权 // 时间复杂度 这种分类是为了更好地支持移动语义和完美转发。
63310编辑于 2025-12-22 - 来自专栏可涵的从小白到大牛的征程
C++11 右值引用与移动语义
前言： 我们首先汇总一下在C++11中新的变化： 1、新容器 —— unodered_xxx 2、新接口 cbegin等，无关痛痒 initializer_list系列的构造 push_xxx / insert C++11之前，编译器已经做了不小的努力去减少拷贝。但是并没有从本质上解决问题。 为了真正解决问题就需要我们的右值引用！ 移动构造 string(string&& s) :_str(nullptr) ,_size(0) ,_capacity(0) { cout << "string(string&& s) -- 移动语义 C++11后，所有容器都增加了移动构造和移动赋值 问题：右值不能改变，那怎么转移你的资源呢？ 答： 右值被右值引用后，右值引用的属性是左值，可以被改变，这样资源才能被转移！ 就构成了我们的移动语义！
31010编辑于 2024-10-16 - 来自专栏DeepHub IMBA
Prompt 缓存的四种策略：从精确匹配到语义检索
实际上这些差异对语义毫无影响。 解决办法是在缓存前先做规范化处理。 语义缓存流程 工具选型方面，Embedding 可以用 OpenAI 的接口，向量存储可以选 Pinecone、Weaviate 这类专门的向量数据库，小规模场景下在内存里做相似度搜索也够用。 语义缓存的核心风险在于阈值设定。 L1 是进程内存缓存，速度最快但作用域最小；L2 一般用 Redis，多个实例可以共享同一份缓存；L3 是语义缓存层，处理那些文本不同但意思相近的 Prompt。 语义缓存只在业务确实需要时才引入，因为它带来了额外的复杂度和向量计算开销。TTL 和版本控制是必须配套的机制。最后缓存命中率要持续监控，因为这是判断缓存策略是否有效的核心指标。
87910编辑于 2026-02-27
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号