- 综合排序
- 最热优先
- 最新优先
- 来自专栏我还不懂对话
Doc Embedding-语义相似度计算
STS基准收集了2012年至2017年国际语义评测SemEval中所有的英语数据。 SICK数据集包含了10000对英语句子，其中的标签说明了它们之间的语义关联和逻辑关系 [SEMEVAL-2012] (http://www.cs.york.ac.uk/semeval-2012/task6 id=data).语义文本相似度视频描述数据集，每个句子对按照含义的关系标注以及两者的蕴含(entailment)关系标注 中文： 蚂蚁金服NLP相似度计算数据集：https://dc.cloud.alipay.com 优于欧几里得距离（梯度消失）、余弦相似度。【回归】 2.以距离为目标，使用LSTM来对复杂的语义建模。 3.使用MaLSTM features输入给SVM来进行分类。 BERT 《BERT》相似度 两个句子之间通过[SEP]分割，[CLS]的向量作为分类的输入，标签是两个句子是否相似。可以作为排序算法。
1.3K10发布于 2021-10-19 - 来自专栏机器学习AI算法工程
NLP推理与语义相似度数据集
/zejunwang1/CSTS 语义相似度 哈工大 LCQMC 数据集 LCQMC 是哈尔滨工业大学在自然语言处理国际顶会 COLING2018 构建的问题语义匹配数据集，其目标是判断两个问题的语义是否相同 AFQMC（Ant Financial Question Matching Corpus）蚂蚁金融语义相似度数据集，用于问题相似度计算。 即：给定客服里用户描述的两句话，用算法来判断是否表示了相同的语义。每一条数据有三个属性，分别是句子1，句子2，句子相似度标签。标签 "1" ：表示两个句子的语义类似；"0"：表示两个句子的语义不同。 非常口语化、存在文本高度相似而语义不同的难例。 每条数据包含三列，分别表示 sentence1、sentence2 和相似等级，相似等级范围为 0~5，5 表示语义一致，0 表示语义不相关。 一架飞机要起飞了。一架飞机正在起飞。
2.1K30编辑于 2022-08-26 - 来自专栏TonyZhou的专栏
深度学习解决 NLP 问题：语义相似度计算
导语 在NLP领域，语义相似度的计算一直是个难题：搜索场景下query和Doc的语义相似度、feeds场景下Doc和Doc的语义相似度、机器翻译场景下A句子和B句子的语义相似度等等。 在召回时，传统的文本相似性如 BM25，无法有效发现语义类 query-Doc 结果对，如"从北京到上海的机票"与"携程网"的相似性、"快递软件"与"菜鸟裹裹"的相似性。 ，并通过 cosine 距离来计算两个语义向量的距离，最终训练出语义相似度模型。 该模型既可以用来预测两个句子的语义相似度，又可以获得某句子的低纬语义向量表达。 2.3 匹配层 Query 和 Doc 的语义相似性可以用这两个语义向量(128 维) 的 cosine 距离来表示： 通过softmax 函数可以把Query 与正样本 Doc 的语义相似性转化为一个后验概率
3.9K60发布于 2017-08-02 - 来自专栏AI研习社
谷歌 AI：语义文本相似度研究进展
，我们提出了一个新的方法来学习用来计算语义文本相似度的句子表示方法。 在这一工作中，我们的目标是通过一个回答分类任务来学习语义相似度： 给定一轮对话作为输入，我们希望从一批随机选择的回答中挑选出正确的回答。 采用这种方法，训练时间显著减少的同时仍保留了在各种迁移任务上的表现，包括情感与语义相似度分类。 通过 TensorFlow Hub 上的通用句子编码器的输出进行句对语义相似度比较。 正如我们在这篇论文中所表述的，一个版本的通用句子编码器模型使用了深度均值网络（ DAN ）编码器。 这些是预训练的 Tensorflow 模型，可以返回可变长度文本输入的语义编码。 这些编码可用于语义相似性度量，相关性，分类或自然语言文本的聚类。
1.4K30发布于 2018-07-26 - 来自专栏AI科技评论
干货 | 谷歌 AI：语义文本相似度研究进展
，我们提出了一个新的方法来学习用来计算语义文本相似度的句子表示方法。 在这一工作中，我们的目标是通过一个回答分类任务来学习语义相似度： 给定一轮对话作为输入，我们希望从一批随机选择的回答中挑选出正确的回答。 采用这种方法，训练时间显著减少的同时仍保留了在各种迁移任务上的表现，包括情感与语义相似度分类。 通过 TensorFlow Hub 上的通用句子编码器的输出进行句对语义相似度比较。 正如我们在这篇论文中所表述的，一个版本的通用句子编码器模型使用了深度均值网络（ DAN ）编码器。 这些是预训练的 Tensorflow 模型，可以返回可变长度文本输入的语义编码。 这些编码可用于语义相似性度量，相关性，分类或自然语言文本的聚类。
94140发布于 2018-07-27 - 来自专栏大数据智能实战
知识图谱的语义相似度计算框架Sematch实践
Sematch是一个用于知识图谱的语义相似性的开发、评价和应用的集成框架，其代码见github。 Sematch支持对概念、词和实体的语义相似度的计算，并给出得分。 Sematch专注于基于特定知识的语义相似度量，它依赖于分类( 比如 ) 中的结构化知识。 深度、路径长度 ) 和统计信息内容( 语料库与语义图谱) 。 其应用框架如下所示：从图中可见，其支持多样化、多层次的相似度计算。 ? 如其DEMO上可见，支持多样化的相似度计算。 ? 1、测试：词的相似度计算，其结果如图所示：（代码见github） ? 2、概念的相似度计算 ? 附：由于dbpedia国内无法访问，所以一些实体的相似性等目前暂无法测试。
2.3K20发布于 2019-05-27 - 来自专栏作图丫
rrvgo--基于语义相似度简化GO富集结果冗余
今天小编给大家介绍的是一个基于语义相似性识别冗余来减少和可视化GO结果列表的R包rrvgo。 R包安装 BiocManager::install("rrvgo") library(rrvgo) 可视化介绍 01 计算相似度矩阵并减少GO terms rrvgo不关心基因，而是关心 GO terms 第一步是得到terms之间的相似度矩阵。函数calculateSimMatrix 获取要计算语义相似度的GO terms列表、OrgDb 对象、感兴趣的ontology和计算相似度分数的方法。 ，可以根据相似度对terms进行分组。 相似度矩阵热图 将相似性矩阵绘制为热图，默认情况下启用行列聚类 heatmapPlot(simMatrix, reducedTerms, annotateParent
3.4K51编辑于 2022-03-28 - 来自专栏效能提升
语义相似度模型在测试需求变更中的应用
而随着自然语言处理（NLP）与深度学习的发展，语义相似度模型正日益成为应对需求变更挑战的关键利器。 二、什么是语义相似度模型？1. 基本定义语义相似度模型旨在衡量两个文本之间“语义上有多接近”，而非表面关键词是否一致。举例：A: 用户登录时应验证用户名和密码是否匹配。 尽管字面不同，但语义非常接近。传统匹配方法难以判断，而语义模型可以精准捕捉到这种“深层相似性”。2. 主流技术路线模型类型特点TF-IDF/词袋模型快速但仅捕捉词级相似性，语义弱Word2Vec、GloVe词向量级别的语义理解BERT、RoBERTa基于Transformer的预训练语言模型，句子级理解 场景2：辅助用例自动生成与对齐新需求变更后，可基于高相似历史需求-用例对，借助LLM模板+语义检索快速生成草案。
30910编辑于 2025-08-02 - 来自专栏机器之心
前沿 | 通用句子语义编码器，谷歌在语义文本相似性上的探索
语义文本相似度 在「Learning Semantic Textual Similarity from Conversations」这篇论文中，我们引入一种新的方式来学习语义文本相似的句子表示。 直观的说，如果句子的回答分布相似，则它们在语义上是相似的。例如，「你多大了？」以及「你的年龄是多少？」都是关于年龄的问题，可以通过类似的回答，例如「我 20 岁」来回答。相比之下，虽然「你好吗？」 如果句子可以通过相同的答案来回答，那么句子在语义上是相似的。否则，它们在语义上是不同的。 这项工作中，我们希望通过给回答分类的方式学习语义相似性：给定一个对话输入，我们希望从一批随机选择的回复中分类得到正确的答案。 成对语义相似性比较，结果为 TensorFlow Hub 通用句子编码器模型的输出。
1.5K60发布于 2018-06-12 - 来自专栏机器学习AI算法工程
Kaggle文本语义相似度计算Top5解决方案分享
句子相似度计算，即给定客服里用户描述的两句话，用算法来判断是否表示了相同的语义。 句子相似度判定 今年和去年前后相继出现了多个关于句子相似度判定的比赛，即得定两个句子，用算法判断是否表示了相同的语义或者意思。 id=8 问题相似度计算，即给定客服里用户描述的两句话，用算法来判断是否表示了相同的语义。 比较简单的方法就可以判定同义；对于例子b，包含了错别字、同义词、词序变换等问题，两个句子乍一看并不类似，想正确判断比较有挑战；对于例子c，两句> 话很类似，仅仅有一处细微的差别 “如何”和“哪里”，就导致语义不一致 3 CCKS 2018 微众银行智能客服问句匹配大赛 https://biendata.com/competition/CCKS2018_3/leaderboard/ 与基于Quora的的的语义等价判别相同
4.2K20发布于 2019-10-28 - 来自专栏AI大模型应用开发炼丹房
语义搜索的瓶颈？微调如何解决“相似但不相关”难题
我们都知道文本嵌入模型能将文本表示为具有语义意义的向量，广泛应用于检索、分类、检索增强生成（RAG）等场景。然而，通用嵌入模型在特定领域任务上往往表现不佳，语义相似度不足以确保检索结果真正有用。 一、嵌入模型的基础与挑战文本嵌入模型的核心价值在于其能捕捉文本的语义信息。在RAG系统中，嵌入模型用于三步检索过程：为知识库中的所有项目计算向量表示（即嵌入）。 计算查询向量与知识库项的相似度，返回最相似项目。尽管这一过程灵活高效，但存在根本问题：语义相似并不保证检索项目能有效回答问题。例如，查询“如何更新我的付款方式？” CL的核心思想是学习表示，以最大化正样本对（如相关查询和答案）的相似度，同时最小化负样本对（如不相关配对）的相似度。 例如，在AI招聘中，微调可确保查询“数据科学家经验”匹配到相关职位描述，而非语义相似但不相关的条目。三、微调嵌入模型的五步实践流程微调过程可分为五个关键步骤，每一步需仔细执行以确保效果。
37410编辑于 2025-08-31 - 来自专栏Elastic Stack专栏
Elastic 5分钟教程：使用向量相似性实现语义搜索
图片想知道向量搜索如何帮助您交付您的客户期待已久的搜索体验就像，即使你不知道术语也能找到你想要的东西或搜索非结构化数据，如图像这个视频解释了传统的基于关键字的搜索的局限性以及通过向量搜索实现的语义搜索如何克服它们视频内容电子商务是一个很好的开始用例客户搜索有时不知道他们真正需要什么或者元数据缺失或不正确比方说 只有一些有条纹有些不是蓝色的有些不是T恤此演示中电子商务网站使用传统搜索这依赖于匹配的关键字匹配不良可能是由于文字描述不准确或者你的搜索引擎可能会使用其他因素对结果进行重新排序这就像是购买了哪些产品让我们来看看图像相似性搜索是如何提升这种体验的更上一层楼在这里 ，您可以看到一个原型应用程序，它对产品描述和图像使用向量搜索如您所见，这种语义搜索会产生更多相关匹配你可以通过查找类似的产品来跟进它在幕后采用图像相似性搜索它的最新结果是产生了一系列非常好的匹配让我们来看看这在幕后是如何运作的在这里 查询这是向量这将会找到最近的邻居相对于您的查询现在我们可以获取返回的第一个结果并调出相应的图像在您的数据库中如果你还记得这与一分钟前在互动应用中获取的图片完全相同使用向量搜索用户可以找到他们的意思不仅搜索文本还包括其他非结构化数据，如产品图像语义搜索支持创新应用比如 ，在许多法律文件中发现类似的案件或者从现有时间的数据库中搜索与平面设计师相似的设计我们提到了现有的弹性客户正在处理的两个案例了解更多信息，请单击以下链接之一或报名参加我们的实践工作坊用于向量搜索或机器学习我希望你学到了一些东西在这个视频中谢谢你的关注
2.5K71编辑于 2023-02-08 - 来自专栏对白的算法屋
基于对比学习(Contrastive Learning)的文本表示模型为什么能学到语义相似度？
为什么对比学习能学到很好的语义相似度？ 因为对比学习的目标就是要从数据中学习到一个优质的语义表示空间 众所周知，直接用BERT句向量做无监督语义相似度计算效果会很差，这个问题还没搞清楚的可以看我的这篇回答：BERT模型可以使用无监督的方法做文本相似度任务吗 回答这个问题，要从语义相似度计算的一般范式说起。计算句子A和句子B的语义相似度，通常来说，基于交互的方案结果更准确： 如果一共有N个句子,那么就需要进行 N × (N-1) 次相似度计算。 语义相似度的求解，转换成了一个单纯的特征映射过程：编码器提取输入句子的语义信息，再将它投影到向量空间中。‘ 这有点像传统机器学习领域的问题。 即，语义相似的句子彼此聚集，语义无关的句子均匀分布。 为了达成这一目标，模型需要尽可能多地提前认识各种各样的数据。
1.9K30编辑于 2022-04-01 - 来自专栏我爱计算机视觉
ECCV18 | UC伯克利提出基于自适应相似场的语义分割
本文来自于ECCV2018的论文《Adaptive Affinity Fields for Semantic Segmentation》，UC伯克利大学的研究人员提出了一种自适应相似场（Adaptive 图像语义分割不仅仅是对图像每个像素的简单分类问题，在一些语义信息不明的像素区域，直接对像素分类往往难以奏效，所以基于目标结构推理的方法就变得很重要。 以条件随机场方法后处理为例，对网络预测的图像像素标签进一步根据原始像素值调整，以消除明显的视觉上相似但标签不一致的问题，改进了语义分割的结果。 与在单个像素上强制学习语义类别并在相邻像素之间匹配类别的现有方法不同，提出的自适应相似场（Adaptive Affinity Fields, AAF）的概念来匹配标签空间中的相邻像素之间的语义关系。 同时本文使用对抗性学习为每个语义类别选择最佳的亲和力范围。将此概念转化为一个极小极大的优化问题，利用最好的最坏情况学习(best worst-case learning)情境优化语义分割神经网络。
67220发布于 2019-12-27 - 来自专栏鳄鱼儿的技术分享
相似度计算——余弦相似度
余弦相似度介绍 余弦相似度是利用两个向量之间的夹角的余弦值来衡量两个向量之间的相似度，这个值的范围在-1到1之间。 余弦相似度越接近1，表示两个向量之间的夹角越小，即越相似；而越接近-1，表示两个向量之间的夹角越大，即越不相似。 两个向量的夹角示例图如下： 余弦相似度的计算公式 向量的余弦相似度计算公式 余弦相似度计算的示例代码 用Python实现余弦相似度计算时，我们可以使用NumPy库来计算余弦相似度，示例代码如下： import 余弦相似度在相似度计算中被广泛应用在文本相似度、推荐系统、图像处理等领域。 如果两篇文章的余弦相似度接近1，那么它们在内容上是相似的； 如果余弦相似度接近0，则它们在内容上是不相似的。 这样的相似度计算方法可以在信息检索、自然语言处理等领域得到广泛应用。
1.9K10编辑于 2024-05-21 - 来自专栏全栈程序员必看
pta集合相似度_结构相似度
发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/168948.html原文链接：https://javaforall.cn
1.1K20编辑于 2022-09-22 - 来自专栏深度学习自然语言处理
一文详解文本语义相似度的研究脉络和最新进展
---- ©作者 | 崔文谦 单位 | 北京邮电大学 研究方向 | 医学自然语言处理 编辑 | PaperWeekly 本文旨在帮大家快速了解文本语义相似度领域的研究脉络和进展，其中包含了本人总结的文本语义相似度任务的处理步骤 对于语义相似度任务来说： 在有监督范式下，BERT 需要将两个句子合并成一个句子再对其编码，如果需要求很多文本两两之间的相似度，BERT 则需要将其排列组合后送入模型，这极大的增加了模型的计算量。 作者认为，直接用 BERT 句向量来做相似度计算效果较差的原因并不是 BERT 句向量中不包含语义相似度信息，而是其中包含的相似度信息在余弦相似度等简单的指标下无法很好的体现出来。 通过这两句话训练出的语言模型都通过上下文预测出了“吃“这个字，那说明这两句话的句向量也很可能是相似的，具有相似的语义信息。 好了，以上就是文本语义相似度领域的研究脉络和进展，希望能对大家有所帮助。当然 2022 年也有不少优秀的工作出现，不过这一部分就留到以后吧！
3.3K20编辑于 2022-08-26 - 来自专栏ATYUN订阅号
Google语义文本相似性研究的进步，可为智能产品提供必要的技术
语义文本相似性 在“Learning Semantic Textual Similarity from Conversations”论文中，我们引入了一种学习语义文本相似度的句子表征新方法。 如果句子可以通过相同的答案来回答，那么句子在语义上是相似的。否则，它们在语义上是不同的。 在这项工作中，我们的目标是通过回答分类任务学习语义相似性：给定一个对话输入，从一批随机选择的回答中分出正确的回答。但是，最终目标是学习一个可以返回表示各种自然语言关系（包括相似性和相关性）的编码模型。 通过来自TensorFlow Hub Universal Sentence Encoder的输出比较成对语义相似性。 这些是预训练的Tensorflow模型，返回可变长度文本输入的语义编码。这些编码可用于语义相似性度量，相关性，分类或自然语言文本的聚类。
84840发布于 2018-07-27 - 来自专栏数说工作室
文本相似度 | 余弦相似度思想
计算文本相似度有什么用？ 推荐系统 在微博和各大BBS上，每一篇文章/帖子的下面都有一个推荐阅读，那就是根据一定算法计算出来的相似文章。 冗余过滤 我们每天接触过量的信息，信息之间存在大量的重复，相似度可以帮我们删除这些重复内容，比如，大量相似新闻的过滤筛选。 这里有一个在线计算程序，你们可以感受一下 ? 余弦相似度的思想 余弦相似度，就是用空间中两个向量的夹角，来判断这两个向量的相似程度： ? 相似度，个么侬就好好弄一个相似程度好伐？比如99%相似、10%相似，更关键的是，夹角这个东西—— 我不会算！ 谁来跟我说说两个空间向量的角度怎么计算？哪本书有？
3.3K70发布于 2018-04-08 - 来自专栏mythsman的个人博客
相似度度量标准之Jaccard相似度
定义 Jaccard相似度(杰卡德相似度)是一个用于衡量两个集合相似程度的度量标准，他的定义如下：给定两个集合 ，那么我们记这两个集合的Jaccard相似度 为: SIM(S,T)=|S\cap T 扩展 原始的Jaccard相似度定义的仅仅是两个集合(set)之间的相似度，而实际上更常见的情况是我们需要求两个包(bag,multiset)的相似度，即每个元素可能会出现多次。 那么在这种情况下，Jaccard相似度的分子就便成了取每个元素在两个包中出现的最小次数之和，分母是两个包中元素的数目之和。 比如\{a,a,a,b\},\{a,a,b,b,c\}之间的Jaccard相似度就是(2+1)/(4+5)=33%。 应用 Jaccard的应用很广，最常见的应用就是求两个文档的文本相似度，通过一定的办法(比如shinging)对文档进行分词，构成词语的集合，再计算Jaccard相似度即可。
4K21编辑于 2022-11-14
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号