- 综合排序
- 最热优先
- 最新优先
- 来自专栏大语言模型
检索算法小结
在RAG中当然少不了检索。检索算法在信息检索、搜索引擎和推荐系统等领域中扮演着至关重要的角色。它们的核心任务是根据用户查询从大量数据中找出最相关的信息。本文就对检索算法进行以下小结。 常见的检索算法确实可以理解为相似度计算的过程。在信息检索系统中，检索算法的主要目标是根据查询从大量文档中找到最相关的文档。这通常涉及计算查询和文档之间的相似度，并根据相似度对文档进行排序。 常见检索算法和相似度计算方法布尔模型：简单且直观，布尔检索基于布尔逻辑，通过简单的布尔运算符（AND, OR, NOT）来判断文档是否匹配查询。它不使用相似度计算。 这些模型可以捕捉到词语和文档的语义关系，从而提高检索效果。 IVF_PQ基于 IVF_FLAT 的一种向量数据有损压缩算法（ PQ乘积量化），首先，PQ 先将 D 维空间切分成 M 份：类似于将 128 维空间切分成 M 个 D/M 维的子空间，每个子向量进行
84721编辑于 2024-07-01 - 来自专栏前后两端不设限
检索算法---顺序查找
顺序查找 function seqSearch(arr, data) { for (var i = 0; i < arr.length; ++i) { if (arr[i] == data) { return i; } } return -1; } 查找最大值或最小值 function findMin(arr) { var min = arr[0]; for (var i = 0; i < arr.length
43830编辑于 2022-12-24 - 来自专栏NLP小白的学习历程
VLAD算法简介 图像检索
VLAD是vector of locally aggregated descriptors的简称，是由Jegou et al.在2010年提出，其核心思想是aggregated(积聚)，主要应用于图像检索领域 1.2 相关方法优缺点 在深度学习时代之前，图像检索领域以及分类主要使用的常规算法有BoW、Fisher Vector及VLAD等。 1.3 VLAD算法 VLAD算法可以看做是一种简化的FV，其主要方法是通过聚类方法训练一个小的码本，对于每幅图像中的特征找到最近的码本聚类中心，随后所有特征与聚类中心的差值做累加，得到一个k*d的vlad 1.4 VLAD算法发展演变 在VLAD算法的基础上Arandjelovic et al.在 All about VLAD 一文中提出了一种改进方法。 得到VLAD后，使用ADC方法继续降低储存空间和提高搜索速度 其中步骤4、5可选，在步骤3得到残差累加向量后进行L2归一化即可用欧氏距离等计算两张图片的相似性从而实现图片检索 一个简单的实现(基于sift
3.5K30发布于 2020-11-13 - 来自专栏前后两端不设限
检索算法---二分查找
function binarySearch(items, value) { var startIndex = 0, stopIndex = items.length - 1, middle = Math.floor((stopIndex + startIndex) / 2); while (items[middle] != value && startIndex < stopIndex) { //adjust search area（调整查找范围）
30340编辑于 2022-12-24 - 来自专栏进击的程序猿
经典检索算法：BM25原理
image.png 本文cmd地址：经典检索算法：BM25原理 bm25 是什么？ bm25 是一种用来评价搜索词和文档之间相关性的算法，它是一种基于概率检索模型提出的算法，再用简单的话来描述下bm25算法：我们有一个query和一批文档Ds，现在要计算query和每篇文档D之间的相关性分数 bm25算法。 总结下本文的内容：BM25是检索领域里最基本的一个技术，BM25 由三个核心的概念组成，包括词在文档中相关度、词在查询关键字中的相关度以及词的权重。 参考 BM25 算法浅析 搜索之 BM25 和 BM25F 模型 经典搜索核心算法：BM25 及其变种 信息检索导论
10K20发布于 2018-09-07 - 来自专栏算法+
shazam音乐检索算法 附完整c代码
在讲算法之前，上一些前人的资料。 而音乐检索算法就是为了提供比较人性化的方式帮忙 搜索音乐。 而shazam 这家公司就是第一个吃螃蟹的"人"。 上面提供的链接里都提到了shazam 算法的思路，需要细节了解的可以移步上面的链接。 后面检索音频也就是简单的建立hash库，然后撞hash数量，评分。 hash命中越多就认为越相似。 上图，感受一下，其实我感觉看图也不是很直观，哈哈哈哈。 有另一个音频检索算法就是做了控制变量达到更加强大的鲁棒性。 当然，我本人业余时间在研究自己构思的一个音频检索算法，还在开展中， 算法复杂度当然会更高，但是效果和后续检索准确度会大有提升。 上面提到的shazam和dejavu，本人以纯c 原汁原味实现之。
2.3K20发布于 2018-08-07 - 来自专栏企鹅号快讯
深度离散哈希算法，可用于图像检索！
近期有人提出了基于深度学习的哈希算法，它可以同时学习图像表示和哈希编码（hash coding），取得了比传统哈希算法更好的结果。 「DSRH」算法 [24] 通过保留多标签图像间的相似语义信息来学习哈希函数。近年来还提出了其他基于排序的深度哈希算法 [17,21]。 「3」大量的实验结果表明，我们的方法在图像检索问题上，取得了比现最好方法更好的结果，从而验证了我们方法的有效性。 Deep supervised discrete hashing 论文地址：https://arxiv.org/abs/1705.10999 摘要：随着网络上图像和视频数据的快速发展，近几年图像及视频检索也被广泛的研究 得益于深度学习的发展，深度哈希方法在图像检索方面也取得了一定的成果。然而，之前的深度哈希方法还是存在一些限制「例如，没有充分利用语义信息」。
2.6K60发布于 2018-02-28 - 来自专栏大数据杂货铺
全文检索、向量检索和混合检索的比较分析
全文检索 全文搜索是指将部分或全部文本查询与数据库中存储的文档进行匹配。与传统的数据库查询相比，全文搜索即使在部分匹配的情况下也能提供结果。 Elasticsearch 用户越来越多地使用不同类型信息的搜索检索 — BM25 用于文本，向量搜索用于密集向量。 混合搜索技术通常会提供更好的结果：对多个 BIER 数据集进行基准测试显示，结合 BM25 和基于 ELSER 的排名时，相关性有所提高，现在用户甚至可以更轻松地组合所有这些检索方法。
6.2K10编辑于 2024-04-24 - 来自专栏啦啦啦啦前端
信息检索格式 布尔检索式
信息检索格式 布尔检索式 名称 符号 表达式 功能 逻辑与 * 或and AB 同时含 有提问词A和B的文献，为命中文献 逻辑或 + 或or A+B 凡是含有提问词A或B的文献，为命中文献 逻辑非 这个算法在微软Bing搜索里面可行，但是在百度里面搜索依然包括篮球二字，这里未解。 还有个注意点，符号的前面要加空格隔开后面紧跟着要搜索的内容。
1.5K40编辑于 2023-02-11 - 来自专栏算法与编程之美
网页|高级检索与专业检索
1、高级检索 高级检索也称命令检索，是相对于基本检索而言，高级检索可以让你使用多于基本检索的标准来精炼检索，使检索信息更加详细，搜索出的结果可用性也更大。 ? 图1.1 百度高级检索示例图 ? 图1.2 知网高级检索示例图 使用高级检索可以直接根据示例图所示，搞清楚查找资料的关系后，然后根据高级检索的相关内容直接输入逻辑关系搜索从而精确搜索信息。 图1.3 知网高级检索示例图2 2、专业检索 专业检索就是运用检索表达式实现的检索方式。这种检索方式可以让通过运用检索字段精确检索需要的内容。 ? 图2.1 知网专业检索示例图 百度专业检索直接在搜索框输入检索式即可。 图2.4 示例2检索结果 结语 运用高级检索和专业检索可以让搜索更加详细。
4.2K20发布于 2020-07-16 - 来自专栏AI研思录
颠覆传统检索：RAPTOR检索树提升检索准确率20%！
然而，现有的检索增强方只能检索几个简短的、连续的文本块，这对于需要整合文本多个部分的知识的问题是不够的，限制了它们表示和利用大规模语义结构的能力。 聚类算法 聚类算法采用的是高斯混合模型（Gaussian Mixture Models, GMMs），同时由于单个文本可能包含与多个主题相关的信息，所以这篇文章采用了软聚类，即节点可以同时属于多个聚类， 查询机制 树遍历查询 树遍历查询可以控制查询的深度和每层查询的节点数，并在树的深度下降时关注更精准的细节，该算法的步骤如下： 从树的根层开始。 压缩树查询 压缩树查询同时考虑树中的所有节点，将所有节点带到同一级别进行比较，该算法的步骤如下： 首先，将整个 RAPTOR 树折叠成一个图层。 实验表明，使用递归总结的检索方法在多个任务上相较于传统的检索增强语言模型提供了显著的改进。在涉及复杂、多步骤推理的问题解答任务中，展示了最优的结果。
73210编辑于 2025-02-20 - 来自专栏大猪的笔记
检索日志
有时需要在大量日志中查找某个关键字。可用以下命令： find . -name "86??"|xargs grep -rn "get_web not hit cache" 从日志命名为 86xx的文件中
69140发布于 2019-11-22 - 来自专栏booth
文档检索的未来：决策树算法的优势和创新
决策树算法是一种常用的机器学习算法，在分类问题中被广泛应用。该算法通过将原始数据集拆分成多个小的决策子集，以生成一个决策树，用于预测新数据的分类。 具体来说，可以通过决策树算法为不同的网络流量和行为建立分类模型，以识别异常流量和行为模式，以提高网络安全和管理效率。决策树算法在文档管理系统中的优势在于：简单易懂。 决策树算法不需要了解复杂的数学概念和算法，易于理解和使用。可以处理大规模的数据集。决策树算法可以对大规模的数据集进行分类和预测，速度很快，效果显著。具有可解释性。 决策树算法可以生成易于理解的图形展示，让用户更容易理解算法的工作过程和输出结果。然而，决策树算法在文档管理系统中的误区主要在于：过度拟合。 决策树算法在文档管理系统中的具体例子包括：通过构建决策树模型，对网络流量进行分类和排序，以确定网络行为模式。利用决策树算法检测和预测网络攻击和恶意流量的行为模式，以及与正常网络流量和行为的区别。
33040编辑于 2023-09-12 - 来自专栏desperate633
第2-3课 检索数据检索列检索排序数据
这两课主要介绍sql中利用select语句对数据的简单检索。 下面分别讨论不同类型的检索 检索列 单个列 select prod_id from Products; 多个列 select prod_id, prod_name, prod_price from Products ; 所有列 select * from Products; 检索不同值 的列 select distinct vend_id from products; 检索前几列或者后几列 select prod_name from products limit 5; select prod_name from products limit 5 offset 5; 检索排序数据 单个列排序 select prod_name
1.1K20发布于 2018-08-22 - 来自专栏机器学习、深度学习
行人检索
quadruplet network for person re-identification CVPR2017 https://arxiv.org/abs/1704.01719 本文使用深度学习进行行人检索
1K20发布于 2019-05-26 - 来自专栏技术研究和应用
【向量检索研究系列】本地向量检索（下）
1 背景上一篇文章《向量检索研究系列：本地向量检索（上）》介绍了如何加快向量相似度计算，但是一般的向量检索流程还包括对计算结果进行排序，以及有必要的话，在计算相似度之前可以对向量库中的向量进行过滤筛选（ 检索时把检索条件在第一个Map中查询到满足检索条件的广告ID列表，再根据ID列表从第二个Map中取出对应向量列表。大致结构可以参考2.2中向量存储方案图。 图片3.1 全量排序把Golang官方的排序算法（快排+堆排序+插入排序）时间和SIMD相似度计算时间进行对比，如下图：图片可见，排序运算时间 > 内积运算时间，Golang默认的排序算法不满足需求。 （2）优化后本地向量检索P99时延降低50倍，平均时延降低180倍。（3）优化后本地向量检索时延分布，99.2的检索时延都在1ms以内。 浮点数基数排序和局部排序算法可应用到业务的其它排序场景，加速排序。
2.3K31编辑于 2022-07-14 - 来自专栏圆圆的算法笔记
深度学习时代工业界最常用的检索算法？
点关注，不迷路，定期更新干货算法笔记~ 今天给大家分享一个在工业界、实际工作中非常常用的技术——向量检索。 得益于深度学习、表示学习的迅猛发展，向量化检索逐渐成为实际应用中很常见检索方法之一，是深度学习时代很多成熟系统的基础模块，在诸如文档检索系统、广告系统、推荐系统应用广泛。 其中，基于量化的ANN方法是目前工业界最常用的向量检索方案之一。本文给大家整理了基于量化的ANN检索方法的发展历程。 这种方法进一步提升了检索效率。 2 Optimized Product Quantization 基础的PQ算法并没有考虑如何对原始向量进行分割，能把量化前后的向量失真度降到最低。 Optimized Product Quantization（2014）对PQ算法进行了优化，以量化前后的失真度作为优化目标对向量进行分割，以及生成codebook，相比原来的优化增加了将向量分割方式考虑到优化目标内
1.8K20编辑于 2022-09-22 - 来自专栏booth
提高文档检索效率：KMP算法在文档管理中的应用
KMP算法可以用于实现字符串匹配功能，即在用户输入的文本中查找是否包含敏感信息。监控软件可以将敏感信息存储在一个字符串数组中，然后使用KMP算法对用户输入的文本进行匹配。 KMP算法可以在文档管理软件中用于检测用户在电脑上输入的敏感信息，例如密码、银行账号等。其优势包括：高效性：KMP算法的时间复杂度为O(n)，相比暴力匹配算法的O(n*m)更加高效。 精准性：KMP算法可以精确匹配输入的字符串，避免误判和漏判。可扩展性：KMP算法可以方便地添加新的敏感信息模式，以适应不断变化的安全需求。 隐私保护：KMP算法可以在本地进行匹配，不需要将用户的敏感信息上传到云端，保护用户隐私。 文档管理软件可以利用KMP算法实现以下用途：监控员工的账号密码输入，防止泄露公司敏感信息。 总之，KMP算法在文档管理软件中具有重要的应用价值，可以帮助企业保护公司机密和员工隐私。
74920编辑于 2023-09-08 - 来自专栏贾志刚-OpenCV学堂
阿里推出区域检索算法
本文介绍了阿里安全全新的「盗版服装图像」检索算法。 ? 这类侵权的成本稍高一些，但是目前的基于商品整体相似度度量的同款检索算法可以对它们进行召回和治理。 这类盗版的成本最高，并且也不易被传统的基于商品同款检索的算法召回，电商平台对此类侵权现象的处罚过程中通常需要更多的人工审核手段。 ? 图 1：两组盗版示例，其中每组中左图为正版服装，右图为盗版服装。 「盗版服装图像」检索算法详解 为了解决第三类盗版问题，阿里安全研究者将图像中的服装分为五个区域，包括领子、胸部、腰部和两个袖子区域。 在论文的实验部分，阿里安全研究者首先在「Fashion Plagiarism Dataset」上对算法的「盗版服装图像」检索能力进行了评估。除了论文所提出的方法外，作者还设定了两种方法进行对比。
91520发布于 2020-03-18 - 来自专栏机器学习与推荐算法
WWW2024 | 检索增强的点击率预估算法
嘿，记得给“机器学习与推荐算法”添加星标 TLDR: 本文开发了一种检索增强的注意力方法，旨在获取样本内和样本间的细粒度特征交互，在保持效率的同时提高了点击率预估算法的预测能力。 近年来，检索增强学习在自然语言处理和计算机视觉领域显示出了有效性，其主要思想是检索相似样本并通过这些外部演示增强模型预测。受其成功解决长尾问题的启发，本文认为它是解决上述问题的一种有希望的机制。 在该方向上，RIM[1]、DERT[2]和PET[3]是检索增强点击率预估的三项初步工作。然而，它们妥协了样本内或样本间的特征交互，这仍然是次优的做法。 为弥补前人工作中的缺点，本文提出了一种统一的框架，称为检索增强的注意力机制（RAT），以增强细粒度的样本内和样本间特征交互，用于点击率预测。模型结构如下图所示。 给定一个目标样本，本文使用稀疏检索算法从参考池(例如，历史日志)中检索相似样本。然后开发了一个基于transformer的模型，以获得样本内和样本间的细粒度特征交互。
48110编辑于 2024-04-10
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号