首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏NLP/KG

    向量召回:深入评估离线体系,探索优质召回方法

    基于此,我们在第一版中确定了如下的评估体系:评估数据3000 个 query,每个 query 对应 40 个 doc,人工按照相关性进行标注,标注的 label 为 0-4 档。评估维度1. 3000 个 query 左右,每个 query 下平均 doc 数为 40 的数据集,标注标注为综合满意度,综合满意度会考虑相关性、质量等多方面因素,标注 Label 为 0-4 档评估维度1. 离线模型迭代指标A.召回指标: R1/R2/RAUC 等召回指标,衡量模型的召回率情况B.聚类指标: 衡量聚类的损失情况。 3.针对问题 3,我们对召回的结果计算 query 与召回结果之间的字重合度和 CQR(Title 分词对 Query 分词的覆盖情况),以此来衡量召回结果的下限,防止出现既召回部分非常好的结果,但同时也召回大量非常差的结果 4.同时为了评估在单片上真实的聚类效果,我们在单片评估时加入了在穷举索引上的召回指标计算,并以此计算在聚类索引召回指标和在穷举索引召回指标的打折情况,分析模型的聚类损失情况,这个信息除了可以反馈模型的指标

    1.7K20编辑于 2023-10-17
  • 来自专栏常用算法专栏

    影响召回的准确性和召回速度的因素

    这些因素对召回的准确性和召回速度的影响主要体现在以下几个方面: 一、影响召回准确性的因素: 数据质量:数据质量是影响召回准确性的基础因素。 因此,数据的质量越高,召回的准确性就越高。 对检索需求的理解:系统对检索需求的理解程度直接决定了召回结果的准确性。 因此,选择合适的检索词也是提高召回准确性的关键。 二、影响召回速度的因素: 数据量大小:数据量越大,系统需要处理的文档就越多,因此召回速度就会相应降低。 系统性能:系统的硬件性能(如CPU、内存、存储等)和软件性能(如算法效率、索引结构等)都会影响召回速度。如果系统性能不足,就可能导致召回速度变慢。 检索策略:不同的检索策略对召回速度的影响也不同。 为了提高召回的准确性和召回速度,可以采取一些优化措施,如提高数据质量、优化检索策略、改进算法模型、提升系统性能等。同时,也需要根据具体的应用场景和需求来选择合适的召回策略和技术。

    29900编辑于 2025-04-05
  • 来自专栏NewBeeNLP

    召回向排序靠齐:多目标排序蒸馏召回

    召回主要是将用户所有可能感兴趣的内容取出来,排序(粗排、精排)主要是预测用户对每条内容感兴趣的程度。召回为整个推荐系统的后续阶段提供数据,保证了效果的上确界。 排序对召回提供的数据再更细致化的分析、预测和排序,保证最终用户看到的结果。可以说召回是服务于后续排序模型。 由于召回和排序是推荐的两个阶段,可以说是独立运行的过程。 在工业上,做召回和排序的可能是两波人。因此两者的目标可能存在不一致。比如:精排希望给转化率高或者浏览时长高的内容更高的评分,而召回依旧取出用户喜欢点击的内容,最终精排的能力受到了限制。 为了让召回的目标向后续的排序靠齐,我们需要一路以排序模型的目标为目标的召回方法,保证能提供排序模型所需要的数据。 多目标蒸馏召回 腾讯提出了一个多目标MMoE蒸馏DSSM召回的方法DMTL(如图1所示)。 MMoE的两个目标是点击和阅读时长。

    1.8K10编辑于 2022-11-11
  • 来自专栏深度学习与推荐系统

    再看经典召回算法

    一般经典的召回方法即采用多路召回的方式,如下图所示。 多路召回的特点就在于“多路”,满足了挑选物品的多样性,捕捉用户兴趣的多样性,可以根据需要保证你想要召回的物品总能通过某一路挑选出来。下面就详细介绍和分析一下每一路召回方法。 4.结合TF-IDF方法的基于物品协同过滤。 ▌总结 总体来说,多路召回的好处就是召回的物品考虑到用户兴趣的多样化,一般不会出现某一领域的集中召回,但是由于每一路都需要确定一个Top K中的K这个参数,调参的空间过大。 同时对于不同的用户都是固定的K值,不够合理化,因为每一个召回路不同的用户偏好不同,也可能用户在某一召回路不应该有候选物品出现,但是固定的K参数是的必须在该召回路筛选出前K个物品。

    1.8K11发布于 2020-10-18
  • 来自专栏用户画像

    推荐系统的召回

    https://blog.csdn.net/jxq0816/article/details/82151302 所谓召回,在刚接触推荐系统的时候可能只看字面意思无法理解召回的意思,召回可以理解为向用户粗选一批待推荐的商品 之后会加一层CTR预估的rank模型,相当于精排序 推荐系统的主要模块即为:召回 => 排序(精排) => 过滤模块(对最终展示商品进行过滤,多样性排序等) 推荐系统是一个很大的话题,涉及到很多模块, 这里主要是调研了一下推荐召回环节的主流做法。 应用:电商中基本是item-based CF,即对于一个用户,先取出用户过去的行为session商品(如点击,加购物车,下单等),根据规则向用户的召回集中选择商品,可以配置多个召回源,如相似、相关、偏好店铺热销等 、相关度,店铺下商品的热门程度、店铺与店铺的相似程度等) ,注:商品和商品的相似度,一般通过用户的浏览行为,用频繁项集(基于共现次数+热门商品降权方法)来计算,这样不用引入22之间计算的笛卡尔积,计算效率得到保证

    2.3K30发布于 2018-09-26
  • 来自专栏NLP/KG

    推荐系统:召回算法超详细讲解[召回模型演化过程、召回模型主流常见算法(DeepMF_TDM_Airbnb Embedding_Item2vec等)、召回

    2.1 召回路径介绍 推荐系统中的i2i、u2i、u2i2i、u2u2i、u2tag2i,都是指推荐系统的召回路径。 第一种召回,是非个性化的。 2.2.1 多路召回 推荐服务一般有多个环节(召回、粗排序、精排序),一般会使用多个召回策略,互相弥补不足,效果更好。 精排模型非常耗时,所以召回的内容,会经过粗排之后,把少量的数据给精排进行排序 几种多路召回结果融合的方法 举个例子:几种召回策略返回的列表(Item-id,权重)分别为: 召回策略 返回列表 0.4、0.3、0.3,则B的权重为(0.40.8 + 0.60.3 + 0*0.2)/ (0.4+0.3+0.2),这个方法有个问题就是,每个策略的权重是自己设置的,并不准确,所以,有动态加权法 4、 3.5.3 兴趣建模 4.当前业界的主流召回算法综述 4.1 Youtube DNN 图片 当前的主流方法的通用思路就是对于use和item的embedding的学习, 这也被称为表示学习; YoutbeDNN

    4.8K30编辑于 2023-02-22
  • 来自专栏Zephery

    商品推荐系统-FAISS召回

    商品推荐系统-FAISS召回 1. 背景与挑战 在互联网电商、内容平台等实际业务中,商品库动辄百万量级,如何为每位用户从海量商品中迅速召回个性化、高相关的候选商品,是推荐系统最基础也最关键的一环。 embeddings.append(batch_emb) all_embeddings = np.vstack(embeddings) # shape = (商品数, emb_dim) # 4. 3.4 结果检查 product_emb.npy: N×dN×d 的 float32 矩阵,每一行是一个商品的 embedding asin_list.txt: 每行一个商品 asin,与向量顺序匹配 4. 第二环节:构建与优化FAISS召回系统 4.1 为什么选FAISS? 百万级大数据下的表现与实践建议 适用性:FAISS专为这种百万、千万级内容召回设计,单机64G内存可支持极大库,工程成熟。

    1.1K00编辑于 2025-06-11
  • 来自专栏产品的技术小课

    效率工具:4个语音转文字工具

    0.33元/分钟 传送门: 网站:https://www.iflyrec.com app:应用市场直接搜 4、网易见外工作平台 - 网站 只要注册就能免费使用!

    13K20编辑于 2022-05-17
  • 来自专栏阿泽的学习笔记

    【CTR】Youtube:双塔召回模型

    Conclusion 本文 Youtube 工业实战类型的推荐论文,主要介绍了搭建基于双塔模型搭建的神经检索系统的一些 Trick,包括流失数据处理中的采样偏差纠正,利用哈希加快检索效率,归一化提高准确率 ,加入超参 来微调召回率和精确率。

    3.6K20发布于 2020-07-21
  • 来自专栏搜推广技术

    搜索优化经验集--召回

    虽然arena能够提供内存分配、对象析构的效率。 但使用中,仍然需要注意一些问题:初始对象大小:前文有提到,初始化内存块不够时、arena会进行扩容,合理的通过参数指定初始化内存大小,能进一步提高效率涉及生命周期变更接口使用:set_allocated_xxx 不做无用抽象多态性是C++重要面向对象特性,利用继承is-a的关系,能够提高使用效率、简化代码编写和修改过程,代码也能体现良好的接口性。但当一个接口表现出多态性的,是无法内联的。 如果要明文存储term,直接采用hash_map存储、存储效率和性能上都不是最优。实际上除了kv,还有类似B+树、FST存储类型。 比如用户要召回同时包含”搜索“和”召回“两个term的文档,需要将这两条拉链求交。如果直接用链表实现,求交操作效率比较低,需要从当前位置一个一个遍历查找(o(n)时间复杂度)。

    2.3K41编辑于 2022-08-16
  • 来自专栏讲编程的高老师

    权衡查准率和召回

    上一节讲了当遇到偏斜类的时候,如何对算法效果进行评价,使用查准率和召回率。在很多实际应用中,我们还希望能在查准率和召回率间进行权衡,使得两个指标都取得不错的结果。 我们就搞两个模型,一个是高查准率、低召回率的;一个是高召回率、低查准率的。 ? 对于大多数回归模型,你更改这个临界值(threshold)会改变查准率、召回率。 而到底怎样的查准率、召回率的取值比较好,可以使用F1值进行权衡。 又或者,可以同时两个模型并存:(1)高查准率、低召回率;(2)高召回率,低查准率。 02 视频 http://mpvideo.qpic.cn/0b78g4aaiaaavuaeyr5nsfpvan6daq3qabaa.f10004.mp4? dis_k=ac087d333d5254ff7878b174d435b179&dis_t=1620876021&spec_id=MzAxMDYwMTc4Nw%3D%3D1620876021&vid=wxv

    1K30发布于 2021-05-13
  • 来自专栏杨熹的专栏

    图解精度和召回

    我们根据召回率这个名字,可以考虑一个,召回的例子。 例如有一个汽车公司,他们有一些车发现有问题, 于是就要召回,他们告诉了车主判断问题的方法, 有些车是真的有问题,但是车主没判断出来, 有些车没问题,但车主认为有问题, 这个时候公司就要计算一下召回率,看有问题的车被召回了多少 精度—召回率 之间存在制衡 随着精度的增加,召回率会降低,召回率增加,精度就会降低。 有时如果需要召回率高,就可以接受较低的精度。 F1 score 是对精度和召回率的调和平均,有个公式 如果我们想创建一个具有最佳的精度—召回率平衡的模型,那么就要尝试将 F1 score 最大化。 对每个阈值可以计算相应的 精度 召回率 f1 等指标, ?

    1.9K30发布于 2019-02-20
  • 来自专栏NLP/KG

    推荐系统算法实践总结V1:淘宝逛逛and阿里飞猪个性化推荐:召回算法实践总结【冷启动召回、复购召回、用户行为召回等算法实战】

    除了上面的变化,我们还加入了triplet loss的部分使得embedding空间更具有区分度,效率指标也有了较大幅度的提升。 我们通过对于单峰模型及多峰模型的观察发现,用户行为高度集中的序列单峰模型的线上效率相对于多峰模型会更有优势,而那些用户序列类目丰富度较高的则多峰模型的效率明显占优。 2.阿里飞猪个性化推荐:召回篇 常见的有基于user profile的召回,基于协同过滤的召回,还有最近比较流程的基于embedding向量相似度的topN召回等等。 主要内容包括:⻜猪旅行场景召回问题、冷启动用户的召回、行程的表达与召回、基于用户行为的召回、周期性复购的召回。 2.1 飞猪旅行场景召回问题 推荐系统流程 图片 首先介绍推荐的整体流程。 但是在工业系统中,为了召回的多样性和准确率,都是存在多路召回的,离线指标的提高并不代表线上效果的提升,一种常见的评估某路召回效果的方式就是对比同类召回通道的线上点击率,这种评估更能真实反映线上的召回效果

    3.4K41编辑于 2023-02-25
  • 来自专栏Coggle数据科学

    深入理解推荐系统:召回

    作为【推荐系统】系列文章的第二篇,将以“召回”作为今天的主角,会从四个方面来介绍召回的不同算法方式,即基于内容的召回、协同过滤、基于FM模型召回和基于深度学习的方法。 一、背景介绍 ? 下面主要介绍四种常见的召回方法: 基于内容的召回:使用item之间的相似性来推荐与用户喜欢的item相似的item。 基于内容的召回( CB召回 ),一般也叫做标签召回。当谈起CB的时候,大家可能会觉的很简单,用tag或者用cate召回就行了,好像没什么可做的。 但很容易想到的,当用户同时有“帅哥”,“萌宠”这两个tag的时候,通过萌宠给用户召回⼀个美女+萌宠的视频显然没有召回⼀个帅哥+萌宠的视频更有吸引力,也就是说,我们在召回的时候,如果能同时考虑多个term 摘自“推荐系统召回四模型之:全能的FM模型” 这里是“推荐系统召回四模型之:全能的FM模型”一文中给出的极简的FM召回模型,即不考虑上下文特征。 image.png ?

    3.9K22发布于 2020-04-03
  • 来自专栏DeepHub IMBA

    4个提高jupiter Notebooks开发效率的工具

    在本文中,我将通过代码示例简要介绍为某些问题提供解决方案的4种工具。 作者:Rebecca Vickery 原文地址:https://towardsdatascience.com/4-tools-for-reproducible-jupyter-notebooks-d7423721bd04

    1.4K41发布于 2021-05-19
  • 来自专栏前沿技墅

    深度推荐:YouTube召回模型设计

    要想了解YouTube的召回模型,需要依次掌握召回算法、召回模型网络结构,以及召回特征和样本设计。 召回模型的网络结构如下图所示。 ? 召回模型的网络结构 YouTube召回模型的网络结构包含多层神经网络:输入层、中间层(多层网络)、输出层。接下来对各层神经网络进行详细介绍。 召回特征和样本设计 接下来介绍召回模型输入层的特征处理,以及如何进行样本的设计和如何选择模型参数。 异构信息处理 包括如下内容。 其次,讲解推荐系统中的召回算法,主要包括基于行为相似的协同过滤召回和基于内容相似的Word2vec召回,并且介绍其在Spark、TensorFlow主流工具中的实现与应用。 最后,介绍推荐算法的4个实践案例,帮助读者进行工程实践和应用,并且介绍如何在Notebook上进行代码开发和算法调试,以帮助读者提升工作效率

    2.4K10发布于 2019-09-17
  • 来自专栏颖奇L'Amore

    Alfred 4: MacOS效率提升大杀器(下篇)

    -B002-78AA58F3BC8E/cdocadd.php:4 0.0017 549832 3. -B002-78AA58F3BC8E/scripts/conf.php:253 0.1059 550896 4. -B002-78AA58F3BC8E/cdocadd.php:4 0.0017 549832 3. -B002-78AA58F3BC8E/cdocadd.php:4 0.0017 549832 3. grep -v grep | awk '{print $2}' | xargs kill -9 效果如下(蚁剑被kill掉退出了): 当然这个workflow就比较简单(但是也达到了提升工作效率的目的

    1.3K40编辑于 2022-10-31
  • 来自专栏Mac软件

    Alfred 4 for mac汉化版-mac效率工具

    alfred mac版是一款mac效率工具,Alfred 4汉化版可以进行索引擎搜索、查询词典、发送邮件、查找文件、剪贴板 管理、音乐控制等功能。 4.控制你的音乐你是老板。使用Alfred与OS X的高度集成控制Mac,提高您的工作效率。快速对文件和联系人采取行动,控制音乐播放器并发送系统命令。

    1K30编辑于 2022-07-20
  • 来自专栏猪圈子

    4 个 Linux 技巧让工作效率翻倍!

    Linux 已经逐渐成为了最受开发者欢迎的操作系统,本文将介绍 4 个极为实用的技巧,相信这将能够提高您在 Linux 下的工作效率和流畅性,也让工作变得更为舒适、优雅 PS:文中软件安装命令以 Ubuntu 多终端操作 在 Linux 终端操作时,任意分割屏幕为多个窗口,减少鼠标操作,都是提高效率的好办法。 在此,推荐 Terminator。 将常用功能单独预留一个终端窗口,并且编辑终端标题,可以提高效率。按照自己的习惯分屏窗口,调整窗口,再结合下一小节中配制出的强大 Vim,就可以轻松打造自己专属且高效的 IDE 了。 3. 这套配置默认开启了鼠标的支持,可以通过鼠标定位光标的焦点,使用滚轮翻页代码,这是为了便于初学者上手,后续熟悉了之后建议关闭此功能,因为开启鼠标功能后会损失鼠标的右键菜单,鼠标也不如键盘操作的效率高。 关闭 Vim 中鼠标功能: vim ~/.vimrc //在303行前加引号,将set mouse=a注释掉即可 " set mouse=a 4.

    1.2K60编辑于 2023-03-02
  • 来自专栏颖奇L'Amore

    Alfred 4: MacOS效率提升大杀器(上篇)

    Author: 颖奇L’Amore Blog: www.gem-love.com ---- MacOS高效使用文章合集:here Alfred介绍▸ Alfred是一款专注于提升MacOS效率的软件 ,目前的版本为Alfred 4,可以在官网下载和购买激活码。 正版的授权码分为v4版和终身免费升级版,分别为£34(283元)和£59(491元)。我本人是买的Single License只能用v4版本的,当然不激活也可以使用,但是部分功能受限。

    1.5K30编辑于 2022-10-31
领券