从结构化搜索到学习排序与检索的演进

检索与排序的多层架构

现代搜索应用、广告平台和推荐系统普遍采用包含候选检索（从百万级条目中筛选数百个）和候选排序（精细化调整展示顺序）的多层信息检索架构。亚马逊音乐通过学习排序（LTR）模型优化top-k结果，该模型融合查询信号、用户偏好等特征进行训练。

静态检索的局限性

传统检索模型（如全文搜索、结构化搜索）依赖静态策略，无法利用用户反馈动态调整。即使BM25评分函数和元数据扩展能提升相关性，但若最佳候选未被检索到，排序模型将失效。神经检索模型（如基于BERT的向量搜索）虽能捕捉语义，仍面临冷启动问题。

学习排序与检索（LTR&R）方案

我们提出LTR&R架构，通过上下文多臂老虎机（Contextual MAB）实现检索阶段的强化学习：

1. 策略优化：平衡已知策略的利用（提高精度）与新策略的探索（提升召回率）
2. 特征工程：
   • 查询特征：语言类型、意图分类、历史行为
   • 动作特征：相似度分数、实体类型、检索源类型
3. 动态混合：如图播客搜索结果所示，语义策略更适合主题搜索，而词法策略擅长实体搜索

实际挑战与解决方案

音乐搜索中，模糊查询（如"love"）需处理多类别实体（歌曲/艺术家/播客）和复合属性（如"Taylor Swift"跨流行/乡村流派）。传统静态查询计划难以应对，而LTR&R通过以下方式突破：

• 建立记忆索引：记录查询-实体(Q2E)交互得分
• 减少人工规则依赖：自动学习最优策略组合
• 最小化遗憾：在延迟约束下最大化用户行为奖励

架构优势

LTR&R相比传统系统能：

1. 简化搜索系统设计
2. 提升模糊查询的召回率
3. 通过反事实数据持续优化
4. 适应动态内容库（如新增音乐流派）

该框架已应用于亚马逊音乐，为未来搜索系统提供可扩展的机器学习解决方案。