1. 混合检索策略
- 向量搜索(语义搜索):基于查询与文档在向量空间中的语义相似度进行检索,能够理解同义词和上下文关系;可使用 Gemini Embedding 2、Amazon Nova Multimodal Embeddings 等先进模型
- 关键词搜索(BM25):基于词汇匹配进行检索,确保精确匹配查询中的关键术语
- 混合检索融合:结合向量搜索与关键词搜索的优点,使用加权融合或排序融合算法(如 RRF:Reciprocal Rank Fusion)生成最终排序;也可使用学习融合模型进行更精确的融合
- 查询路由(Query Routing):将不同性质的查询发送到不同的检索管道,提高检索效率,是较新的检索优化技术
2. 查询理解与改写
- 查询意图识别:分析用户的查询意图,确定所需信息的类型和范围
- 查询改写与扩展:对原始查询进行改写或扩展,生成多个相关查询,提高检索召回率
- 查询分解:将复杂查询分解为多个子查询,分别检索后合并结果
3. 结果重排序与过滤
- 重排序模型(Reranker):使用交叉编码器或更精细的模型对初步检索结果进行重新打分,将最相关的结果排在前面
- 上下文感知过滤:基于查询的上下文信息(如对话历史、用户偏好等)对检索结果进行过滤
- 多样性保证:确保检索结果覆盖查询的多个方面,避免结果过于单一
4. 元数据与过滤条件
- 元数据过滤:利用文档的元数据(如发布时间、作者、来源、类别等)对检索结果进行过滤
- 权限与访问控制:确保检索结果符合用户的访问权限,避免泄露敏感信息
- 时效性过滤:优先返回最新或最相关的文档,特别是对于时效性强的查询