原文:https://mp.weixin.qq.com/s/VV29xpdOMEkbz4iXmD_szg

在上一篇 [RAG评测完整指南：指标、测试和最佳实践](https://mp.weixin.qq.com/s/am89yasxAvuYUToEAWNyTA) 中，我们对RAG系统中各个模块的评估方法进行系统的阐述，并没有详细介绍每个模块设计的具体指标、指标的计算方法。从本篇开始，将深入RAG系统的各个模块（如检索、排序、生成），探讨各个模块有哪些评估指标，及这些指标的计算方法。

# 1. 核心要点


- RAG系统的检索环节本质是排序任务，目标是返回与用户查询高度相关的上下文片段列表，为生成环节提供精准支撑。

- 评估RAG排序质量时，需具备<查询，上下文>对形式的预测结果，作为真实标签的二元或分级相关性得分，并确定Top-K参数，即衡量前K个检索结果中，有多少是相关的。

- 预测指标：准确率（Precision at K）、召回率（Recall at K）评估

- 排序指标：NDCG、MRR、MAP等评估检索准确性与排序合理性


# 2. 什么是RAG系统的检索核心？


RAG系统的核心流程包含**检索-生成**两大环节，其中，检索环节本质是排序任务：系统根据用户的查询意图，从海量知识库中筛选、排序相关上下文片段，最终返回相关度Top-K的结果作为模型生成答案的依据。

想象这样的场景，当用户向RAG系统提问Transformer模型的核心创新点是什么？

RAG系统的执行流程大致如下：a) 首先，从知识库中检索相关文档片段，包括注意力机制原理、编码器-解码器结构说明、与传统模型的差异对比等内容；b) 通过排序算法进一步筛选最贴合查询的片段优先呈现给生成模块；c）最终输出准确、有依据的答案。这一过程中，检索排序质量直接决定了生成答案的准确性与可靠性，若检索排序失误导致无关上下文被优先选用，可能引发生成内容偏离主题或出现事实错误。

下面，我们聊聊RAG系统、推荐系统和检索系统的共同点、差异点。

**三者的相同点**


|核心目标|从大规模数据集中，根据特定需求，筛选出符合条件的信息，避免对全量数据进行遍历计算，本质是信息过滤与精准触达的工具。|
|:-:|:-:|
|底层技术|都需要构建数据索引（如倒排索引、向量索引），依赖相似度计算算法（如余弦相似度、BM25），且都需要处理海量非结构化 / 结构化数据的存储与快速查询，提升信息获取效率|

**三者的差异点**


|维度|RAG系统|推荐系统|检索系统|
|:-:|:-:|:-:|:-:|
|用户需求类型|隐性 / 显性需求，需要 「理解 + 生成的深度加工」|隐性需求为主，用户无明确查询|显性需求为主，用户输入明确关键词 / 条件|
|数据流向|用户查询 → 检索知识 → 大模型生成回答|用户行为 → 分析偏好 → 推送内容|用户查询 → 匹配索引 → 返回结果|
|输出形式|自然语言文本（回答、摘要等）|内容列表（商品、视频、文章）|结果列表（文档、链接、数据条目）|
|典型应用场景|智能问答、知识库助手、企业客服机器人|电商商品推荐、短视频推荐、新闻推荐|搜索引擎（百度 / 谷歌）、文件检索、数据库查询|

本篇将涵盖RAG系统检索排序的核心指标，从基础的Precision、Recall到复杂的NDCG、MAP等。

# 3. 评估原则


在深入探讨具体指标前，需要定义好检索排序评估的基本原则，主要围绕输入数据、相关性定义、Top-K参数三大核心要素。

## 3.1 输入数据


这里介绍的都是需要真值的指标，因此，评估RAG检索/排序质量时，数据需要满足<**预测结果，真实标签**>数据对的模式，具体定义如下：


- 预测结果：RAG检索/排序模块针对每个查询生成的上下文排序列表（含查询-上下文对及相关性得分/排名）。

- 真实标签：反映上下文与查询实际相关性的标注（二元标签或分级得分），用于验证排序结果的准确性。


RAG系统的排序评估数据集通常结构如下：


|查询ID|上下文ID|预测值（相关性得分）|
|:-:|:-:|:-:|
|查询1|片段A|0.92|
|查询1|片段B|0.78|
|查询1|片段C|0.15|

其中，**上下文**可为知识库中的文档片段、句子或段落，是RAG系统生成答案的直接依据。为判断检索排序优劣，需将预测结果与真实标签对比，示例如下：


|查询ID|上下文ID|预测值（相关性得分）|目标值（实际相关性）|
|:-:|:-:|:-:|:-:|
|查询1|片段A|0.92|1（高度相关）|
|查询1|片段B|0.78|0（无关）|
|查询1|片段C|0.15|1（中等相关）|

## 3.2 什么是相关性？


相关性是RAG排序评估的核心，指上下文片段对回答用户查询的有用性，直接决定该片段是否能为生成模块提供有效支撑。相关性可分为两类：


- 二元相关性：仅判断**相关**或**无关**（如1=对用户查询有用，0=对用户查询没用），如上面表格中**目标值（实际相关性）**字段所示，基于简单的人工标注或规则判断（如上下文是否包含查询核心关键词）。

- 分级相关性：按有用程度划分等级（如1-5星），例如：5星=完全覆盖查询答案，4星=大部分支撑答案，3星=部分辅助信息，2星=微弱相关，1星=无关。


在RAG场景中，相关性标注需重点关注**上下文是否能直接用于生成准确答案**，即使某片段与查询主题相关，但缺乏关键信息（如仅提及概念名称却未解释核心），仍可能被标注为低相关性。

多数检索排序指标要求输入二元相关性数据，因此需对分级得分进行后处理，如将4-5星视为**相关**，1-3星视为**无关**；若存在标注偏差（如不同标注者标准不一致），可通过加权或归一化调整阈值。

## 3.3 Top-K参数
![1.png](https://developer.qcloudimg.com/http-save/yehe-11939351/f329c56ac845059149581ae42707b53b.png)

Top-K参数是RAG检索排序评估的关键截断点，在RAG系统实际应用中，选取前K个片段作为模型上下文生成内容。


- 选择依据：K值需匹配RAG系统的实际配置，如生成答案时最多使用5个上下文片段，则K=5；也可测试多个K值（如K=3、K=5、K=10），分析不同检索深度对排序质量的影响。

- 核心意义：用户（或生成模块）仅关注Top-K结果，对于低排名的上下文几乎无实际作用。例如，若RAG系统配置K=5，那么评估需重点关注前5个检索结果的相关性与排序合理性，无需过度关注第6名之后的片段。


你可能会有疑问，一定要设置这个K值？答案是未必。当知识库规模极小（如仅数十个片段），且需全量评估时可省略。但，RAG应用场景中的知识库数据一般都比较大，尤其是在企业级应用中，全量评估既无必要也无效率，因此Top-K截断是评估的必备环节。

RAG系统的排序指标可分为预测、排序两大类，分别对应准确性、合理性两大评估维度：


- 预测指标：评估准确性，是否能精准筛选出与查询相关的上下文。

- 排序指标：评估合理性，是否能将更相关的上下文排在更靠前的位置。


# 4. 检索排序指标详解


## 4.1 预测指标


### 4.1.1 精确率 (Precision@K)


**定义**：衡量前K个检索结果中，有多少是相关的。
![2.png](https://developer.qcloudimg.com/http-save/yehe-11939351/298626ab79df74e9ef5d62951dbf9ddd.png)

**核心逻辑**：衡量RAG系统**精准筛选**的能力，Top-K结果中相关片段越多，生成答案的依据越可靠。示例，若K=5，Top-5检索结果中有3个相关片段，则Precision@5=3/5=60%。

**局限性**：受**查询相关上下文总数**影响，若某查询仅存在2个相关片段，即使K=10，最高准确率也仅20%，难以跨查询平均比较。

怎么理解这个问题，我们以推荐场景为例来解释。推荐系统给用户 A 推荐了 10 个项目，而用户 A 实际的相关项目（也就是用户真正感兴趣、符合需求的项目）只有 3 个，不管推荐算法如何迭代优化，精确率的上限就是30%。

为什么难以平均和比较？假设另一个用户 B，相关项目有 8 个。同样给他推荐 10 个项目，精确率上限能达到80%。对比用户 A 30%的精确率上限，两者的上限差异，**不全是推荐算法或机制的好坏导致的**，更多是因为两人本身的相关项目数量不同。

如果直接把这两个用户的精确率平均，结果并不能真实反映推荐系统的整体性能，因为这个平均值被用户的相关项目基数干扰了。

### 4.1.2 召回率（Recall**@**K）


**定义**：在前K个检索结果中，检索到的相关文档的数量占总相关文档数量的比例。
![3.png](https://developer.qcloudimg.com/http-save/yehe-11939351/6f364b81253ce869a90768ecb8d74e96.png)

**核心逻辑**：衡量RAG系统全面覆盖的能力，即能否将所有相关上下文尽可能纳入Top-K结果。示例：某查询共有8个相关上下文，Top-10检索结果中包含5个，则Recall@10=5/8=62.5%。

**局限性**：与K值正相关，K值越大，召回率越高，需结合实际系统配置的K值进行评估，而非单纯追求高召回。

### 4.1.3 F分数（F-score）


**定义**：平衡Precision与Recall的综合指标，通过Beta参数调整二者权重。
![4.png](https://developer.qcloudimg.com/http-save/yehe-11939351/c964b324b0d0776a98d84f608c8b0901.png)

当 $\beta=1$时，则会得到标准的 F1 分数，即精确率和召回率的调和平均值。

**核心逻辑**：Precision关注精准度，Recall关注覆盖度，F值可根据RAG场景需求调整优先级， $\beta=1$时为F1分数（二者同等重要）， $\beta>1$时侧重Recall， $\beta<1$时侧重Precision。

## 4.2 排序指标


以前文介绍的精确率和召回率指标为例，这些并不**考虑排名。**它们对排名前 K 的相关项的具体位置漠不关心。

我们来举例说明，考虑两个列表，它们都包含 5 个匹配项（共 10 个）。在左侧列表中，相关项位于列表顶部；在右侧列表中，相关项位于列表底部。只要相关项的总数保持不变，精确率就始终为 50%。


不同于预测指标，排序指标聚焦排序合理性，评估RAG系统对相关上下文的排序能力，相关度越高的片段应排在越靠前的位置，这对生成效率与答案质量至关重要。

### 4.2.1 平均倒数排名（(Mean Reciprocal Rank，MRR）


**定义**：所有查询中**第一个相关上下文的倒数排名**的平均值。
![6.png](https://developer.qcloudimg.com/http-save/yehe-11939351/77ded7bb76b4cbe2286d4128255c4e2a.png)

**核心逻辑**：衡量RAG系统快速命中关键上下文的能力，第一个相关片段的排名越靠前，生成模块越能快速获取有效依据。

以下图为例，解释MRR的计算过程
![7.png](https://developer.qcloudimg.com/http-save/yehe-11939351/17864c165f9dbf44605ea43a4a54a5de.png)

查询1的第一个相关片段排在第3位（倒数排名=1/3），查询2的第一个相关片段排在第1位（倒数排名=1），查询3的第一个相关片段排在第2位（倒数排名=1/2），查询4的第一个相关片段排在第3位（倒数排名=1/3），则MRR=(0.33 + 1 + 0.5 + 0.33) / 4 = 0.54。

**局限性**：仅关注第一个相关片段，忽略后续相关片段的排序质量，若后续相关片段排名过低，仍可能影响生成效果。

### 4.2.2 平均精度均值（Mean Average Precision, MAP）


**定义**：计算多个查询的平均精度（AP）来衡量[检索排序](https://zhida.zhihu.com/search?content_id=247682406&content_type=Article&match_order=1&q=%E6%A3%80%E7%B4%A2%E6%8E%92%E5%BA%8F&zhida_source=entity)性能。MAP首先计算每个查询的平均精确率，然后取所有查询的平均值。
![8.png](https://developer.qcloudimg.com/http-save/yehe-11939351/055566bc4062bae9bd28a100d69a1ee9.png)

以上图为例，查询1 Top-6结果中，相关片段位于第1、4、5位，则AP=(1/1 + 2/4 + 3/5) / 3 ≈ (1+0.5+0.6) / 3 ≈ 0.7。另外，查询2 Top-6按照类似的逻辑，得到AP为0.8，则所有查询的AP平均值即为MAP = （0.8 + 0.7）/ 2 = 0.75。

下图给出了多个查询的详细计算过程，
![9.png](https://developer.qcloudimg.com/http-save/yehe-11939351/fcca245cea6c89d2bc642b1bac7c98a1.png)

**核心逻辑**：同时评估筛选准确性与排序合理性，既要求Top-K结果多包含相关片段，也要求相关片段排在更靠前的位置。

**局限性**：计算逻辑较复杂，不易向非技术人员解释。

### 4.2.3  命中率（Hit Rate）


**定义**：Top-K检索结果中**至少包含一个相关上下文**的查询占比。
![10.png](https://developer.qcloudimg.com/http-save/yehe-11939351/06f33c6b787be20e5ada0e49dd61aa1e.png)

将每个查询结果统计一个二元分数，1表示前 K 个搜索结果中至少有一个相关项目，0表示其他情况。然后，计算所有查询的平均命中率。以上图为例，对于三次查询，有2个查询结果中是包含相关项目的，则命中率为 2 / 3 = 0.67。

**核心逻辑**：衡量RAG系统基础有效性，能否为大多数查询找到有效支撑上下文，是RAG系统的及格线指标。

**局限性**：仅关注是否存在相关片段，不关注相关片段的数量与排名，无法反映排序质量的细节。

### 4.2.4 归一化折损累积增益（Normalized Discounted Cumulative Gain，NDCG）


**定义**：综合了文档的相关性和它们在排名中的位置，用于衡量排名质量。它不仅考虑了相关文档的位置，还为较早出现的相关文档分配更高的权重。NDCG特别适用于文档具有不同程度相关性的场景。
![11.png](https://developer.qcloudimg.com/http-save/yehe-11939351/792e310aa19da35110989ebc4407ff0c.png)

根据上图，可以看出NDCG的计算过程：先计算折损累积增益（DCG），相关得分除以实际排名的对数折损；再计算理想DCG（IDCG），所有相关上下文按最高相关度排序后的DCG；NDCG=DCG/IDCG。

**核心逻辑**：相关度越高的上下文排在越靠前的位置，NDCG越接近1；无关上下文排在前面则NDCG降低。支持分级相关性得分（如1-5星），更贴合RAG场景的精细评估。

**优势**：归一化后可跨查询、跨数据集比较，同时兼顾相关性与排名，是RAG排序评估的黄金指标之一。

原文:https://mp.weixin.qq.com/s/VV29xpdOMEkbz4iXmD_szg

RAG效果差？7个指标让你的准确率大幅提升

我们对RAG系统中各个模块的评估方法进行系统的阐述，并没有详细介绍每个模块设计的具体指标、指标的计算方法。从本篇开始，将深入RAG系统的各个模块（如检索、排序、生成），探讨各个模块有哪些评估指标，及这些指标的计算方法。

人工智能

大数据

算法

本文深入解析RAG系统检索排序模块的评估指标，涵盖精确率(Precision@K)、召回率(Recall@K)、F分数等预测指标，以及MRR、MAP、NDCG等排序指标。详细阐述各指标的计算方法、应用场景及局限性，帮助开发者精准评估RAG系统的检索排序质量，提升生成答案的准确性与可靠性。

结构化数据

数据索引

数据库

数据流

2026新春采购季

tencentdb-catalog

cscbot

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云AI代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

功能1上新10个字符

功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符。

功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符。

功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符

功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符

功能4上新

文章&问答评论现已支持表情

全新交互，全新视觉，新增快捷键、悬浮工具栏、高亮块等功能并同时优化现有功能，全面提升创作效率和体验

社区富文本编辑器全新改版！诚邀体验～ 

精选全网热门MCP server，让你的AI更好用 🚀

💥开发者 MCP广场重磅上线！

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

RAG效果差？7个指标让你的准确率大幅提升-腾讯云开发者社区-腾讯云

RAG效果差？7个指标让你的准确率大幅提升

RAG效果差？7个指标让你的准确率大幅提升

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐