## 示例代码

ragas版本：0.4.2

`AnswerRelevancy`指标使用:

https://docs.ragas.io/en/stable/concepts/metrics/available_metrics/answer_relevance/

```python
import os

# 导入 OpenAI 异步客户端，用于与 LLM 服务（如 DeepSeek, OpenAI 等）交互
from openai import AsyncOpenAI
# 导入 HuggingFace 的 Embedding 工具，用于将文本转换为向量
from ragas.embeddings import HuggingFaceEmbeddings
# 导入 Ragas 的 LLM 工厂函数，用于适配不同的 LLM
from ragas.llms import llm_factory
# 导入具体的评估指标：回答相关性
from ragas.metrics.collections import AnswerRelevancy

# --- 1. 设置 LLM (大语言模型) 和 Embeddings (嵌入模型) ---

# 初始化 OpenAI 异步客户端
# 从环境变量中获取 API Key 和 Base URL (这允许你使用 DeepSeek, Kimi 或其他兼容 OpenAI 接口的模型)
async_openai_client = AsyncOpenAI(api_key=os.environ.get("OPENAI_API_KEY"),
                                  base_url=os.environ.get("OPENAI_BASE_URL"))

# 配置用于评估的 LLM
# "evaluator_llm" 是即将扮演“裁判”角色的模型
# 这里使用的是 "deepseek-v3.2"
evaluator_llm = llm_factory("deepseek-v3.2", client=async_openai_client)

# 初始化 Embeddings 模型
# 使用 "all-MiniLM-L6-v2" 模型，这是一个轻量级且效果不错的开源模型
# 它的作用是计算问题和生成的反向问题之间的语义相似度
ragas_embeddings = HuggingFaceEmbeddings(model="all-MiniLM-L6-v2")

# --- 2. 创建评估指标对象 ---

# 实例化 AnswerRelevancy 指标
# 这个指标需要两个核心组件：
# 1. llm: 用来根据回答反向生成潜在的问题
# 2. embeddings: 用来计算生成的问题与原始问题的相似度
# 3. strictneww: 生成问题的数量,默认是3
answerRelevancy = AnswerRelevancy(llm=evaluator_llm, embeddings=ragas_embeddings,strictness=3)

# --- 3. 执行评估 ---

# 调用 score 方法进行打分
# user_input: 用户原始提出的问题
# response: 待评估的模型生成的回答
result = answerRelevancy.score(
    user_input="佩内塔获得过几次WTA赛事女子单打冠军？",
    response="佩内塔获得过10次WTA赛事女子单打冠军。"
)

# --- 4. 输出结果 ---

# 打印评估分数
# 分数通常在 0 到 1 之间，越高代表回答与问题越相关
print(f"Answer Relevancy Score: {result.value}")
```

在实际的生产环境中，response这个值不是写死的，而是**动态获取**的。

真实的流程通常分两步：

1. **第一步（生成）**：调用你的 RAG 系统或大模型，让它回答用户的问题。
2. **第二步（评估）**：把第一步拿到的回答，传给 Ragas 进行打分。



## 源码分析

源码位置：ragas\metrics\collections\answer_relevancy\metric.py

```python
async def ascore(self, user_input: str, response: str) -> MetricResult:
    """
    Calculate answer relevancy score asynchronously.

    Components are guaranteed to be validated and non-None by the base class.

    Args:
        user_input: The original question
        response: The response to evaluate

    Returns:
        MetricResult with relevancy score (0.0-1.0, higher is better)
    """
    # Input validation
    if not user_input:
        raise ValueError("user_input cannot be empty")
    if not response:
        raise ValueError("response cannot be empty")

    # Generate multiple questions from response
    generated_questions = []
    noncommittal_flags = []

    for _ in range(self.strictness):
        # Create input data and generate prompt
        input_data = AnswerRelevanceInput(response=response)
        prompt_string = self.prompt.to_string(input_data)
        result = await self.llm.agenerate(prompt_string, AnswerRelevanceOutput)

        if result.question:
            generated_questions.append(result.question)
            noncommittal_flags.append(result.noncommittal)

    if not generated_questions:
        return MetricResult(value=0.0)

    # Check if all responses are noncommittal
    all_noncommittal = np.all(noncommittal_flags)

    # Embed the original question
    question_vec = np.asarray(
        await self.embeddings.aembed_text(user_input)
    ).reshape(1, -1)

    # Embed the generated questions
    gen_question_vec = np.asarray(
        await self.embeddings.aembed_texts(generated_questions)
    ).reshape(len(generated_questions), -1)

    # Calculate cosine similarity
    norm = np.linalg.norm(gen_question_vec, axis=1) * np.linalg.norm(
        question_vec, axis=1
    )
    cosine_sim = (
        np.dot(gen_question_vec, question_vec.T).reshape(
            -1,
        )
        / norm
    )

    # Score is average cosine similarity, reduced to 0 if response is noncommittal
    score = cosine_sim.mean() * int(not all_noncommittal)

    return MetricResult(value=float(score))
```

这段代码的核心逻辑是基于 **“逆向工程”（Reverse Engineering）** 的思想来评估回答的相关性（Answer Relevancy）。

简单来说，它的逻辑是：**“如果这个回答是正确的，那么它原本是用来回答什么问题的？”**

如果“反推出来的问题”和“用户实际提出的问题”非常相似，那么说明这个回答是切题的（相关性高）。

prompt_string变量的值:

```json
Generate a question for the given answer and identify if the answer is noncommittal.
Give noncommittal as 1 if the answer is noncommittal (evasive, vague, or ambiguous) and 0 if the answer is substantive.
Examples of noncommittal answers: "I don't know", "I'm not sure", "It depends".
Please return the output in a JSON format that complies with the following schema as specified in JSON Schema:
{"description": "Structured output for answer relevance question generation.", "properties": {"question": {"description": "Question that can be answered from the response", "title": "Question", "type": "string"}, "noncommittal": {"description": "1 if the response is evasive/vague, 0 if it is substantive", "title": "Noncommittal", "type": "integer"}}, "required": ["question", "noncommittal"], "title": "AnswerRelevanceOutput", "type": "object"}Do not use single quotes in your response but double quotes,properly escaped with a backslash.

--------EXAMPLES-----------
Example 1
Input: {
    "response": "Albert Einstein was born in Germany."
}
Output: {
    "question": "Where was Albert Einstein born?",
    "noncommittal": 0
}

Example 2
Input: {
    "response": "The capital of France is Paris, a city known for its architecture and culture."
}
Output: {
    "question": "What is the capital of France?",
    "noncommittal": 0
}

Example 3
Input: {
    "response": "I don't know about the groundbreaking feature of the smartphone invented in 2023 as I am unaware of information beyond 2022."
}
Output: {
    "question": "What was the groundbreaking feature of the smartphone invented in 2023?",
    "noncommittal": 1
}
-----------------------------

Now perform the same with the following input
input: {
    "response": "佩内塔获得过10次WTA赛事女子单打冠军。"
}
Output: 
```

扔给LLM执行:

```python
result = await self.llm.agenerate(prompt_string, AnswerRelevanceOutput)
```

LLM返回结果:

```json
{
    "question": "佩内塔获得过多少次WTA赛事女子单打冠军？",
    "noncommittal": 0
}
```

经过3次(strictness)循环，generated_questions的值为：

```python
['佩内塔获得过多少次WTA赛事女子单打冠军？', 
 '佩内塔获得过多少次WTA赛事女子单打冠军？', 
 '佩内塔获得过多少次WTA赛事女子单打冠军？']
```

noncommittal_flags的值为：

```python
[0,0,0]
```

question_vec的值为一个384维度的向量数组。

```python
[[0.026643,0.080828,0.036799,...]]
```

gen_question_vec的值为3个384维度的向量数组

```python
[[1,2,3,...],[1,2,3,...],[1,2,3,...]]
```

余弦相似度公式：
$$
\text{Similarity} = \cos(\theta) = \frac{A \cdot B}{\|A\| \times \|B\|}
$$

```python
norm = np.linalg.norm(gen_question_vec, axis=1) * np.linalg.norm(
            question_vec, axis=1
        )
```

上述这段代码是计算分母。

```python
np.dot(gen_question_vec, question_vec.T).reshape(
    -1,
)
```

上述这段代码是计算分子。

注意:norm、cosine_sim、score的值都是数组形式。

```python
all_noncommittal = np.all(noncommittal_flags)
```

**noncommittal = 1**：表示回答是**非实质性的**。

**noncommittal = 0**：表示回答是**实质性的**。

只有当列表里的每一个值都为 `True` 时，结果才为 `True`；只要有一个是 `False`，结果就是 `False`。

在业务中的含义：

+ 如果**所有**尝试都判定它是废话，那么 `all_noncommittal` 为 `True`。$\rightarrow$ **后面会把分数强制归零。**

+ 只要有**哪怕一次**尝试判定它有内容，`all_noncommittal` 就是 `False`。$\rightarrow$ **后面会保留计算出来的相似度分数。**

用通俗的话说，这是一种**“全票通过”**的逻辑判断。

```python
score = cosine_sim.mean() * int(not all_noncommittal)
```

这段代码是整个 `ascore` 函数的**最终评分逻辑**。它的作用是：**计算平均相似度，但如果模型给出的回答是“拒答”或“不知道”（即无实质内容），则强制将分数归零。**

我们可以把它看作一个带**惩罚开关**的计算公式：

$$\text{最终得分} = \text{平均相似度} \times \text{有效性开关 (0 或 1)}$$



## 超出大模型长度

相关代码设置：

```python
evaluator_llm = llm_factory("deepseek-v3.2", client=async_openai_client, max_tokens=32768)
```

max_tokens不够可能报错:

```
<generation number="1">
<exception>
    The output is incomplete due to a max_tokens length limit.
</exception>
<completion>
    ......
</completion>
</generation>

<generation number="2">
<exception>
    The output is incomplete due to a max_tokens length limit.
</exception>
<completion>
    ......
</completion>
</generation>

<generation number="3">
<exception>
    The output is incomplete due to a max_tokens length limit.
</exception>
<completion>
    ......
</completion>
</generation>

</failed_attempts>

<last_exception>
    The output is incomplete due to a max_tokens length limit.
</last_exception>
```



## 核心流程

1. **逆向生成 **
   - **输入**：模型的 `response`（回答）。
   - **动作**：利用 LLM 针对这个回答生成 $N$ 个（由 `strictness` 决定）**“可能的问题”** (`generated_questions`)。
   - *潜台词*：LLM 在想，“看到这个答案，我会觉得用户刚才问的是什么？”
2. **废话过滤 **
   - **动作**：检查生成的过程中，LLM 是否标记这个回答为“非承诺性”（如“我不知道”、“无法回答”）。
   - **逻辑**：如果生成的全是“我不知道”这种废话标记 (`all_noncommittal`)，后面分数的计算就没有意义了，直接准备判 0 分。
3. **向量化 **
   - 将 **用户原始问题** (`user_input`) 转化为向量。
   - 将 **反推生成的 $N$ 个问题** (`generated_questions`) 转化为向量。
4. **相似度计算 **
   - 计算 **原始问题向量** 与 **生成的 $N$ 个问题向量** 之间的 **余弦相似度**。
   - *直觉*：如果回答得切题，反推出来的问题应该和原问题在语义空间上非常接近（方向一致）。
5. **最终评分**
   - **平均分**：取 $N$ 个相似度的平均值。
   - **一票否决**：如果步骤 2 中判定全是废话，直接将分数乘以 0。


https://docs.ragas.io/en/stable/concepts/metrics/available_metrics/answer_relevance/

RAGAS的AnswerRelevancy指标分析

这段代码的核心逻辑是基于 **“逆向工程”（Reverse Engineering）** 的思想来评估回答的相关性（Answer Relevancy）。

人工智能

Ragas库的AnswerRelevancy指标通过逆向生成问题评估回答相关性，使用DeepSeek等LLM生成潜在问题并计算语义相似度。该Python代码示例展示了如何配置评估模型、执行评估并输出0-1分值的相关性评分，适用于RAG系统质量评估。

2026新春采购季

tione

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云AI代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

功能1上新10个字符

功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符。

功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符。

功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符

功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符

功能4上新

文章&问答评论现已支持表情

全新交互，全新视觉，新增快捷键、悬浮工具栏、高亮块等功能并同时优化现有功能，全面提升创作效率和体验

社区富文本编辑器全新改版！诚邀体验～ 

精选全网热门MCP server，让你的AI更好用 🚀

💥开发者 MCP广场重磅上线！

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

RAGAS的AnswerRelevancy指标分析-腾讯云开发者社区-腾讯云

RAGAS的AnswerRelevancy指标分析

RAGAS的AnswerRelevancy指标分析

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐