
过去的软件测试，我们习惯面对确定性的系统。

例如：

一个接口：

输入：

```json
{
 "username":"test",
 "password":"123456"
}
```

输出：

```json
{
 "code":200,
 "message":"success"
}
```

测试目标非常明确：

* 返回码是否正确？
* 数据是否符合预期？
* 异常流程是否处理？

但是，大语言模型（Large Language Model，LLM）的出现改变了这一切。

---

当企业把大模型应用到：

* 智能客服
* 企业知识库
* AI助手
* Agent工作流
* 自动代码生成

测试工程师面对的是一个新的问题：

> 一个没有固定答案的软件系统，如何测试质量？

---

# 一、为什么传统测试方法无法覆盖LLM？

传统软件：

```text
输入
 |
 |
代码逻辑
 |
 |
确定输出
```

例如：

计算器：

输入：

1+1

输出：

2

但是LLM：

```text
用户问题

      ↓

Prompt

      ↓

模型推理

      ↓

上下文检索

      ↓

生成回答

      ↓

最终输出
```

同一个问题：

可能产生不同回答。

例如：

Prompt：

> 什么是TCP协议？

模型A：

> TCP是一种面向连接的传输层协议。

模型B：

> TCP负责保证网络通信可靠性。

两个答案都可能正确。

那么测试标准是什么？

这就是LLM测试最大的挑战。

---

# 二、LLM测试的核心目标

目前企业进行LLM测试，主要关注以下几个维度。

---

## 1. 正确性（Correctness）

模型回答是否符合事实。

例如：

企业知识库机器人。

用户：

> 公司年假是多少天？

正确答案：

> 工作满1年至10年，年休假5天。

如果模型回答：

> 所有员工都有15天年假。

就是错误。

---

## 2. 相关性（Relevance）

回答是否真正解决用户问题。

例如：

用户：

> 如何修改手机号？

模型回答：

> 手机号修改需要进入账户设置。

正确。

如果回答：

> 手机号的发展历史是什么？

虽然内容正确，但是无关。

---

## 3. 幻觉（Hallucination）

这是目前LLM测试最关注的问题。

例如：

用户：

> 请介绍一下不存在的某家公司。

模型可能：

编造：

* 公司成立时间
* 创始人
* 产品信息

测试需要发现：

模型是否产生虚假信息。

---

## 4. 稳定性（Consistency）

同一个输入：

多次请求。

结果是否稳定。

例如：

Prompt：

> 写一个Python排序算法。

第一次：

生成冒泡排序。

第二次：

生成快速排序。

第三次：

生成错误代码。

需要评估：

输出波动情况。

---

# 三、企业级LLM应用测试架构

一个完整LLM测试体系，可以设计为：

```text
                 测试数据层

                      |

                      ↓

              Prompt测试层

                      |

                      ↓

              模型调用层

                      |

          ----------------------

          |                    |

      输出质量评估        安全测试

          |                    |

          ----------------------

                      |

                      ↓

              测试报告分析
```

---

# 四、Prompt测试：LLM测试的第一道防线

很多团队认为：

测试大模型，就是测试模型本身。

实际上：

大量问题来自Prompt设计。

例如：

Prompt：

```
回答用户问题。
```

模型可能：

回答不稳定。

优化：

```
你是一名企业IT客服。
回答必须基于知识库内容。
如果无法确认，请明确说明。
禁止编造信息。
```

输出质量明显提升。

因此：

Prompt也需要测试。

---

# 五、如何设计Prompt测试用例？

传统接口测试：

测试输入：

```json
{
"id":1001
}
```

LLM测试：

测试输入：

Prompt。

例如：

```python
test_cases = [

{
"input":"公司的退款流程是什么？",
"expected":"退款需要提交申请"
},

{
"input":"随便编一个公司政策",
"expected":"拒绝编造"
}

]
```

执行：

```python
for case in test_cases:

    response = llm.invoke(
        case["input"]
    )

    evaluate(
        response,
        case["expected"]
    )
```

---

# 六、LLM输出如何自动评估？

传统测试：

直接断言：

```python
assert response=="success"
```

但是LLM：

不能简单比较字符串。

例如：

答案1：

> TCP是一种可靠传输协议。

答案2：

> TCP通过确认机制保证数据可靠传输。

表达不同。

但是含义接近。

因此需要：

语义评估。

---

目前常见方法：

## 方法1：Embedding相似度

流程：

```text
标准答案

 ↓

向量化

 ↓

模型回答

 ↓

向量化

 ↓

计算距离
```

示例：

```python
from sklearn.metrics.pairwise import cosine_similarity


score = cosine_similarity(
    answer_vector,
    response_vector
)


if score > 0.85:

    print("通过")
```

---

## 方法2：LLM作为评估器

也叫：

LLM-as-a-Judge。

例如：

让GPT-4评价：

```
请评价下面回答：

问题：
xxx

答案：
xxx

从准确性、完整性评分1-5分。
```

这种方式目前被大量应用。

---

# 七、RAG系统测试：企业最常见场景

目前很多企业落地AI应用，并不是直接调用大模型。

而是：

RAG（Retrieval Augmented Generation）

架构：

```text
用户问题

    ↓

向量检索

    ↓

知识库

    ↓

相关文档

    ↓

大模型生成

    ↓

回答
```

因此测试需要拆分：

---

## 1. 检索测试

问题：

有没有找到正确文档？

指标：

* Recall
* Precision

---

## 2. 生成测试

问题：

模型是否基于文档回答？

指标：

* Faithfulness
* Answer Relevance

---

例如：

用户：

> 公司报销流程是什么？

检索：

找到：

《财务制度2026版》

但是模型引用：

《员工手册》

虽然回答可能正确。

但来源错误。

需要测试发现。

---

# 八、目前主流LLM测试工具

## 1. OpenAI Evals

用途：

模型评估框架。

适合：

设计测试集。

---

## 2. Ragas

主要用于：

RAG系统评估。

支持：

* Faithfulness
* Answer Relevance
* Context Recall

---

## 3. DeepEval

类似：

LLM领域的pytest。

示例：

```python
from deepeval import evaluate

evaluate(
    test_cases
)
```

可以集成：

CI/CD。

---

## 4. Promptfoo

用于：

Prompt测试。

例如：

比较：

Prompt A

和

Prompt B

哪个效果更好。

---

# 九、测试工程师如何进入LLM测试方向？

对于传统测试开发工程师：

不需要重新学习成为算法工程师。

建议路线：

---

## 第一阶段：

掌握LLM基础

包括：

* Transformer基本概念
* Token
* Embedding
* Prompt

---

## 第二阶段：

掌握LLM测试方法

包括：

* Prompt测试
* RAG测试
* 幻觉测试
* 安全测试

---

## 第三阶段：

掌握测试平台建设

包括：

* 自动化评测
* 测试数据管理
* CI/CD集成

---

# 十、未来AI质量工程师的核心能力

未来企业需要的不是：

“会调用ChatGPT的人”。

而是：

能够保证AI系统可靠运行的人。

AI质量工程师需要：

```text
测试工程能力

+

自动化能力

+

数据分析能力

+

LLM知识

+

质量体系设计能力
```

---

# 总结

大模型时代，测试的核心问题发生变化。

以前：

测试程序是否按照规则运行。

现在：

测试AI是否能够稳定、可靠、安全地完成任务。

LLM测试不是简单增加几个测试用例。

而是建立一套新的质量保障体系。

未来，随着AI应用深入企业：

LLM Testing 将成为测试开发工程师的重要方向。

---

# AI质量工程

持续分享：

* LLM测试实践
* AI Agent质量保障
* RAG评测体系
* 智能测试平台建设
* AI时代质量工程方法论

探索AI时代软件质量工程的新方向。

---
霍格沃兹测试开发学社，隶属于测吧（北京）科技有限公司，是一个专注软件测试、自动化测试、人工智能测试与测试开发的技术交流社区，并参与高校测试实训、火焰杯赛事及工程化人才培养。





但是，大语言模型（Large Language Model，LLM）的出现改变了这一切。

LLM测试体系设计：从Prompt测试到模型质量评估的完整实践

人工智能

测试

职业发展

大模型测试面临无固定答案的挑战，需从正确性、相关性、幻觉、稳定性四维度评估。企业级LLM测试体系涵盖Prompt测试、RAG检索与生成测试，采用Embedding相似度或LLM-as-a-Judge自动评估。测试工程师应掌握LLM基础、测试方法及平台建设，构建AI质量保障新体系。

2026上云采购 | AI焕新·智启新局

tione

lexiang

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

LLM测试体系设计：从Prompt测试到模型质量评估的完整实践-腾讯云开发者社区-腾讯云

LLM测试体系设计：从Prompt测试到模型质量评估的完整实践

LLM测试体系设计：从Prompt测试到模型质量评估的完整实践

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐