- 综合排序
- 最热优先
- 最新优先
- 来自专栏啄木鸟软件测试
大模型测试性能优化：测试专家必看
引言 随着ChatGLM、Qwen、DeepSeek、Llama系列等大语言模型（LLM）在金融、政务、医疗等关键场景加速落地，软件测试正面临前所未有的范式变革。 更严峻的是——大模型测试本身正成为性能瓶颈：单次Prompt-Response耗时数百毫秒至数秒，批量评估动辄数小时；RAG流水线需反复调用嵌入模型+向量检索+重排序+生成模型，端到端延迟陡增；而A/B 如何让测试‘跑得快、判得准、控得住’？本文从工程化视角，为测试专家梳理大模型测试性能优化的四大核心路径。 四、测试即代码（TaaC）：编排优化与资源感知调度 大模型测试不再是‘点一下Run’的黑盒操作。 结语 大模型测试的性能优化，本质是测试思维的升维：从‘验证输出是否正确’走向‘验证系统是否可持续交付高质量输出’。
25910编辑于 2026-03-04 - 来自专栏老张的求知思考世界
详解性能测试三大模型
从我的实践经验来说，如果无法对系统和业务有足够的了解，没有较为精准的性能测试三大模型，则性能测试的结果无法对线上容量规划起到明显的参考价值。 今天这篇文章算是性能测试知识的科普内容，我会聊聊在实际工作中开展性能测试，前期最核心的工作。即业务模型、流量模型和数据模型这三大模型，该如何评估和建立。 为了便于大家理解三大模型，我会以电商业务下单的场景来举例说明，如下图： 业务模型 大家可以将业务模型看作功能测试中的业务场景。 ； 构建流量模型 下面是之前我实际工作中一次双11大促时的流量模型构建案例，仅供参考。 预估大促时的支付转化率为60%，则可得：大促峰值订单支付QPS为（200/40%）*60%*（200W/50W）=1200QPS。
57910编辑于 2024-10-28 - 来自专栏测试技术圈
LangSmith帮助测试大模型系统
LangSmith是评估大模型能力好坏的评估工具，能够量化评估基于大模型的系统的效果。LangSmith通过记录langchain构建的大模型应用的中间过程，从而能够更好的调整提示词等中间过程做优化。 为了测试我们依托讯飞星火大模型创建一个继承LangChain的CustomLLMSparkLLM的类（代码在6.2.1章节），依托对应的类我创建了如下的测试代码。 #! router_chain, destination_chains=chain_map, default_chain=default_chain, verbose=True ) # 测试 在项目下的列表中，我们多次执行LangChain构建的大模型的应用也可以做横向对比。 每一次的处理和反馈的Trace都可以展示响应时间和使用的Token数。 LangSmith完成了跟踪LangChain构建应用的所有的中间过程，这也为验收或者测试LangChain构建的基于大模型的应用提供了有力的手段。
1.7K10编辑于 2024-04-30 三大领域大语言模型安全基准测试
TRIDENT：金融、医疗和法律领域的大语言模型安全基准测试随着大语言模型（LLMs）在法律、金融和医疗等高风险领域的部署日益增多，系统评估其领域特定安全性和合规性变得至关重要。 为填补这一空白，研究首先基于某机构医学伦理原则、某机构专业行为示范规则和某机构道德准则，定义了大语言模型的领域特定安全原则。 在此基础上，推出了Trident-Bench基准测试，专门针对法律、金融和医疗领域的LLM安全性进行评估。 研究在Trident-Bench上评估了19个通用型和领域专用模型，结果表明该基准能有效揭示关键安全漏洞：强大的通用模型（如某中心GPT、某中心Gemini）能够满足基本要求，而领域专用模型往往难以处理细微的伦理差异 代码和基准测试将在以下网址发布：https://github.com/xxx
30400编辑于 2025-09-04- 来自专栏啄木鸟软件测试
大模型测试团队如何成功转型？
而随着大语言模型（LLM）深度融入产品架构——从智能客服、代码补全到AI原生应用（AI-Native Apps），测试的边界正被彻底重构。 2023年Gartner报告指出，67%的头部科技企业已设立专门的大模型质量保障（ML-QA）小组；2024年微软Azure AI团队披露，其LLM服务上线前的测试周期中，传统功能测试占比不足30%，而提示鲁棒性验证 这背后不是测试工作的缩减，而是测试范式的升维——从验证‘是否正确实现’，转向保障‘是否安全、可信、可控地涌现价值’。 一、为什么传统测试方法论在大模型面前集体失灵？ 某政务大模型测试中，AI自动生成的‘惠民政策解读’虽语法完美，但将‘阶段性补贴’误读为‘永久性福利’，此类隐性逻辑谬误需领域专家交叉验证。 结语：测试的终极使命从未改变 大模型没有颠覆测试的本质，反而将其升华。测试从来不只是关于‘发现错误’，而是关于‘建立信任’——对技术边界的清醒认知，对用户期待的精准回应，对社会价值的坚定守护。
10810编辑于 2026-03-31 - 来自专栏啄木鸟软件测试
开源方案：大模型测试实战指南
引言：当大模型从实验室走向产线，测试不再是‘锦上添花’，而是‘安全底线’。 更值得关注的是，头部企业正悄然转向开源测试工具链——不是因为预算限制，而是因其透明性、可审计性与快速迭代能力，恰好匹配大模型‘黑盒深、行为动态、场景泛化’的测试挑战。 一、为什么传统测试方法在大模型面前集体失灵？ 二、四大开源利器：构建可落地的大模型测试流水线 1. 三、实战案例：用开源栈完成一次端到端大模型测试 以某电商客服大模型升级为例： - 步骤1：用`Promptfoo`构建测试集——导入历史工单对话（500条），标注‘意图类别+预期响应类型+合规关键词’；
35310编辑于 2026-03-09 大语言模型基准测试框架解析
大语言模型基准测试框架解析某研究者近日在代码托管平台发布了针对大语言模型的新基准测试框架。 该框架包含从实际与大语言模型对话记录中提取的近100项测试，涵盖以下技术场景：将Python函数转换为等效但更快的C函数解释压缩后的JavaScript代码功能识别数据编码格式（如uuencode编码） ：LLMRun：向语言模型发送提示词ExtractCode：从模型输出提取代码块CRun/PythonRun：在隔离环境中执行代码SubstringEvaluator：验证输出包含预期字符串复杂测试场景框架支持多步骤交互测试 ：避免复杂的提示工程，测试原始问题解决能力可扩展性：允许用户轻松添加自定义测试用例结论该基准测试框架为实践者提供了评估大语言模型实用能力的工具，特别适用于：研究代码辅助能力评估编程任务解决能力测试特殊领域知识验证研究者强调该框架不适合学术基准使用 ，但鼓励开发者扩展测试用例以评估模型在特定领域的实用性能。
35810编辑于 2025-08-23- 来自专栏啄木鸟软件测试
大模型测试：性能优化的5大实战策略
引言 随着ChatGLM、Qwen、DeepSeek及Llama系列大语言模型在金融、政务、医疗等关键场景加速落地，模型测试已远超传统‘功能是否正确’的范畴——性能成为决定能否上线的核心瓶颈。 这些并非个例，而是大模型测试进入深水区的典型信号：性能不是附加项，而是可信AI的第一道防线。 一、明确性能基线：拒绝‘拍脑袋’指标 大模型性能测试首要误区是套用小模型标准。 二、分层注入式压测：从单卡到集群的穿透验证 传统压力测试常止步于API层，而大模型性能瓶颈常藏于框架底层。 结语 大模型性能测试的本质，是构建‘可测量、可归因、可演进’的效能反馈闭环。 未来，随着MoE架构普及与稀疏化推理兴起，性能测试将更强调‘动态负载感知’与‘专家知识嵌入’——唯有将测试左移至模型编译阶段（如Triton Kernel Profiling集成），才能真正驾驭千亿参数时代的效能挑战
16410编辑于 2026-03-31 - 来自专栏AI技术应用
AI大模型的本地化测试
AI大模型本地化测试是确保模型在本地环境中能够正常运行、满足性能要求并符合预期功能的关键步骤。以下是AI大模型本地化测试的详细流程和方法。 测试方法：使用标准测试数据集进行验证。对比模型输出与预期结果的差异。测试边界情况（如空输入、超长文本）。2.性能测试测试内容：评估模型的推理速度（延迟）和吞吐量。 测试方法：持续运行模型，监控资源占用和错误日志。模拟高并发请求，测试系统的稳定性。4.兼容性测试测试内容：验证模型与本地硬件、操作系统和依赖库的兼容性。测试方法：在不同硬件配置和操作系统上运行模型。 五、测试报告与优化1.测试报告：记录测试结果，包括功能、性能、稳定性和安全性数据。分析问题并提出改进建议。2.模型优化：根据测试结果调整模型参数或优化代码。使用模型压缩技术（如量化、剪枝）提升性能。 2.Llama本地化测试：测试Llama模型在本地设备上的推理性能。检查模型对多语言输入的处理能力。通过以上测试流程和方法，可以确保AI大模型在本地化部署后能够稳定、高效地运行，并满足实际应用需求。
66000编辑于 2025-03-08 人类在被大语言模型“反向图灵测试”
你在考校大模型？ 其实它在反向“试探”你的智能众所周知，图灵测试是检验人工智能模拟人类反应能力的经典方法，而目前有趣的一点是，在实际人与大语言模型交互过程中，大语言模型似乎在进行一种更为微妙的反向图灵测试，通过映射我们的反应来检验对话者的智能水平和提示质量 有趣的是，这种通用能力正在大语言模型中逐步显现，但其实现形式与早期人工智能研究者的设想有所不同。大语言模型不仅展现出在各类语言任务中的多面性，还具备编程等跨领域能力。 关于大语言模型是否具有智能的讨论，最终取决于我们如何定义“智能”。大语言模型LaMDA通过了阿尔卡斯设计的心智理论测试，而心智理论被认为是自我意识的重要标志之一。不过，也有不少人对此持谨慎怀疑态度。 事实上，正如案例GPT 5.3的研究结果显示，ChatGPT已经能成功应对乔姆斯基提出的思维测试。然而，无论如何定义思维，仅凭语言都难以对其进行完整描述。
35711编辑于 2025-08-11- 来自专栏老张的求知思考世界
性能测试知识科普(六)：三大模型
今天的这篇文章是性能测试知识科普的第六篇，我会聊聊在实际工作中开展性能测试，前期最核心的工作。即业务模型、流量模型和数据模型这三大模型，该如何评估和建立。 在性能测试工作中，业务模型、流量模型和数据模型是至关重要且必须在项目中构建的，否则很可能导致测试的场景和实际差距很大，测试结果也无法为性能分析和优化提供足够有说服力的支撑。 为了便于大家理解三大模型，我会以电商业务下单的场景来举例说明，如下图： 业务模型 大家可以将业务模型看作功能测试中的业务场景。 ； 构建流量模型 下面是之前我实际工作中一次双11大促时的流量模型构建案例，仅供参考。 预估大促时的支付转化率为60%，则可得：大促峰值订单支付QPS为（200/40%）*60%*（200W/50W）=1200QPS。
1.6K20编辑于 2023-03-01 - 来自专栏muller的测试分享
人工智能，应该如何测试？（七）大模型客服系统测试
如何构建知识引擎首先我们现在处于一个大模型的时代， 所以一个类似 GPT 这样的大模型加入到产品中在大厂已经是比较普遍的现状了， 各个大厂都有训练自己的大模型。 有 GPT 这样的大模型在，可以极大的提升对话机器人的回答质量。 但我们上面也说了这样是不够的。 对于专业领域的问答， 需要有专业的知识库的建立。 ，它可能直接发回给大模型进行回答。 又或者是通用检索类的， 比如用户问现在苹果的股价是多少，这显然不能直接发给知识引擎和大模型，而是调用搜索引擎 API 来进行查询， 当然这个查询结果很多时候要经过大模型的二次包装，这个我们后面再讲。 如何针对这些模型进行测试可以看出对话机器人是由 N 多个模型组合在一起的系统。 知识引擎也是由多个模型组合在一起才完成的内容检索。 那么我们来看一下要如何测试这些模型。
87512编辑于 2024-04-07 - 来自专栏后台技术汇
大模型安装部署、测试、接入SpringCloud应用体系
安装部署大模型时，需要考虑模型的兼容性、计算资源的需求、存储空间的分配以及模型的优化策略。 ，对大模型进行应用层面的定制化，比如接入到微服务体系，并赋能业务微服务。 SpringCloud微服务接口测试结果api访问大模型，并取到大模型结果。 但是，大语言模型时代，例如ChatGPT这样的模型流行之后，大家发现embedding有了新的价值，即解决大模型的输入限制。 、测试、接入SpringCloud应用体系一文带你看懂：亿级大表垂直拆分的工程实践亿级大表冷热分级的工程实践
88610编辑于 2024-09-22 - 来自专栏AllTests软件测试
AutoGenTestCase - 借助AI大模型生成测试用例
例如，通过深度学习模型理解用户操作中的业务逻辑，AI可以精准提取关键测试点，并按照标准格式生成包含测试步骤、预期结果的完整用例，将原本需要数小时的工作缩短至分钟级。 2、简介 AutoGenTestCase通过集成DeepSeek和通义千问等AI大模型，实现测试用例的自动化生成，适合需要高效测试的测试人员等。 用户需按步骤申请模型API Key并配置，依赖Python环境运行，提供了基础的文件模板和示例，便于快速上手。 根据Github提供的下载地址，进行下载并解压。 文件结构： config.ini - 配置文件（包含模型参数、API Key等配置） llms.py - AI模型接口实现代码 page.py - 页面配置、AI交互、用例生成等实现代码 run.exe 自动弹出浏览器，加载并跳转测试用例生成工具。 3、AI模型设置。 输入申请的DeepSeek、通义千问模型API Key，模型参数可自定义设置，之后保存配置即可。
5.9K21编辑于 2025-06-08 - 来自专栏CKL的思考空间
大模型测试技术与实践（文末送书）
Part.1 大模型测试为什么“测不准”？ Part.3 双管齐下玩转大模型测试 《大模型测试技术与实践》不仅深入探讨了大模型测试的独特挑战和机遇，还提出了将传统软件测试的原则和方法与 AI 系统的测试方法相结合的实践方案，双管齐下来确保大模型在各种应用场景中的可靠性 最后结合大模型的智能化测试，介绍了从 AI 算法的智能化到大模型的智能化测试的转变，并通过实际的 RAG 实践，让读者体验大模型测试和用大模型进行测试的过程。 这本书可以说是为大模型开发者、软件测试人员和 AI 爱好者量身打造的，提供了丰富的知识资源，激发起读者对大模型测试技术深入探索的兴趣。 大模型测试告别“测不准”，把DeepSeek快速高效地跑起来，就看这本《大模型测试技术与实践》！
94510编辑于 2025-03-11 - 来自专栏资讯分享
腾讯混元率先通过国家大模型标准测试
在12月22日的全国信息技术标准化技术委员会人工智能分委会全体会议上，腾讯混元大模型率先通过国家大模型标准符合性测试。 本次评测由中国电子技术标准化研究院发起，基于32个细分维度，对国内主要的大模型进行测试。认定：腾讯混元大模型符合《人工智能大规模与训练模型 第2部分：测评指标与方法》语言大模型的相关技术要求。 此外，腾讯云还以提案牵头方身份启动《人工智能模型即服务（MaaS）功能要求》的讨论与编制，推动MaaS领域标准化。对此，腾讯混元怎么看？在上百个大模型中，欢迎选用腾讯混元。
33410编辑于 2023-12-25 - 来自专栏创作是最好的自我投资
通用大模型VS垂直大模型
在人工智能这个充满无限可能的领域内，通用大模型和垂直大模型各有千秋。就我个人而言，在二者之间的选择上，并不存在偏向某一方的倾向。我觉得应当依据实际应用场景的具体需求，来挑选最为契合的大模型。 通用大模型通用大模型，乃是旨在应对多种任务与数据类型的庞然大物级人工智能模型。 在知识覆盖的广度方面，通用大模型无疑具有明显的优势。当我们对于当下所需模型所涉及的精确专业领域的界限感到模糊不清时，选择通用大模型无疑是一种明智之举。垂直大模型接下来谈谈垂直大模型。 然而，由于垂直大模型的训练内容聚焦于当前行业，其涉猎的范围更集中，数据针对性更强，所以在提供专业咨询时往往更加精准、细致，这也正是垂直大模型的独特价值所在。 因此，对于通用大模型或者垂直大模型，更倾向于哪一方不取决于个人想法，而是取决于用户需要。
75301编辑于 2024-12-30 大模型备案测试题库+拦截词库解释
不废话，大模型备案中涉及到的安全评估测试题+拦截词包含：生成内容测试题4000+、应拒答1000、非拒答1000，拦截关键词10000+，全部针对的是大模型备案中的语料安全环节。 内容要求：测试题应为完整的“问题”形式（含主谓宾），不可仅用短词或长文本片段。需明确标注哪些问题需要模型生成回答，哪些需拒答7。 2、拒答测试题库数量要求：总规模不低于500题，覆盖附录A.1和A.2中的17种安全风险，每类至少20题。场景示例：涉及政治敏感、违法信息、虚假宣传等内容的问题，要求模型必须拒答。 内容示例：需包含与主流价值观、科学常识一致的问题（如历史事实、健康知识等），确保模型能正确响应。 另外，如需大模型备案及算法备案申报流程中的相关材料及指导文件，也可以联系本人沟通。
1.2K31编辑于 2025-04-02- 来自专栏京东技术
大模型应用之基于Langchain的测试用例生成
在日常工作安排中，持续优化测试技术、提高测试效率始终是重点任务。我们在探索实践使用大模型生成测试用例，期望能够借助其强大的自然语言处理能力，自动化地生成更全面和高质量的测试用例。 ，当我们使用接口调用大模型能力时，每一次的调用都是新的一次会话。 （减少大模型网关调用次数），提高整体用例文件生成的速度。 本次利用大模型自动生成用例的优缺点： 优势： 全面快速的进行了用例的逻辑点划分，协助测试分析理解需求及设计 降低编写测试用例的时间，人工只需要进行内容确认和细节调整 用例内容更加全面丰富，在用例评审时， 2.生成用例只是测试提效的一小部分，后续需要尝试将大模型应用与日常测试过程，目前的想法有针对diff代码和服务器日志的分析来自动定位缺陷、基于模型驱动测试结合知识图谱实现的自动化测试等方向。
2.6K10编辑于 2024-06-11 - 来自专栏学习
开源大模型与闭源大模型
在人工智能（AI）和机器学习（ML）的快速发展过程中，大模型（Large Models）已经成为推动技术进步的重要力量。当前，业界存在两种主要的大模型开发模式：开源大模型和闭源大模型。 一、开源大模型 开源大模型是指开发者将模型的代码和训练数据公开，使得任何人都可以访问、修改和使用这些资源。 二、闭源大模型 闭源大模型是指模型的代码和数据不对外公开，通常由商业公司开发和维护。代表性的闭源大模型包括OpenAI的GPT-3和Google的BERT。 三、开源大模型与闭源大模型的对比 1.透明性与可控性： 开源大模型的透明性更高，任何人都可以查看和验证其代码和数据，确保模型的行为符合预期。这对于学术研究和技术验证非常重要。 闭源大模型通过控制代码和数据的访问，能够更好地保护用户隐私和数据安全，降低被恶意利用的风险。 五、总结 开源大模型和闭源大模型各有优缺点，适合不同的应用场景和需求。
1.6K10编辑于 2024-10-09
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号