- 综合排序
- 最热优先
- 最新优先
- 来自专栏啄木鸟软件测试
大模型测试：性能优化的5大实战策略
引言 随着ChatGLM、Qwen、DeepSeek及Llama系列大语言模型在金融、政务、医疗等关键场景加速落地，模型测试已远超传统‘功能是否正确’的范畴——性能成为决定能否上线的核心瓶颈。 这些并非个例，而是大模型测试进入深水区的典型信号：性能不是附加项，而是可信AI的第一道防线。 一、明确性能基线：拒绝‘拍脑袋’指标 大模型性能测试首要误区是套用小模型标准。 二、分层注入式压测：从单卡到集群的穿透验证 传统压力测试常止步于API层，而大模型性能瓶颈常藏于框架底层。 推荐采用‘四层注入法’： 1）API层：模拟真实用户请求分布（如80%短提示+15%中长提示+5%对抗性长上下文），避免均匀负载失真； 2）Engine层：直连vLLM/Triton推理引擎，注入不同 结语 大模型性能测试的本质，是构建‘可测量、可归因、可演进’的效能反馈闭环。
19110编辑于 2026-03-31 - 来自专栏啄木鸟软件测试
大模型测试性能优化：测试专家必看
引言 随着ChatGLM、Qwen、DeepSeek、Llama系列等大语言模型（LLM）在金融、政务、医疗等关键场景加速落地，软件测试正面临前所未有的范式变革。 更严峻的是——大模型测试本身正成为性能瓶颈：单次Prompt-Response耗时数百毫秒至数秒，批量评估动辄数小时；RAG流水线需反复调用嵌入模型+向量检索+重排序+生成模型，端到端延迟陡增；而A/B 如何让测试‘跑得快、判得准、控得住’？本文从工程化视角，为测试专家梳理大模型测试性能优化的四大核心路径。 四、测试即代码（TaaC）：编排优化与资源感知调度 大模型测试不再是‘点一下Run’的黑盒操作。 结语 大模型测试的性能优化，本质是测试思维的升维：从‘验证输出是否正确’走向‘验证系统是否可持续交付高质量输出’。
26810编辑于 2026-03-04 - 来自专栏测试技术圈
LangSmith帮助测试大模型系统
LangSmith是评估大模型能力好坏的评估工具，能够量化评估基于大模型的系统的效果。LangSmith通过记录langchain构建的大模型应用的中间过程，从而能够更好的调整提示词等中间过程做优化。 为了测试我们依托讯飞星火大模型创建一个继承LangChain的CustomLLMSparkLLM的类（代码在6.2.1章节），依托对应的类我创建了如下的测试代码。 #! router_chain, destination_chains=chain_map, default_chain=default_chain, verbose=True ) # 测试 在项目下的列表中，我们多次执行LangChain构建的大模型的应用也可以做横向对比。 每一次的处理和反馈的Trace都可以展示响应时间和使用的Token数。 LangSmith完成了跟踪LangChain构建应用的所有的中间过程，这也为验收或者测试LangChain构建的基于大模型的应用提供了有力的手段。
1.8K10编辑于 2024-04-30 5种大模型Agent模式
大模型中的5种AI Agent模式在大模型中，AI Agent（人工智能代理）模式是一种重要的应用方式，可以从以下几个方面来理解：1. 在大模型的背景下，AI Agent 是基于大规模预训练模型（如 GPT 等）构建的智能代理，能够利用模型的语言理解和生成能力来完成复杂的任务。 智能性：它基于大模型的强大语言理解能力，能够理解自然语言指令，并生成自然语言响应。这种智能性使其能够处理复杂的语言任务，如对话、写作、翻译等。 工作原理感知与理解：AI Agent 首先通过输入（如用户指令、环境数据等）感知外部信息，然后利用大模型的语言理解能力解析这些信息，确定任务目标。 下面介绍5种常见的AI Agent模式：1.
4.1K10编辑于 2025-05-07- 来自专栏老张的求知思考世界
详解性能测试三大模型
从我的实践经验来说，如果无法对系统和业务有足够的了解，没有较为精准的性能测试三大模型，则性能测试的结果无法对线上容量规划起到明显的参考价值。 今天这篇文章算是性能测试知识的科普内容，我会聊聊在实际工作中开展性能测试，前期最核心的工作。即业务模型、流量模型和数据模型这三大模型，该如何评估和建立。 为了便于大家理解三大模型，我会以电商业务下单的场景来举例说明，如下图： 业务模型 大家可以将业务模型看作功能测试中的业务场景。 ； 构建流量模型 下面是之前我实际工作中一次双11大促时的流量模型构建案例，仅供参考。 预估大促时的支付转化率为60%，则可得：大促峰值订单支付QPS为（200/40%）*60%*（200W/50W）=1200QPS。
59110编辑于 2024-10-28 三大领域大语言模型安全基准测试
TRIDENT：金融、医疗和法律领域的大语言模型安全基准测试随着大语言模型（LLMs）在法律、金融和医疗等高风险领域的部署日益增多，系统评估其领域特定安全性和合规性变得至关重要。 为填补这一空白，研究首先基于某机构医学伦理原则、某机构专业行为示范规则和某机构道德准则，定义了大语言模型的领域特定安全原则。 在此基础上，推出了Trident-Bench基准测试，专门针对法律、金融和医疗领域的LLM安全性进行评估。 研究在Trident-Bench上评估了19个通用型和领域专用模型，结果表明该基准能有效揭示关键安全漏洞：强大的通用模型（如某中心GPT、某中心Gemini）能够满足基本要求，而领域专用模型往往难以处理细微的伦理差异 代码和基准测试将在以下网址发布：https://github.com/xxx
31100编辑于 2025-09-04大语言模型基准测试框架解析
大语言模型基准测试框架解析某研究者近日在代码托管平台发布了针对大语言模型的新基准测试框架。 该框架包含从实际与大语言模型对话记录中提取的近100项测试，涵盖以下技术场景：将Python函数转换为等效但更快的C函数解释压缩后的JavaScript代码功能识别数据编码格式（如uuencode编码） ：LLMRun：向语言模型发送提示词ExtractCode：从模型输出提取代码块CRun/PythonRun：在隔离环境中执行代码SubstringEvaluator：验证输出包含预期字符串复杂测试场景框架支持多步骤交互测试 ：避免复杂的提示工程，测试原始问题解决能力可扩展性：允许用户轻松添加自定义测试用例结论该基准测试框架为实践者提供了评估大语言模型实用能力的工具，特别适用于：研究代码辅助能力评估编程任务解决能力测试特殊领域知识验证研究者强调该框架不适合学术基准使用 ，但鼓励开发者扩展测试用例以评估模型在特定领域的实用性能。
36310编辑于 2025-08-23- 来自专栏啄木鸟软件测试
开源方案：大模型测试实战指南
引言：当大模型从实验室走向产线，测试不再是‘锦上添花’，而是‘安全底线’。 一、为什么传统测试方法在大模型面前集体失灵？ 二、四大开源利器：构建可落地的大模型测试流水线 1. 三、实战案例：用开源栈完成一次端到端大模型测试 以某电商客服大模型升级为例： - 步骤1：用`Promptfoo`构建测试集——导入历史工单对话（500条），标注‘意图类别+预期响应类型+合规关键词’； 建议建立‘AI初筛+专家抽检’双轨机制，抽检率不低于5%。 结语：开源大模型测试不是‘省钱替代方案’，而是通向可信赖AI的必经之路。
37710编辑于 2026-03-09 - 来自专栏啄木鸟软件测试
大模型测试团队如何成功转型？
而随着大语言模型（LLM）深度融入产品架构——从智能客服、代码补全到AI原生应用（AI-Native Apps），测试的边界正被彻底重构。 2023年Gartner报告指出，67%的头部科技企业已设立专门的大模型质量保障（ML-QA）小组；2024年微软Azure AI团队披露，其LLM服务上线前的测试周期中，传统功能测试占比不足30%，而提示鲁棒性验证 这背后不是测试工作的缩减，而是测试范式的升维——从验证‘是否正确实现’，转向保障‘是否安全、可信、可控地涌现价值’。 一、为什么传统测试方法论在大模型面前集体失灵？ 某政务大模型测试中，AI自动生成的‘惠民政策解读’虽语法完美，但将‘阶段性补贴’误读为‘永久性福利’，此类隐性逻辑谬误需领域专家交叉验证。 结语：测试的终极使命从未改变 大模型没有颠覆测试的本质，反而将其升华。测试从来不只是关于‘发现错误’，而是关于‘建立信任’——对技术边界的清醒认知，对用户期待的精准回应，对社会价值的坚定守护。
12810编辑于 2026-03-31 - 来自专栏OpenMMLab
新增5种编程语言代码测试！大模型评测平台OpenCompass上新啦
大语言模型（LLM）在理解和生成自然语言文本方面已经取得了显著的进步。 随着应用场景的逐渐多样化，利用模型快速写出高质量代码，修复代码 Bug，提升开发效率等需求对大语言模型编程代码的能力提出了新的挑战。 学术社区在代码大模型上发展迅速，如 Code LLaMa，WizardCoder 等在社区获得了广泛关注。那我们该如何进行代码大模型的选型？ 相信通过全面透明的代码能力评测，你一定可以找到最适合自己需求的代码大模型方案。 ，它要求模型生成的代码不仅需要在语法上正确，还需要在功能上满足描述文档中的需求，并能通过所有的测试样例。
2.3K20编辑于 2023-09-11 【大模型微调】一文掌握5种大模型微调的方法
（Prompt Tuning）在内的5种主流方法。 大模型微调究竟是什么？直观上，大模型微调即是指通过输入特定领域或任务的数据，并有选择性地调整模型参数的技术过程。 我们所讨论的5种微调方法，本质上都是对这个基础架构中自注意力机制与前馈神经网络等核心组件的参数进行优化的不同策略。 5、提示调整-轻量级的参数优化提示调整（Prompt Tuning）是一种“润物细无声”的微调，不改变模型自身，而是通过优化输入提示词的嵌入表示来引导模型输出。 四、大模型微调赋能智能未来综上所述，大模型微调是连接通用基座模型强大能力与具体业务需求的关键桥梁。
3.5K40编辑于 2025-10-23- 来自专栏张俊红
5 大常用机器学习模型类型总结
本文介绍了 5 大常用机器学习模型类型：集合学习算法，解释型算法，聚类算法，降维算法，相似性算法，并简要介绍了每种类型中最广泛使用的算法模型。我们希望本文可以做到以下三点： 1、应用性。 所以我们希望通过给出模型的一般类别，让你更好地了解这些模型应当如何应用。 2、相关性。 因此，与其创建模型来预测响应变量的值，不如创建解释性模型来帮助我们理解模型中变量之间的关系。 如果你不能解释一个模型是如何工作的，那么这个模型就很难取信于人，自然也就不会被人们应用。 参考链接： https://towardsdatascience.com/all-machine-learning-algorithms-you-should-know-in-2022-db5b4ccdf32f
3.5K20编辑于 2022-03-29 - 来自专栏AI技术应用
AI大模型的本地化测试
AI大模型本地化测试是确保模型在本地环境中能够正常运行、满足性能要求并符合预期功能的关键步骤。以下是AI大模型本地化测试的详细流程和方法。 测试方法：使用标准测试数据集进行验证。对比模型输出与预期结果的差异。测试边界情况（如空输入、超长文本）。2.性能测试测试内容：评估模型的推理速度（延迟）和吞吐量。 测试方法：持续运行模型，监控资源占用和错误日志。模拟高并发请求，测试系统的稳定性。4.兼容性测试测试内容：验证模型与本地硬件、操作系统和依赖库的兼容性。测试方法：在不同硬件配置和操作系统上运行模型。 5.安全性测试测试内容：检查模型是否存在安全漏洞（如对抗样本攻击）。验证数据隐私保护措施是否有效。测试方法：使用对抗样本测试模型的鲁棒性。检查数据传输和存储是否加密。 2.Llama本地化测试：测试Llama模型在本地设备上的推理性能。检查模型对多语言输入的处理能力。通过以上测试流程和方法，可以确保AI大模型在本地化部署后能够稳定、高效地运行，并满足实际应用需求。
67500编辑于 2025-03-08 人类在被大语言模型“反向图灵测试”
你在考校大模型？ 其实它在反向“试探”你的智能众所周知，图灵测试是检验人工智能模拟人类反应能力的经典方法，而目前有趣的一点是，在实际人与大语言模型交互过程中，大语言模型似乎在进行一种更为微妙的反向图灵测试，通过映射我们的反应来检验对话者的智能水平和提示质量 有趣的是，这种通用能力正在大语言模型中逐步显现，但其实现形式与早期人工智能研究者的设想有所不同。大语言模型不仅展现出在各类语言任务中的多面性，还具备编程等跨领域能力。 关于大语言模型是否具有智能的讨论，最终取决于我们如何定义“智能”。大语言模型LaMDA通过了阿尔卡斯设计的心智理论测试，而心智理论被认为是自我意识的重要标志之一。不过，也有不少人对此持谨慎怀疑态度。 事实上，正如案例GPT 5.3的研究结果显示，ChatGPT已经能成功应对乔姆斯基提出的思维测试。然而，无论如何定义思维，仅凭语言都难以对其进行完整描述。
36011编辑于 2025-08-11- 来自专栏老张的求知思考世界
性能测试知识科普(六)：三大模型
今天的这篇文章是性能测试知识科普的第六篇，我会聊聊在实际工作中开展性能测试，前期最核心的工作。即业务模型、流量模型和数据模型这三大模型，该如何评估和建立。 在性能测试工作中，业务模型、流量模型和数据模型是至关重要且必须在项目中构建的，否则很可能导致测试的场景和实际差距很大，测试结果也无法为性能分析和优化提供足够有说服力的支撑。 为了便于大家理解三大模型，我会以电商业务下单的场景来举例说明，如下图： 业务模型 大家可以将业务模型看作功能测试中的业务场景。 ； 构建流量模型 下面是之前我实际工作中一次双11大促时的流量模型构建案例，仅供参考。 预估大促时的支付转化率为60%，则可得：大促峰值订单支付QPS为（200/40%）*60%*（200W/50W）=1200QPS。
1.6K20编辑于 2023-03-01 - 来自专栏DeepHub IMBA
2024年5月大语言模型论文推荐：模型优化、缩放到推理、基准测试和增强性能
前一篇文章总结了关于计算机视觉方面的论文，这篇文章将要总结了2024年5月发表的一些最重要的大语言模型的论文。这些论文涵盖了塑造下一代语言模型的各种主题，从模型优化和缩放到推理、基准测试和增强性能。 大型语言模型(llm)发展迅速，跟上这些领域新颖的研究将有助于引导模型的持续进步，这些模型更有能力，更健壮，更符合人类价值观。 、标签和模型的关键意义。 https://arxiv.org/abs/2405.07518 5、Large Language Models as Planning Domain Generators 开发领域模型是人工智能规划中为数不多的需要人工劳动的领域之一 因此为了使规划更容易实现，需要将领域模型生成过程自动化。 论文研究了大型语言模型(llm)是否可以用于从简单的文本描述生成规划领域模型。
85410编辑于 2024-06-03 - 来自专栏强人工智能之路
5道推理题测试国产大模型与GPT差距
目前国产大模型可谓百花齐放，有些大模型甚至自称达到或者超过GPT3.5的水平，那实际情况究竟如何，我用5道推理题测试了GPT4、GPT3.5、 百度文心一言、讯飞星火大模型的表现，以下是测试过程。 360智脑：3次回答仍然错误 图片 问题五 5,5,5,1这4个数字，在中间添加四则运算符号（+-*/)和括号，在所有的可能方案中，找出一个方案，让计算结果等于24. GPT4: 正确 ? 360智脑：拒绝回答 图片 得分评估 模型 题1 题2 题3 题4 题5 总分 GPT4 10 10 9.5 10 10 49.5 GPT3.5 8 0 6.7 9.5 0 24.2 文心一言 10 8 5 0 10 33 讯飞星火 10 0 5 10 0 20 360智脑 0 0 1.6 0 0 1.6 总结 针对5道推理题测试比较，国产大模型推理能力已经和GPT3.5差不多，甚至文心一言还略有超过 一个月前我测试过这些问题，GPT和国产大模型都没有今天回答的好，说明它们还在迭代进化。 陆奇说世界上只有2个国产能做出大模型：美国、中国，我相信中国会做出对标GPT4的大模型。 ----
2.4K42编辑于 2023-07-18 - 来自专栏muller的测试分享
人工智能，应该如何测试？（七）大模型客服系统测试
如何构建知识引擎首先我们现在处于一个大模型的时代， 所以一个类似 GPT 这样的大模型加入到产品中在大厂已经是比较普遍的现状了， 各个大厂都有训练自己的大模型。 有 GPT 这样的大模型在，可以极大的提升对话机器人的回答质量。 但我们上面也说了这样是不够的。 对于专业领域的问答， 需要有专业的知识库的建立。 ，它可能直接发回给大模型进行回答。 那么根据模型假设我们需要提取 5 个问答：问题 1：乔治·奥威尔的原名是什么？ 答案 1：埃里克·阿瑟·布莱尔。问题 2：奥威尔的哪两部小说被认为是 20 世纪最重要的文学作品之一？ 问题 5：乔治·奥威尔生活在哪个时期？ 答案 5：1903-1950所以测试人员需要评估这个模型的效果。 其实就是要评估它生成的问题和答案的正确性。
89112编辑于 2024-04-07 - 来自专栏CKL的思考空间
大模型测试技术与实践（文末送书）
Part.1 大模型测试为什么“测不准”？ Part.3 双管齐下玩转大模型测试 《大模型测试技术与实践》不仅深入探讨了大模型测试的独特挑战和机遇，还提出了将传统软件测试的原则和方法与 AI 系统的测试方法相结合的实践方案，双管齐下来确保大模型在各种应用场景中的可靠性 最后结合大模型的智能化测试，介绍了从 AI 算法的智能化到大模型的智能化测试的转变，并通过实际的 RAG 实践，让读者体验大模型测试和用大模型进行测试的过程。 这本书可以说是为大模型开发者、软件测试人员和 AI 爱好者量身打造的，提供了丰富的知识资源，激发起读者对大模型测试技术深入探索的兴趣。 大模型测试告别“测不准”，把DeepSeek快速高效地跑起来，就看这本《大模型测试技术与实践》！
96310编辑于 2025-03-11 - 来自专栏有三AI
【模型解读】历数GAN的5大基本结构
如全卷积的DCGAN模型[1]，输入就是1*100的向量，然后经过一个全连接层学习，reshape到4*4*1024的张量，再经过4个上采样的反卷积网络，生成64*64的图。 5.1 级联结构[5] 早期以DCGAN为代表的网络生成的图片分辨率太低，质量不够好，都不超过100×100，在32×32或者64×64左右。 在图像分割中进行上采样时也采用学习小倍率的放大而不是大倍率的方法，如利用两个2倍上采样替换一个4倍的上采样，不仅可以增强网络的表达能力，还降低了学习难度。 5.2 并行与循环结构[6] GAN有一大应用就是风格化，实现两个域之间的风格互换，以CycleGAN[6]为典型代表。它包含了多个生成器和多个判别器。Cycle的典型结构如下： ? ? Triple Generative Adversarial Nets[J]. neural information processing systems, 2017: 4088-4098. [5] Denton
1.4K10发布于 2019-07-26
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号