- 综合排序
- 最热优先
- 最新优先
- 来自专栏啄木鸟软件测试
LLM测试实践：5个开源方案实战指南
传统软件测试方法（如单元测试、契约测试）难以直接迁移：LLM输出非确定性、评估维度多维（事实性、安全性、连贯性、公平性）、输入敏感度高（微小prompt改动引发结果剧变）。 本文聚焦真实工程场景，梳理并实测5个高活跃度、强可集成性的LLM测试开源方案，覆盖从本地验证到CI/CD嵌入的全链路需求。 全流程自动化后，摘要准确率提升至98.2%，误报率下降至0.3%。 结语：开源不是终点，而是测试范式进化的起点 这5个方案并非相互替代，而是构成LLM测试的‘黄金组合’：RAGAS守RAG可信底线，LLM-eval定模型选型基准，Promptfoo管提示生命周期，Guardrails 它让LLM测试从黑盒玄学，变为可阅读、可修改、可贡献、可审计的工程实践。下一站，将是测试即代码（Testing-as-Code）与LLMOps的深度耦合——而你，已经站在了起点。
49210编辑于 2026-06-15 - 来自专栏啄木鸟软件测试
性能测试自动化的5大实战误区
引言：自动化不是万能解药，而是精密手术刀 在「啄木鸟软件测试」的数百场企业性能压测咨询中，我们发现一个惊人现象：超68%的团队引入JMeter+CI/CD自动化流水线后，性能问题检出率反而下降，误报率上升 究其根源，并非工具失效，而是将「自动化」等同于「智能化」——用脚本代替人，却未用工程思维重构测试策略。 性能测试自动化不是把手工操作录制成脚本，而是一场涉及指标定义、环境治理、数据建模与结果归因的系统性升级。 误区一：只自动化执行，不自动化分析——让机器跑得快，却不知为何慢 某金融客户曾部署一套全自动压测平台：每日凌晨触发20个API场景，生成PDF报告并邮件推送。 结语：自动化是能力，而工程化才是答案 性能测试自动化的终极目标，从来不是替代测试工程师，而是将人的经验沉淀为可复用、可验证、可演进的工程资产。
8510编辑于 2026-09-09 - 来自专栏python 自动化测试
自动化测试方案
自动化测试的方案越详细后面遇到的坑就会相对减少，主要从以下方面考虑： 采用什么工具与开发语言实现自动化测试？ 工具与开发语言的选择需要综合项目组整体的情况考虑。 对于还没自动化测试框架的公司，选择需要慎重，首先需要从成本、人员以及项目的实际情况考虑。 有经验的自动化测试工程师会通过前期的抽样分析评估选用是那种框架。 自动化的测试用例或需求怎么确定与管理？ 自动化测试与手工测试存在非常大的差别。 怎么获取自动化测试的用例或需求？ 怎么将现有的自动化测试用例与手工测试相关联？ 自动化测试参与人员是否都会使用该工具？ 部分人不会的培训怎么安排？ 版本管理工具需要与实际相结合，如果开发的代码管理使用Git，那么自动化测试代码也使用Git，方便统一管理，而且遇到问题好请教。 版本管理工具：Git，SVN 测试数据的怎么管理？ 自动化测试的数据，也是需要前期就要考虑，自动化测试的数据都比较大，前期就需要考虑数据的获取，维护，清理。 需要采用那些设计模式？
1.3K20发布于 2020-07-29 - 来自专栏啄木鸟软件测试
自愈测试脚本：5个主流开源方案实战解析
据2023年Applitools《自动化测试维护成本报告》显示，企业平均将47%的测试工程时间耗费在脚本修复上，而非新功能覆盖。 本文聚焦‘开源’这一关键约束，深度评测当前可直接集成、无商业授权风险的5大自愈方案，结合真实项目落地经验，为你厘清技术选型路径。 二、Selenide + SelfHealingDriver：轻量级Java生态整合方案 Selenide作为成熟的Java UI测试库，其扩展插件SelfHealingDriver（GitHub星标2.1k 在某国际SaaS产品CI流水线中，该方案使E2E测试稳定率从71%跃升至94%，且修复过程完全静默。 这也是我们坚持只评测上述5个方案的根本原因。 结语：自愈不是终点，而是测试智能化的新起点 自愈测试脚本的价值，从来不止于减少红色报错。
7210编辑于 2026-09-09 - 来自专栏啄木鸟软件测试
AI驱动测试：5个高价值开源方案实战解析
引言：当测试工程师开始和大模型对话 在2024年Q2的行业调研中，68%的头部科技企业已将AI辅助测试纳入质量保障体系，但其中仅23%采用自研AI测试平台——成本高、迭代慢、场景适配难成为主要瓶颈。 此时，开源AI测试工具正悄然崛起：它们不追求‘全栈替代人工’的宏大叙事，而是以精准、轻量、可审计的方式，嵌入测试生命周期的关键断点——从用例生成、异常日志归因，到失败用例自愈与测试数据合成。 本文聚焦真正经受过千级CI/CD流水线锤炼的5个开源AI测试方案，拒绝概念炒作，只谈落地实效。 例如：按钮文字从‘提交’变为‘确认’，背景色从#F5F5F5变为#FAFAFA——人类认为一致，传统工具标记为失败。 选择开源AI测试方案，本质是选择一种协作范式：你提供领域知识与质量标准，它负责把重复劳动翻译成确定性执行——这才是人机协同在质量领域的终极形态。
1.3K10编辑于 2026-03-31 - 来自专栏自动化测试实战
《selenium2 python 自动化测试实战》（5）——键盘事件
对键盘的操作需要导入另一个键盘的库： from selenium.webdriver.common.keys import Keys 举个例子，你要在搜索框输入“自动化测试”，但是现在又想搜 “自动化测”，就是删掉一个字，我们知道，就是摁一下键盘上的Backspace键就可以了，这时候你就需要键盘操作了： driver.find_element_by_xpath("xpath的定位").send_keys
1.1K60发布于 2018-05-18 - 来自专栏测试开发社区
App自动化测试方案
App自动化测试方案 1.1 概述 什么是App自动化？为什么要做App自动化？ App自动化是指给 Android或iOS上的软件应用程序做的自动化测试。 手工测试和自动化测试的对比如下： 手工测试优势：不可替代、发现更多bug、包含了人的想象力与理解力。 注意，不是所有功能都需要自动化。 自动化测试优势：可重复、效率高，增加软件信任度。 App测试自动化的目的如下： 执行自动化测试只会发现很少的bug。 执行自动化冒烟测试或回归测试是用来验证系统状态，而不是找出更多bug。 -执行自动化测试可以让测试同事有更多的精力来关注复杂场景，做更多更深层次的测试。 -编写自动化测试过程中会发现一部分bug，发现后要及时记录。 （5）开发对控件元素增修改的程度（需开发人员尽可能地用name元素，并且和UI设计一致，修改变动程度不大，测试人员可根据提供的元素提前介入，开发自动化脚本）。
4.4K10发布于 2019-09-20 - 来自专栏测试开发社区
自动化测试平台实战
大家好，我是你的课程老师Fin，欢迎来到我的专栏《自动化测试平台实战39讲》，很高兴能在这里和你聊聊自动化测试平台。 那么在课程开始之前，我先简单一句话介绍下自己的从业经验。 这个课程怎么样 坦白的说，是根据经验从业经验浓缩而来，从基础入门、到进阶、到实战，以实践为主、理论为辅、理论指导实践的思想，一步一步掌握自动化测试平台的开发。 通过本课程，你可以了解Python知识，了解自动化测试知识，了解企业级项目实践，最主要的是快速掌握搭建一套非常适用的自动化测试平台，目前虽然Github上开源自动化测试平台非常多，但是详细讲解自动化测试平台的课程几乎为 自动化测试平台实战技能，该技术一直是当前IT行业，企业非常主流的技能，是广大测试、开发从业人员需要了解，掌握，熟练，精通的热门技能。 这个课适合你听吗？ 扫码以下二维码，可获取免费试读： aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9hM3c0eDF3VTJ0WTNPQzBGUG9xNVczNnpsaWJRRXBNZlRMYXpBZjJFaWNGcllLTm9abEFJaWF4TnQ0bTczc1VJNFFvUXZKNlBUZzJKOTJOQ2liMFpVdVJja1EvNjQw.jpg
2.3K20发布于 2020-03-03 - 来自专栏Python自动化测试
Python自动化测试实战
很开心自己写的书出版了，在这期间特别感谢电子工业出版社张瑞喜老师一年多来对我的鼓励和写作的支持，也感谢京东测试架构师陈磊老师和《Python编程基础与HTTP接口测试》作者阿奎老师作序，同时感谢顾翔老师 （啄木鸟软件测试培训），慧测的田威峰老师，高鑫测试专家的推荐语。 也特别的感谢公众号的测试同学对我的一直支持和公众号的关注，谢谢你们。也同时谢谢“无涯课堂”的学员对我的认可和支持。 本书是本人这几年学习点点滴滴的总结，希望能够帮助那些想学习基于Python语言的UI自动化测试知识体系和基于Python语言的API自动化测试的知识体系。 本书更加看重实战，对于我们这些工作的人来说，在企业中，是需要解决实际问题的，而并不是说夸夸其谈的去谈理论，毕竟企业需要实战，需要出结果，当然解决问题的思路比解决问题的能力更加重要。
1.7K30发布于 2019-05-06 - 来自专栏软件测试
自动化测试框架选型指南：5大主流工具实战对比
⚡ 当团队决定做自动化测试时，选错框架的代价有多大？某电商公司投入3个月搭建的测试框架，因无法支持复杂业务场景被迫废弃——每年浪费超百万人力成本！今天用一张对比表和真实场景拆解，帮你避开选型深坑！ 自动化测试不是银弹，先评估这3个问题再决策：必须喊停的信号：❌ 业务需求每周大变❌ 测试人员零编码基础❌ 项目仅剩2周上线 黄金公式：自动化收益 = (手动执行次数 × 单次耗时) - (脚本开发成本 + 维护成本)二、5大主流框架横向对决（2024实战版）框架核心优势致命短板适用场景学习曲线Selenium多语言(Java/Python/C#)、跨浏览器异步操作稳定性差Web UI回归测试⭐⭐⭐⭐Cypress BrowserStack提供2000+真机 - 内置多语言时区切换场景3：SaaS平台API自动化 **需求特点**： - 微服务架构 - 版本迭代快 - 需性能监控 ✅ **推荐方案** 最后如果你想学习自动化测试，欢迎加入我们：785128166，里面会有很多资源和大佬答疑解惑，我们一起交流一起学习！
2.5K10编辑于 2025-08-11 - 来自专栏软件测试经验与教训
自动化测试实施方案
组合错误 竞争条件 VM后台、SYS 以后补充 windows pos 以后补充 接口自动化 参考接口自动化实施方案 自动化测试应用阶段 接口自动化 冒烟测试，系统测试，线上回归（监测），详情参考接口自动化实施方案 技术方案 Android pos 技术方案：APPium Appium是一个开源、跨平台的测试框架，可以用来测试原生及混合的移动端应用。Appium支持IOS、Android及FirefoxOS平台。 此外，可以选择Jenkins作为持续集成服务器，配合Python+Selenium的方案进行自动化冒烟测试。 文档管理 保存路径在git header 1 header 2 接口测试实施方案 接口测试详细设计 POS自动化详细设计 性能测试实施指导手册 测试交付物 性能测试计划、报告模板参考： 自动化测试计划 关注于技术：如何实现软件的自动化测试是一个很吸引人的技术问题。不过，过多的关注如何实现自动化测试，导致忽略了自动化测试方案是否符合测试需要。 其他：在测试还远没有开始的时候，问题就已经潜伏在软件中了。
5.4K60发布于 2018-05-15 - 来自专栏Java架构师必看
python自动化测试实战 pdf
最后落实到现实生产中，还是要做”自动化“，否则一切都是空谈。 企业为什么需要自动化？因为这样有助于生产力的提升 。 个人为什么需要自动化？因为这样可以职业能力和竞争力。 上面陈述了那么多，对于测试行业整体来说，有如下几个结论： 软件测试的过程是不会消失 测试人员的技能要求会显著提升，甚至和开发人员要求不相上下 纯手工操作的测试技能会被逐渐失去市场 [1] 《参与感》.黎万强 原因很简单： 首次投入成本过于昂贵 后期还存在巨大的生产设备维护成本 人员素质要求过高 在软件工业的测试行业也同样存在同样的问题，自动化的测试实际上是相当于在功能代码之上，还要投入开发另外一个项目并维护 这里所说的 ”长远“ 是指生产过程需要有足够的量或者时间来收回自动化投入上产生的首次成本 阶段小结 此文作为后续的 自动化测试 系列文章的开端。 后续内容预告： 一个简单的自动化测试场景需求 自动化测试的基本原理 基于python的自动化测试框架 pyunit介绍及使用 pyunit使用场景扩展 测试系统和生产系统的集成 ---- 作者: Harmo
85030编辑于 2022-03-12 - 来自专栏Java学习网
Android自动化测试解决方案
Android自动化测试解决方案 桌面应用程序与浏览器端的自动化测试都已经历了十年的发展，无论是从工具上还是项目管理方 法论上都已经趋于成熟。 鉴于此，并结合传统桌面系统上的自动化测试经 验，我们在此探讨基于Android平台应用程序的关键字驱动自动化测试的可能性，并摸索一条适合在移动应用开发过程日新月异的现实情况中切实有效的实现 和实施自动化测试的路子 如果引入自动化测试工程师，同步开发测试脚本（理想情况，每个应用自动化比率达到70%~80%,整体自动化比率达到60%~70%），有可能使得回归测试比率有所提高。 结论 回顾上述讨论的内容，我们设想能在移动应用自动化测试领域延续桌面系统自动化测试的成功经验，从理论基础、工具支持、以及后续项目管理方面都做了一番探讨。 所以，本文仍以安卓平台作为自动化测试的突破口，希望从中能结合市面上的一些商用工具，尝试实践以“关键字驱动”为基 础的自动化测试，而非原始的以“坐标点”为基础的屏幕点击测试。
1.4K100发布于 2018-02-26 Python + Pytest 接口自动化测试方案
本文带你从零搭建一套Python+Pytest接口自动化测试框架，覆盖接口封装、数据驱动、报告可视化、CI/CD集成全流程，可直接用于小型项目，也可平滑扩展至大型分布式系统。 #统一断言工具│└──log_util.py#日志工具（可选）├──data/#测试数据层（数据驱动）│└──login_data.yaml#登录模块测试数据├──reports/#测试报告输出目录├─ =test_*#标记用例（用于分组执行）markers=smoke:冒烟测试用例regression:回归测试用例JenkinsCI/CD持续集成将框架集成到Jenkins，实现代码提交自动触发测试和定时回归测试 将登录获取Token的操作封装为Fixture，在需要的用例中引用将Token保存到全局变量或配置文件中，供后续接口使用结语接口自动化不是简单的“写脚本”，而是构建一套可持续维护、可扩展、可集成的质量保障体系 本文提供的方案是一个基础框架，你可以根据项目实际需求进行扩展，比如增加数据库操作、接口签名、文件上传下载等功能。
64610编辑于 2026-06-05- 来自专栏muller的测试分享
软件测试|iOS 自动化测试——技术方案、环境配置
图片移动端的自动化测试，最常见的是 Android 自动化测试，我个人觉得 Android 的测试优先级会更高，也更开放，更容易测试；而 iOS 相较于 Android 要安全稳定的多，但也是一个必须测试的方向 ，这个系列文章记录了 iOS 自动化测试的一些实践。 Xcode 下载地址：https://developer.apple.com/download/下载安装好的图标如下 ：图片先来看目前主流的 iOS 移动测试框架Appium：目前最常用的 App 自动化测试框架 ，其实也就是因为其底层封装了 WebDriverAgent，而我们期望的是：做一套可以跨平台支持的 App 测试方案，可以在公司的 Android 和 iOS 版本间自由切换测试并且在编程语言上要是测试工程师常用的 坑不能白踩，后面继续实现 iOS 的自动化测试落地，也欢迎小伙伴一起留言探讨。
2.1K10编辑于 2022-12-29 - 来自专栏岛哥的质量效能笔记
实战 | Android过度绘制自动化测试
这个不正确的，必须进行优化 手工测试方案 其实 Android 平台已经提供了工具来帮助我们确定过度绘制是否会影响应用的性能，如果是通过手工的方式，首先需要按照以下步骤打开显示过度绘制区域的选项： 开启调试开关后进入应用的所有页面进行检测是否有过度绘制的情况，现在的应用动辄都是上百个页面的，如果全手工来做，工作量和效率可想而知，所以接下来跟大家分享一下全自动化的方案。 自动化测试方案 Android 源码中有个叫 drawOverdrawCounter 的函数可以用来计算当前页面过度绘制的次数，所以我们可以通过Hook该函数来获得这个值，但是 drawOverdrawCounter debug.hwui.overdraw show //显示过度绘制的色块详 adb shell cat /sdcard/overDraw.txt //查看过度绘制的次数 插件准备好之后，接下来就是实现我们的自动化测试脚本了
76210发布于 2021-08-18 - 来自专栏FunTester
老旧系统自动化测试实战指南
然而，当我们面对测试覆盖率极低（甚至完全没有测试覆盖）的老旧系统时，编写自动化测试会非常困难且令人沮丧。初期搭建自动化测试所需的努力往往超出团队当时的承受能力，导致测试工作被无限期推迟。 本文将介绍一些老旧系统自动化测试的最佳实践。 自动化测试的类型 在开始之前，重要的是了解不同类型的自动化测试，以及判断哪种测试更适合我们要解决的问题。 自动化测试主要分为单元测试、集成测试、端到端测试和性能测试等，每种测试类型针对不同的系统层级和需求。 即使没那么严重，也难以编写测试，因为最小组件缺乏明确职责。问题在于这些代码往往包含想要测试的核心代码，但难以入手。解决方案是重构，这将在下一部分详细讲解。 在软件工程中，面对同一问题常有不同解决方案，重构也不例外。重构没有唯一方式，受个人喜好和系统限制影响。但有一些编程原则能帮助我们判断重构方向。
19410编辑于 2026-06-17 - 来自专栏猪圈子
UI自动化测试之ddt实战
，拿到几个参数，就执行几条用例 不定长参数的知识点：*表示脱外套，只能脱一层 @unpack 1、只能在*test_data后使用，如果unpack后的参数，少于5个，可以使用unpack。 要注意参数不对等的情况，提供对应参数的个数来接收变量 3、如果要对字典unpack，参数要为字典的key值 @unpack 1、只能在*test_data后使用，如果unpack后的参数，少于5个 否则不推荐 2、要注意参数不对等的情况，提供对应参数的个数来接收变量 3、如果要对字典unpack，参数要为字典的key值 02 我们再来看看UI自动化中ddt的用处，ddt库应用在UI自动化测试中， 实现编写一条测试用例的代码验证多个测试点。 ，在@data中数据类型是元组，可以看到不同情况下的测试数据，也就是以下三个测试点： 1.用户名和密码为空，点击“登录”按钮，验证错误提示信息是否是“请输入用户名”； 2.用户名不为空，密码为空，点击“
93320发布于 2020-07-29 - 来自专栏啄木鸟软件测试
团队转型：AB测试自动化实战
本文以某中型SaaS企业‘增长中台’团队的真实转型历程为蓝本，拆解A/B测试自动化落地的关键路径：不是堆工具，而是重构协作契约。 一、破局点：识别‘伪自动化’陷阱 该团队初期引入开源框架FeatureProbe，实现了配置下发自动化，但测试周期未缩短。 复盘发现三大‘自动化幻觉’： 1）‘配置即测试’：仅把开关上线当完成，缺失实验生命周期管理（启动/暂停/归档/归因）； 2）‘埋点即指标’：前端硬编码事件，导致同一业务动作在iOS/Android/ 每次实验启动前，系统自动执行： - 流量正交性检测（通过MinHash比对各实验用户重叠率）； - 指标血缘扫描（解析埋点SDK日志，反向追踪至原始埋点协议文档）； - 统计方案预检（根据样本量、预期提升率 结语：自动化不是终点，而是数据民主化的起点 A/B测试自动化的终极价值，绝非节省几个工程师工时，而在于将‘数据验证’从专业技能转化为团队基础素养。
34210编辑于 2026-04-13 - 来自专栏测试开发技术
自动化测试实战技巧：「用例失败重试机制」实现方案分享
背景说明 在开展自动化测试工作时，经常会由于一些外在原因（如网络中断、返回超时）导致自动化测试用例运行失败，而这些失败并不是用例本身验证或被测程序存在Bug而引起的，更可气的是这些失败场景有可能还是偶发的 今天给大家分享的主题：自动化测试工作中，用例脚本失败重试机制的实现方式。 结合自动化测试框架来讲，用例运行失败重试机制，通常有三种形式来实现： 借助依赖框架自身是否有用例失败重试运行机制。 创建实战示例项目 1､ 创建trainning演示项目，并在项目下，创建失败重试机制实战目录，并依次创建测试套件、测试用例，示例结构如下： [007S8ZIlgy1gfymly9gnsj30la08qdhc.jpg 5. 小结 本文以Robot Framework框架为例，介绍了在自动化测试过程中，如何实现用例脚本失败重试机制，并且分享了三类实现思路： 借助依赖框架自身是否有用例失败重试运行机制。 希望对大家在实施自动化测试工作当中有所帮助或启发！如果觉得有用，不用以身相许，关注一下就行。 原文传送门： 原文阅读
2K30发布于 2020-06-23
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号