本文将从技术落地、能力跃迁与组织演进三个维度,剖析智能回归测试的现在与未来。 一、从‘全量跑’到‘精准击’:AI驱动的用例智能筛选 传统回归测试常采用‘全量执行+人工剪枝’模式,效率低且易遗漏风险路径。 二、从‘脚本维护’到‘自我进化’:自愈式UI测试的落地实践 UI回归测试长期被诟病为‘脆性测试’——前端微调常导致数十个用例因定位器失效而集体崩溃。智能回归的突破在于赋予测试‘自愈能力’。 真正的智能回归,是让测试工程师从‘用例搬运工’蜕变为‘质量策展人’——聚焦于设计可演化的测试策略、定义关键质量信号、解读AI输出背后的业务含义。 未来三年,随着大模型对测试知识的深度蒸馏(如TestLLM)、测试即代码(TaaC)与混沌工程的融合、以及质量数据湖的普及,智能回归测试将不再是工具能力,而是一种组织级的质量操作系统。
与传统API或界面测试不同,智能体具备状态记忆、自主规划、动态工具选择与人类协同等特性,其行为不可穷举、路径高度非线性、结果存在合理多样性。 本文基于啄木鸟软件测试团队在3家头部金融科技与AI平台企业的落地实践,系统梳理智能体测试的核心挑战、分层验证策略与可复用的工程化方法,为测试专家提供一条从‘看不懂Agent’到‘测得准、控得住、说得清’ 一、破除认知误区:智能体不是‘更聪明的接口’,而是新测试范式 许多测试工程师初接触Agent时,下意识将其视为‘带Prompt的REST服务’,试图用Postman发送指令+JSON Schema校验响应 三、工程化落地:让智能体测试‘可写、可跑、可追责’ 落地难点常不在技术,而在协作惯性。 结语:测试专家的新定位——智能体的‘行为架构师’ 智能体测试的本质,不是给AI设限,而是帮它建立可信的行为边界。
近期公司推出了某款智能录音笔,需要对录音笔笔端一些应用的sdk进行测试。 因为之前对关于sdk测试的了解并不是很多,所以在本次测试中边测试、边了解、边学习,总结了一些过程和方法,在这里和大家交流分享一下。 ? 1、命令行式,测试时完全通过adb shell命令的形式调用demo进行测试; 2、界面式,测试时可在屏幕上显示界面,通过在界面上操作来进行测试。 ? 三、稳定性测试方法 sdk测试中除了基本的功能、效果等测试以外,我们还需要关注性能、稳定性等。 小结 本文介绍了智能硬件(录音笔)sdk测试中的一些方法和遇到的问题,希望能给大家提供一些参考。当然关于sdk的测试还有很多其他的方法和注意事项,欢迎各位同学一起讨论交流一下~
300m;wifi是局域网) 二、WiFi特性专项测试 WiFi打开速度或搜索速度的测试:验证WiFi,WiFi打开速度或搜索速度的测试是否符合要求; WiFi信号强度测试:测试WiFi在不同位置(如: 距离AP无障碍处X米、有障碍区(如:隔离一堵墙、堵墙)等的信号强度,测试WiFi信号随距离的变化或穿障碍物的能力;测试工具:通过WiFi检测工具(如:WiFi分析仪); 测试WiFi传输速率测试:分别在不同位置测试 在系统浅休眠或深休眠时是否进行工作; WiFi稳定性测试:测试WiFi在长时间数据传输过程中是否出现异常; AP切换测试:测试设备在无信号区到有信号区的连接速度、重连时是否出现异常等; WiFi与AP之间的漫游测试 三、wifi信号测试 1、信号强度、传输速率测试 测试软件:WIFI分析仪 环境搭建 ? 建立一个测试进程,测试时间设置为1分钟。
这意味着:传统基于断言(assert)和脚本回放的测试方法,在智能体面前集体失焦。 2024年Gartner报告指出,67%的企业已在生产环境部署至少一个AI智能体(如客服调度Agent、代码审查Bot、供应链预测助手),但其中仅23%建立了配套的可度量测试体系。 测试团队正站在一个关键分水岭:是沿用Selenium+Postman的老路‘测接口’,还是构建面向目标、行为与鲁棒性的新一代智能体测试工程? 一、智能体测试为何不能套用传统方法? 二、智能体测试四维评估框架:Goal-Behavior-Resilience-Traceability(GBRT) 我们提出结构化测试框架,替代模糊的‘人工抽检’: 1. 结语:测试专家的新使命不是‘证明没有Bug’,而是‘构建可信演化的护栏’ 智能体不会停止进化,但它的进化必须被可观测、可约束、可问责。
人工智能与测试结合现状最近在各个行业技术会议上,出现了越来越多的人工智能与测试结合的topic。比如最近几个跟人工智能相关的内容。 议题公司基于AIGC的蚂蚁新一代测试用例自动生成技术蚂蚁集团百度单元测试智能生成实践百度基于代码地图的组件测试用例自动生成实践华为类chatGPT大语言模型在自动化测试的前沿应用与案例分享腾讯大模型助力智能单测生成字节跳动华为云基于失败率预测及优化算法的回归用例优选一精准测试实践华为云人工智能与测试的结合话题风头一度盖过了精准测试 测试用例的数据化与生成技术可以让测试人员扩大自己的能力边界,实现更全面的测试体系构建,它是测试智能化的一个重要的技术。 展望未来虽然人工智能对我们的工作与生活带来了很多的冲击,但是对于开发与测试方向的影响,我是持乐观的态度。与在其他行业的摧枯拉朽式的生产力革命不同,人工智能对测试与开发的影响,会稍微小一些。 而且相对于领域宽泛的测试方向,特定领域的开发被人工智能取代的可能性更大,人工智能生成的产品也许不需要开发,但是会需要测试完成功能测试、性能测试、安全测试、用户体验测试、合规测试等工作 鉴于人工智能对社会的影响如此之大
真正限制产线能力的,往往不是硬件,而是那套“看不见”的测试软件。一套好的测试软件,应该解决什么问题? 如果把测试系统拆开来看,本质上它需要解决三件事:怎么测(流程)怎么连(设备与通信)怎么用(效率与数据)这套ATE自动化测试软件,正是围绕这三点重新设计。 在很多工厂现场,你会发现一个很现实的问题:设备越来越先进,但测试系统却还停留在“能用就行”的阶段。真正限制产线能力的,往往不是硬件,而是那套“看不见”的测试软件。 流程:从“写程序”变成“设计流程”传统方式:每个项目写一套代码修改流程必须改程序而这套系统的方式是:流程可视化+配置驱动你可以直接在界面中:拖拽测试步骤连线形成逻辑配置参数像画流程图一样完成测试系统搭建 :每一步测试值判定结果(Pass/Fail)SN/条码/工单时间/操作记录✔数据统一存储自动写入数据库(MySQL)支持快速查询与筛选✔插件式架构(核心能力)系统支持:自动加载功能模块(DLL)驱动独立扩展测试步骤独立扩展
using-echidna-to-test-a-smart-contract-library/ 译文出自:登链翻译计划[1] 译者:darren94me[2] 校对:Tiny 熊[3] 本文将展示如何通过 Echidna 工具[4]测试智能合约 为自己的智能合约库指定并检查有用的属性。 我们将演示如何使用 crytic.io[6]来完成这些工作,它提供了 GitHub 集成和额外的安全检查。 库可能带来风险 发现智能合约的漏洞非常重要:合约可以管理重要的经济资源(以代币或者以太币的形式),也可能因为一个漏洞损失上百万美元。 不过,以太坊区块链上有比其他合约更重要的代码 —— 智能合约库代码。 库可能被许多热门的合约引用,因此,假如SafeMath中有一个微妙的未知错误,许多关键合约可能被攻击者利用。 智能合约在“代码就是法律”的金融世界中运行,如果库在某些情况下计算出不正确的结果,那么“代码漏洞”可能会传播到调用的合约,并允许攻击者做一些坏事。
充电是否方便快捷 5、携带是否方便 6、续航时长是否达到预期 7、是否含夜视功能 8、是否含心率监测、蓝牙通话、微信聊天、卫星定位、睡眠监测、运动计步、信息提示、抬表亮屏等相关功能 二、使用场景 1、信号场景测试 :GPS信号,网络信号 2、速度场景测试:移动速度超过每秒多少米就不计数了(比如走/跑,摇晃的速度) 3、摇晃角度测试:手机摇晃幅度和摇晃方向 4、摇晃幅度测试:超过或者未达到摆臂的幅度该怎么计数 5、 摇晃频率测试:超过或者未达到频率该怎么计数 6、功能逻辑验证:记步的逻辑是怎么计算的(比如绑汽车上,怎么记,帮动物上,怎么记,) ?
前言 随着社会的发展和不断的进步,4G/5G网络的出现,使得智能硬件这块有了更进一步的发展,智能家居、智能安防、智能摄像等电子产品不断涌现,涉及到的摄像头这块的性能越来越优秀,使用范围越来越广,对于摄像头性能的测试就变得越来越普遍和重要 当给监控摄像头加入智能识别时,测试解析度和畸变值就变成必须;当我们的手机逐步代替数码相机时,解析度,色彩还原、白平衡以及灰度测试就变得很重要。 四、摄像头测试工具 iSeetest是一款专业用于摄像头测试分析的免费软件,使用iSeetest,能准确地测试出摄像头各项性能的参 数,判定摄像头的品质。 主要功能包含下列三项: 一、摄像头性能单项测试 分辨率测试 色彩还原测试 白平衡测试 灰阶测试 坏点测试 均匀性测试 二、摄像头性能综合测试 24色色卡 IS01231综合测试卡 特制综合卡 ? 摄像头测试论坛:http://bbs.iseetest.net/ 摄像头测试软件:http://www.iseetest.net/#
一、智能化测试,不再是遥远的未来,而是正在发生的现实1.1 智能化测试的内涵所谓“智能化测试”,并非简单地使用AI工具辅助测试流程,而是指: 以大语言模型为核心,通过自然语言理解、知识推理、上下文记忆、 :传统“手艺人”式的测试工作正在被“智能化流程”替代。 2.2 新的测试工作角色正在出现但这并不意味着测试人员会被淘汰,而是会被重构为新的角色与任务载体:新角色名称核心职责测试智能系统设计师设计多智能体协作测试流程与Agent职责链测试知识工程师构建供模型理解与调用的测试上下文资产 )完成测试全流程智能协作专业化接入企业CI/CD系统,嵌入AI测试智能体,实现回归、冒烟测试自动决策流四、未来的测试,是与AI共舞而非对抗4.1 人与AI:不是零和博弈,而是共创协同AI可以写脚本、做断言 面对“测试智能化”这股不可逆转的浪潮,我们不能躲,也不必怕。 唯有学习、思变、重构,才能掌握未来测试话语权。 智能化测试已来,测试人员唯有向内深耕、向外拓展,方能在新时代焕发新的专业荣光。
今年7月,Loup Ventures公布了一项“年度智能助理智商测试”的结果,该测试将谷歌助手与苹果的Siri,亚马逊的Alexa和微软的Cortana进行对比,在回答800个真实问题后,将这四款人工智能系统排序 现在,Loup公司又开始进行一项“年度智能音箱智商测试”,重点关注智能助手如何通过诸如Google Home、Apple HomePod和Amazon Echo等扬声器进行测试。 与先前的情况一样,Home Mini上的Google助理再次以100%的问题理解率在小组中排名第一,回答正确率为87.9%,高于7月份在智能手机测试时的85.5%和2月份Loup最后一次智能音箱测试的81% 苹果公司的Siri在HomePod上的表现较2月份的中等水平有了强劲增长,但在iPhone上测试时,其7月份的表现不及7月份。 Cortana通过Harman Kardon Invoke的智能音箱获得了63.4%的正确答复,比二月份的智能音箱测试和七月份的智能手机测试分别提高了57%和52.4%。
如下图: 这是为什么呢, 看过我之前教程的同学就知道人工智能是你给它什么样的数据,它就训练出什么样的效果。 所以大模型可以根据海量的训练数据,找出数据之间的规律从而推理出用户想要的答案。 而测试人员往往第一个就要测试这个意图识别模型,它的这个多分类效果是否达到了足够高的标准,因为这个意图识别错了, 它就会发送到错误的子系统中,那么答案也一定就是错误的。 测试人员利用大模型 RAG 进行效果的评估当我们了解到大模型 RAG 的原理后,其实也就猜到测试人员也是可以利用这个方法来开展一些工作的。 在我以前的文章中介绍过这种大模型的评测工作是非常消耗人力的, 其中一个非常消耗人力的地方就是即便我们已经有了标注好的数据(就是问题和答案都是已知的),我们也很难去自动化的去测试。 所以在测试中我们也可以选择在这些场景中不带参考答案,而在专业知识领域内把参考答案作为背景交给 GPT。
智能测试覆盖率分析通过AI技术的应用,不仅可以自动化地获取和分析覆盖率数据,还可以提供更深入的洞察和智能建议,帮助测试团队提升测试效率和质量。 第四章:智能测试覆盖率分析工具与平台 4.1 主流智能测试覆盖率分析工具 目前市场上有多种智能测试覆盖率分析工具和平台可供选择,以下是一些主流工具的介绍: 工具名称 核心功能 优势 适用场景 JaCoCo 第七章:未来发展与技能培养 7.1 智能测试覆盖率分析的发展趋势 智能测试覆盖率分析的未来发展趋势主要包括: 中心: 智能测试覆盖率分析未来 ├── 趋势1: 实时覆盖率分析 ├── 趋势2: 自适应覆盖率优化 AI驱动的测试用例自动生成:基于覆盖率分析结果,自动生成补充测试用例 智能测试资源分配:根据覆盖率分析结果,智能分配测试资源和优先级 7.2 测试工作者的技能培养 为了适应智能测试覆盖率分析的发展,测试工作者需要培养以下技能 结论 智能测试覆盖率分析代表了测试覆盖率分析的未来发展方向,它通过AI技术的应用,解决了传统测试覆盖率分析面临的诸多挑战,为测试团队提供了更智能、更高效的测试覆盖率分析方法。
数据收集经过之前的介绍我们知道在评估模型的效果时,最重要的是收集到符合场景的测试数据。ASR 系统通常可以分为特定人和非特定人识别,以及小词汇量、中词汇量和大词汇量系统。 河南日报,光明日报,中国青年报,南方都市报,新华社,南方周末,新民,羊城派,,荔枝新闻),这一类 app 每个挑选 100 个视频素材,其余低下载量的选择 20 个素材(主要依据下载量的比例来确定挑选的测试数据比例 计算公式: WER 字错率=识别文本相对标注文本的编辑距离/标注文本总字数代码示例:import Levenshteintext1 = "我是谁,我是一种测试人员啊"text2 = "我是谁,我是一个研发人员啊 所以还是那句话,在人工智能领域中工作的人, 大部分时间都是花在数据上。
33.jpg 智能测试桩由标志桩、桩座和保护电位检测仪组成,其特征在于标志桩设为圆柱形或矩形,其底部周长大于上部周长,桩座为圆形或矩形,桩座内设有保护电位监测仪,在桩座周侧设有保护电位监测仪的两个接线柱 电路由测试探头、管道保护电位、电位传感器、电位变送器、采样控制单元、存储器、GPRS通讯模块,电池电源和MOSFET开关组成,且测试探头、管道保护电位、电位传感器、电位变送器、采样控制单元和GPRS通讯模块逐序相联 智能测试桩分为栓体和防护罩两部分,防护罩内安装电池供电型智能监测仪,实现数据自动采集、线路自动切换、数据定时上传、异常及时报警等功能。 (4)技术参数 监测参数: 1牺牲阳极测试桩:通电电位、断电电位、腐蚀电流、阳极电位。 2电位测试桩(试片法):通电电位、断电电位。 电压测量范围:-2~5V (可定制)。
早就想学习区块链相关技术了,可惜因为懒惰一直没有付诸实践,最近随着诸如 God.Game,Fomo3D 等区块链游戏接连暴出安全漏洞,让我对智能合约的兴趣愈发强烈起来,于是利用周末搭建以太坊智能合约测试环境 既然要搭建以太坊智能合约测试环境,那么至少得安装一个合适的以太坊客户端,比如:命令行的 Geth,Parity,或者图形界面的 Mist,对于我这样记忆力欠佳的人而言,总是对命令行工具抱有一丝恐惧感,于是我选择了从 ,所以我们可以尝试用 ADD ACCOUNT 功能添加一个新账号 ACCOUNT 2,并且从 ACCOUNT 1 转账(SEND)试试: 至此,一个基本的以太坊智能合约测试环境就搭建好了。 我们接下来,可以通过 Ethereum Wallet 来部署(DEPLOY)一个简单的 HelloWorld 智能合约: 用 Solidity 写一个最简版本的 Hello World 程序,源代码如下 Hello World合约 10分钟免安装完成以太坊智能合约测试环境搭建 甚至还有一个更简单的 EthFiddle,啥都不用装,直接在线测试。
关于WINGFUZZ SaaS WINGFUZZ SaaS是水木羽林推出的智能模糊测试在线服务,可以在不需要用户上传源代码的情况下利用云端资源开展覆盖率引导的模糊测试。 覆盖率引导的模糊测试,或灰盒模糊测试、智能模糊测试,是一种动态测试技术。工具会自动生成大量带有随机性的测试用例,触发软件异常,最终发现软件缺陷。 SDK提供了命令行工具,支持项目编译插桩、本地验证测试、远程测试Job提交等功能。 平台端实现了测试管理、资源调度、用户计费等功能,并通过容器化环境提供用户和测试项目的隔离。 启动测试 启动测试有两种方式,Web端直接上传二进制,和命令行启动。命令行测试时,也支持两种模式,分别是调试用的本地验证测试,以及远程云端测试。 ,希望可以降低模糊测试的使用成本和门槛,为基础软件测试带来更多选择。
向量加和:A + B = B + A 需要维度相同 [1, 2] + [3, 4] = [4, 6]
这个BLE智能手环就是本篇中的研究目标,由于当时的原版手环并不方便透露给大家,而且早已还给了朋友,所以我们选用了另一款手环。 图1-1 定制BLE智能手环 上图即为我们定制的BLE智能手环(没错,我们也是DC0086的成员)。 在本篇的结尾部分,我们会给一个小小的题目,感兴趣的读者可以尝试解答并发到我们的邮箱中,我们会挑选3个愿意动手的读者,送出上图中的BLE智能手环。 但是我们并没有发现任何关于WiFi或者4G相关的设置选项,反而有很多关于BLE通信的设置,所以我们判断这个智能手环应该是靠BLE进行数据通信。 对比两次不同位置的抓包结果,即可发现某个设备的MAC地址在两次抓包中都有出现,那么可以判断该MAC地址即为BLE智能手环的MAC地址。