具体测试你的阅读能力、理解能力的手段,一般都是给一篇文章,再你一些问题。你能来就说明你理解了,答不上来就说明你不理解。对电脑的测试也是这样。 ? 图7 莱茵河介绍 我给大家举个例子,说明一下阅读理解。 未来5-10年,NLP将走向成熟 最后,再介绍一下我对自然语言处理目前存在的问题以及未来的研究方向的一些考虑,供大家参考。 NPL与其他AI技术一起在金融、法律、教育、医疗等垂直领域将得到广泛应用。 但是,我们也清醒地看到,虽然有一些很好的预期,但是自然语言处理还有很多很多没有解决的问题。以下几个我认为比较重要的。
IEEE Spectrum在2018新年伊始推出专刊“AI vs Doctors”,统计了从2016年5月至今,AI在医疗领域的进展,并对比各大细分领域AI与人类医生能力差距,人工智能正在医生的主场获取成功 在420张X光片上进行测试的ChexNet在灵敏度(正确识别阳性)和特异性(正确识别阴性)方面优于四名放射科医师。 为了使系统做得更好,研究人员Stephen Weng及其同事为英国378256名病人测试了几种机器学习工具。 然后Weng的小组测试了另外25%的记录中的模型,看他们如何准确地预测心脏病发作和中风。他们还测试了该部分记录的标准指南。 在最后一项测试中,研究人员仅使用了高质量、经活检证实的恶性黑色素瘤和恶性癌的图片。研究人员让参与测试的人类医生观看这些图片,并询问他们是“进行活检、治疗,还是安慰病人”。
AI抢不走测试人的饭碗,但会用AI的测试人,会抢走你的本文来自一个把AI测试真正落地并开源的团队:https://gitee.com/wwcs/ai_test_sheng附在线体验环境:http://111.229.22.12 (账号admin/admin123)前言:先说一个扎心的事实测试圈这两年最焦虑的问题:"AI会不会取代测试工程师?" 但会用AI的测试人,会取代不会用AI的测试人。同一批需求,别人还在手动点点点、熬夜写用例,会用AI的人已经把需求分析、用例设计、执行、报告一条龙跑完了,还附赠一套能自动维护的UI自动化脚本。 但先别急着冲——AI测试落地,Demo很惊艳,实战全是坑。 测试,不如来体验一下真实跑起来的AI测试。
一、先搞清楚:AI测试不是"用AI做测试"那么简单 很多人一听到"AI测试",第一反应是:"哦,就是用ChatGPT、Cursor、Claude Code 这些AI 工具生成测试用例呗。" "我用ChatGPT写过测试用例"——这叫"用AI辅助测试",不叫"AI测试" 2. "我测过公司的大模型产品"——这叫"测试AI系统",是AI测试的一部分 3. 三、AI测试的三种形态:我理解的定义 我认为,AI测试应该包含三个层面,这三个层面构成了一个完整的AI测试能力模型: 形态一:AI辅助测试(AI-Assisted Testing) 定义:用AI工具提升传统测试活动的效率和质量 为了讲清楚AI 测试与传统测试之间的区别,我列了一个对比表,但先声明:这不是"AI测试取代传统测试"的意思,而是"AI测试扩展了传统测试的边界"。 AI测试并不是单纯的传统测试的"升级版",也不是"用AI工具做传统测试"。AI 测试 它是一个新的测试范式,需要新的思维方式、新的评估维度、新的技能栈。 理解这一点,是你转型AI测试的第一步。
具体测试你的阅读能力、理解能力的手段,一般都是给一篇文章,再你一些问题。你能来就说明你理解了,答不上来就说明你不理解。对电脑的测试也是这样。 ? 未来5-10年,NLP将走向成熟 最后,再介绍一下我对自然语言处理目前存在的问题以及未来的研究方向的一些考虑,供大家参考。 ● NLP与其他AI技术一起在金融、法律、教育、医疗等垂直领域将得到广泛应用。 但是,我们也清醒地看到,虽然有一些很好的预期,但是自然语言处理还有很多很多没有解决的问题。以下几个我认为比较重要的。
通过结合AI与传统测试方法,企业能够更有效地应对复杂的开发环境,从而提高最终产品的质量和用户满意度。一、软件测试软件测试是软件开发中至关重要的一环,主要目标是查找软件中的缺陷(bug),保障软件质量。 ②作用提高速度和效率缺陷预测与分析③AI应用于软件测试的方式AI通过与测试工程师的互动来增强测试过程。通过输入具体的指令(Prompt),工程师可以指导AI生成所需的测试用例、报告或分析。 ④AI赋能软件测试的具体应用需求评审:AI可以帮助分析需求文档,识别潜在的模糊或不一致之处,提高需求的明确性。测试计划编写:AI可以根据项目需求和历史数据生成测试计划,节省时间并提高效率。 测试用例设计:通过自动生成测试用例,AI能够快速覆盖各种场景,尤其是在面对复杂系统时。测试报告生成:AI能够自动整理测试结果,并生成易于理解的报告,帮助团队做出决策。 自动化测试:AI赋能的自动化测试不仅可以执行重复性测试,还能在代码更新时自动调整测试用例,确保持续集成的有效性。业务代码编写:AI能够协助开发人员编写代码,并提供实时的错误调试和注释建议。
线性回归总结 当然线性回归算法在预测模型的时候同样需要使用测试集,用训练数据集训练出模型,不同于前面介绍的kNN算法,此时的模型是一个实实在在的模型,所谓的模型就可以写成y = θTx,有了这个模型之后就可以基于这个模型对测试数据集进行预测 ,将模型在测试集上的预测结果和真实的结果进行比较,使用R2的方式来衡量回归模型的优劣。
[先说点出题背景] 这个题是为低年级同学、学C语言的同学准备的,因为,对这部分同学,这个题目编写起来略有一点复杂。如果是高年级、学过了正则表达式(Regular Expression)的同学或者学过了Java等OO语言的同学做这个题,应当发现这题比较简单吧。哦,对了,什么是tokenizer?请自行查询解决。反正在此处不应翻译成“令牌解析器”。 [正题] 四则运算表达式由运算数(必定包含数字,可能包含正或负符号、小数点)、运算符(包括+、-、*、/)以及小括号((和))组成,每个运算数、运算符和括号
在这些测试社区和社群中,我遇到了许多关于AI测试的问题,例如什么是AI测试,如何进行AI测试,AI测试有哪些工具与方法等。 然而,当我在网上搜索AI测试相关的书籍时,却发现大量的AI开发相关书籍,却鲜有专门介绍AI测试的书籍。这说明测试业界仍在混沌中不断摸索前进。 AI测试的迷思 在讨论AI测试时,通常存在两种理解: 第一种是利用AI辅助当前的软件测试,例如使用AI系统学习测试分析和测试设计,进而自动生成测试用例并自动化实现这些测试用例。 因此,AI辅助测试仍有很长的路要走。 第三个问题:哪些软件系统能用AI辅助测试? 理论上,任何软件系统都可以使用AI来辅助自动化测试工作。 总结 通过上面对于问题的回答,希望能解决大家对于AI测试的困惑,包括了解什么是AI测试,自己的项目是否适合使用AI测试,以及未来是否需要在AI测试上投资等问题。
那一刻,我知道自己需要系统性地学会一件事:如何测试AI幻觉。一、先搞清楚你在测什么"幻觉"这个词,在AI领域被用得太宽泛了。 测试集的设计需要特别关注三类场景:知识边界场景:主动测试AI知识截止日期附近的事实,以及它可能不熟悉的专业领域知识。 测试方法:给AI提供一段明确的参考文档,然后问与文档内容相关的问题,再用独立的评估器(或人工)逐条核验:AI的每一个陈述,能不能在提供的文档里找到明确的依据? 这个结构,比单轮问答测试要复杂得多,但它测到的是AI在真实使用场景下的真实行为。 (如"美托洛尔"vs"美托洛尔琥珀酸盐")的剂量差异问超出AI应该回答的范围的问题(如"帮我直接开一个处方")——测试AI能否正确识别边界并拒绝第3层:对话一致性集(Consistency Set)设计多轮对话测试树
简而言之,您不会像对其他项目进行质量检查那样对AI项目进行质量检查。这是因为对于AI项目而言,我们要测试的内容,测试方式以及测试时间的概念大不相同。 在AI的训练和推理阶段进行测试和质量保证,那些有机器学习模型训练经验的人都知道测试实际上是使AI项目正常工作的核心要素。您不仅可以开发AI算法,还可以将训练数据投入其中。 完成此操作后,您可以返回并使用其他预留测试数据来验证模型是否确实按预期工作。尽管这是测试和验证的所有方面,但它发生在AI项目的训练阶段。这是在AI模型投入运行之前。 这意味着,如果您不是从头开始编写代码,那么就实际代码而言,几乎没有什么要测试的-假设算法已经通过了测试。在AI项目中,假设已按照预期实施了QA,则质量检查将永远不会专注于AI算法本身或代码。 您需要测试将AI模型投入生产的代码-AI系统的操作组件。这可能会在AI模型投入生产之前发生,但是实际上您并没有在测试AI模型。相反,您正在测试使用该模型的系统。
什么是精准测试精准测试主要解决测试分析以及测试执行两个维度的问题,作为QA团队,变更的输入主要来源两方:一方是来自业务产品侧的业务变更,一方是研发侧的代码变更。 如何在需求/代码变更后快速准确的评估测试范围,高效召回并执行用例,最终通过覆盖率等量化指标评估测试效果是精准测试主要的价值体现。 AI+精准测试能做什么充分发挥LLM在信息理解以及生成方面的能力优势,LLM将原本干枯的系统链路信息,结合技术文档,API文档生成可读性更好的节点信息摘要;将召回的繁杂冗长的用例信息通过LLM进行信息摘要后变的可读性更好 IM通知AI+精准测试能力升级LLM基于变更方法,系统链路以及召回用例信息输出测试建议。 开发精准测试SKILL,可本地AIIDE和远程claw触发和执行精准测试流程-开发中。
ChatGPT这个词相信大家最近看到都不会陌生,应该刷爆了各位的朋友圈,各种分享注册教程、什么AI写代码的文章比比皆是,今天,让我们一起来看一下OpenAI能不能教我们学测试呢,对测试人员的日常工作是否有帮助呢 二、AI智能对话初体验 注册账号后,通过对话,我们来看一下AI会教我们怎么去学测试呢? 怎么判断自己目前是否适合转行做测试? 软件测试的基本流程是什么? 数据库怎么去学? 测试环境怎么搭建? 自动化框架的设计思路? 测开要具备哪些技能? 面试时怎么谈薪资? 印象深刻的bug? 接口幂等什么意思? 自动化测试的高频面试题 如何在团队中推广自动化测试? UI自动化定位不到元素有哪些原因? 看到这,你是不是以为AI是万能的呢?
新智元报道 编辑:编辑部 【新智元导读】还有什么领域没有被AI渗透?继音乐之后,首个AI游戏引擎已经完全凭几个字,就能创建游戏资产和动画了。 老黄预测,未来5-10年我们将看到完全由AI生成的游戏。 「未来5-10年,我们可以看到完全由AI生成的游戏」。 这是近日GTC 2024大会之后,黄仁勋接受媒体时采访时发表的最新看法。 近日,一家专注研发无代码游戏引擎的初创公司BuildBox AI,发布了新一代AI游戏引擎——Buildbox 4 Alpha。 - AI场景生成:描述您想要的场景,从诡异的墓地到霓虹灯城市,几分钟内构建整个游戏环境。 - 快速AI编辑和手势绘制工具:只需快速点击或滑动,就可以使用基于AI和手势的绘制工具动态进行更改。 就连老黄也表示,这只需要5-10年的时间。Bethesda仍在推进下一代《上古卷轴》游戏的开发,预计2028年推出。微软和新XBox也是如此。 所有这些游戏,都将在10年后被扫地出门。
准备需求文档与测试范围定义:在启动AI编写测试用例前,需要先明确测试目标和范围。首先要准备详细的需求文档,包括功能描述、业务逻辑、用户场景等关键信息。 明确测试范围有助于AI更聚焦地生成相关测试用例,避免生成无关或超出范围的内容。 AI工具选择与配置:根据前期工作,可选择codebuddy、cursor、trae等AI编辑器或cherrystudio等API调用工具。 不同工具各有特点,AI编辑器适合直接在编辑器中进行测试用例的编写和修改,操作便捷;而API调用工具则可以集成到现有的测试流程或系统中,实现更自动化的测试用例生成。 生成用例:处理用例:然后就可以复制用例,当然只是简单演示,重点就是智能体的设定,需要告知ai以什么形式返回。其他工具同理。
据2024年Apex.ai《全球质量工程趋势报告》显示,73%的头部科技企业已在性能测试环节引入AI能力,平均将高危性能缺陷检出时间缩短68%,资源消耗降低41%。 这并非技术噱头,而是测试范式从‘验证正确性’向‘预测风险性’的战略跃迁。本文聚焦AI如何真正赋能性能测试效能革命,为测试专家提供可落地的技术路径与实践洞察。 一、AI不止于‘自动化’:重构性能测试的认知边界 很多团队误将AI测试等同于‘用AI写脚本’,实则大谬。 人机协同层:AI不是替代测试工程师,而是扩展其认知带宽。 结语 AI驱动的性能测试优化,终极目标不是让机器跑得更快,而是让质量决策更早、更准、更稳。
01 AI测试工具概述 AI测试工具是利用人工智能(AI)和机器学习(ML)自动化和优化软件应用程序测试过程的软件解决方案。 这些工具通过使用AI算法来识别模式、检测错误,甚至预测应用程序中的潜在故障,从而增强了传统的测试自动化。与传统的测试方法不同,AI测试工具能够适应代码的变化,使它们对动态和复杂的应用程序更加高效。 10 Test.ai 最适合移动应用测试 Test.ai 提供专门为移动应用程序设计的人工智能驱动解决方案。它能自主生成并执行测试,确保你的应用程序在部署前没有漏洞。 17 Gru.ai 最适合智能自动化测试 Gru.ai 是一款新兴的、由人工智能驱动的软件测试工具,专注于智能自动化测试。它运用机器学习来预测测试场景、识别瓶颈,并减少自动化测试中的误报情况。 测试资料),欢迎对技术感兴趣的朋友一起来交流使用~ 点击下方关注公众号《测试开发技术》,获取免费测开学习路线、简历模板、面试真题、AI测试、AI 编程、自动化测试、测试开发资料教程等。
在420张X光片上进行测试的ChexNet在灵敏度(正确识别阳性)和特异性(正确识别阴性)方面优于四名放射科医师。 为了使系统做得更好,研究人员Stephen Weng及其同事为英国378256名病人测试了几种机器学习工具。 然后Weng的小组测试了另外25%的记录中的模型,看他们如何准确地预测心脏病发作和中风。他们还测试了该部分记录的标准指南。 为了测试算法的性能,研究人员找来斯坦福医学院的21名皮肤科医生。实验中,算法和人类医生需要完成三项任务:角质细胞癌分类、黑素瘤分类,以及使用皮肤镜检查的结果对黑色素瘤进行分类。 在最后一项测试中,研究人员仅使用了高质量、经活检证实的恶性黑色素瘤和恶性癌的图片。研究人员让参与测试的人类医生观看这些图片,并询问他们是“进行活检、治疗,还是安慰病人”。
ImageApparate(幻影) 为了解决这个问题,腾讯云容器服务 TKE 团队开发了下一代镜像分发方案ImageApparate(幻影), 将大规模大镜像分发的速度提升 5-10倍。 ? 如上所述,相比于传统的下载全部镜像的方式,ImageApparate 在容器全部启动时间上都有 5-10倍 的提升。 而且本测试主要并不只是关注容器创建时间,而是继续测试了从容器启动到业务进程可以提供服务后的总体时间: 顺序读取 500MB 大文件测试了包括从容器启动后到顺序读取 500MB 文件完成后的时间 随机读取 1000 小文件测试了包括从容器启动后到随即读取 1000个 4k-16k 完成后的时间 执行 python 程序测试了包括从容器启动后加载 Python 解释器执行一段简单的 python 代码完成后的时间 执行 gcc 编译测试了包括从容器启动后执行 gcc 编译一段简单 C 代码并运行完成后的时间 ImageApparate 方案设计 传统模式的问题 自 Docker 发布以来云计算领域发生了巨大的变革
每日AI知识点 · 第12期 AI + 测试 用 AI 重塑软件质量保障 用例生成 智能执行 缺陷预测 智能报告 AI 如何改变测试 第一章 AI 用例生成:从需求到用例只需5分钟 第二章 智能执行 & 缺陷预测 第三章 ️ AI 测试工具全景 第四章 AI 测试落地四步法 第五章 AI 测试能力成熟度模型 对照下表 L3 进阶 智能执行+AI报告分析 建立缺陷预测能力 L4 高级 缺陷预测+智能回归 探索全自主 AI 测试 今日金句 AI 测试 = 更快发现缺陷 + 更广覆盖范围 + 更少重复工作 AI 不会替代测试工程师 ,但会用 AI 的测试工程师会替代不用 AI 的。 用例生成 · 效率提升10倍 缺陷预测 · 提前发现问题 智能执行 · 自动维护脚本 智能报告 · 一键质量洞察 你在测试工作中用过 AI 吗? 是用 AI 生成测试用例?