可见,要想有效管理某个事务,就需要将它全面且有效地度量起来。 质量度量体系如何建设? 大家都知道作为测试人员,主要任务是质量保障,保障线上环境没有故障和缺陷,最终交付给真实用户的质量,即交付质量。 那么,质量度量是不是只关注交付质量指标就足够了呢?答案显然是否定的。因为如果只关注交付质量,往往达不到提升交付质量的目的。 一、对于线上的交付质量,可以通过以下维度进行度量 从上述指标不难看出,保障交付质量是要努力减少线上故障和线上缺陷,降低故障级别。 二、交付过程中的质量度量 1、需求阶段,可以通过以下维度进行度量 一般来说,需求质量 Bug 数应该占总 Bug 数的 5% 左右。需求评审打回的标准可以是发现 5 个逻辑类的问题。 三、质量度量的认知 追求单一或局部指标的提升比较容易,但很容易产生扭曲行为,构建指标体系并整体提升才是正确的路。
前两天PMO因为想了解开发人员的工作质量,所以要求测试部协助出具一组数据,即在测试人员发现的bug中,有多少应该在开发阶段就通过自测发现。 第二个原因是高层掌握的项目质量相关数据可能没有我们全面,如果我们提供了一些简单的、抽象的数据给高层,可能会导致他们做出错误的决策,也就是说通过度量信息有时候并不能完整的说明一个项目的整体情况。 在整理度量数据的时候,先把目的弄清楚,也要知道自己在统计什么数据,谁将看到这些数据,要了解度量的条件背景。。。我做度量的目的重要有两个:这个数据是否有助于提高质量,或者是否有助于提升开发的效率。 质量度量这个事可以多去尝试,多利用度量帮助项目干系人了解项目进展,以及各个方面的质量状况。
质量度量是指我们采集了一些产品研发过程及上线后质量相关的数据,经过聚合计算,通过图表、质量分等方式呈现出来这件事。 在业界也有一些关于这方面的分享,比如“质量运营”,“数字化软件过程”,“质量罗盘”等,今天我们就来分享一下做质量度量的过程与思考。 一、背景与目标 为什么做这件事? 之前关于质量相关的数据都是散落在各个系统,查看起来不方便,并且无法以我们关心的维度、指标去看这些数据,为管理与质量运营做支撑;因此想通过做质量度量,达到让关心质量的小伙伴查看部门、应用等维度产品的质量做的怎么样 2.4 呈现方式 我们会将一类数据的指标放到一个页面呈现,称为度量组页,用户首先会进到一个质量概览页,这个页面会呈现质量分、一些关键指标的变化信息,从这里可以进到具体的指标组页,会有横向、纵向等更详细信息的展示 四、总结 质量度量在测试与效能团队共同努力下,经过前后三个迭代的不断完善,功能在9月份全部上线完成。总结经验教训,在产品设计上我们需要明确用户是谁?面临什么问题?具体场景是什么?
本篇是来自EclairColor的软件工程师Francois Helt带来的演讲,主题是:“感知色彩质量度量”。 附上之前的一篇相关帖子:使用色差指标评估HDR和WCG图像质量
(产品质量走势分析,可以帮助对项目接下来的走向做出预测和问题防范) 接下来的问题就是如何用数据去度量以上这些指标,我们来做一个罗列: 产品完成情况度量: 需求通过率 功能点通过率 风险规避情况 产品质量度量 : 测试通过率 缺陷密度 缺陷严重级别分布 缺陷类型分布 缺陷模块分布 缺陷修复率 测试完成度: 用例覆盖率 测试执行率 测试通过率 研发质量度量: 缺陷生存周期 测试用例命中率 二次故障率 缺陷有效率 缺陷探测率 缺陷移除率 测试依据稳定性 计划偏离度量: 工作量偏离度 工作进度偏离 预算使用比例 问题等待时间 产品质量趋势: 缺陷到达率 缺陷收敛度 缺陷引入率 注意:1. 度量指标详解 接下来的问题是,这些指标如何收集和计算,我们用表格来展示。 ? 几点补充说明: 1. 取决于项目成熟度和组织形式,这26个指标的可采集度是不同的。 以上就是选取了一些便于采集的数据(并非所有),制作的质量度量报告,规模并不算大,适宜做为月或者周报告。 如果是总体报告,那么可以考虑采集更多数据,丰富报告的内容。
我在前面的文章《聊聊我对质量度量的看法》中曾谈到线上缺陷逃逸率的话题。 (测试体系效率); 质量度量不清晰,无法很好的评估需求/过程/交付质量(质量度量和改进); 上述几条现状,是影响我们日常工作顺利开展的元凶,也是大家吐槽测试背锅的原因。 当然,在项目启动阶段,一定要注意如下几个事项: 获得高层支持(确保足够的资源投入); 设定清晰、可度量、可实现的目标(质量度量和改进本身就是成本); 成立正式&专门的改进小组(确保人的投入、权力到位和明确的责任 「用户使用质量」 用户使用质量,指的是软件线上发布后,我们对用户使用过程进行追踪并采集数据进行评估度量的过程。 ,不包含业务活动的范围); 最后,所有的质量度量和改进措施,在实际应用实践中应该“量力而为”,因为质量本身就是有成本的。
门禁的顺利实施肯定离不开各个部门的大力配合,为了能让各部门在这个过程中体现出各自的成绩,需要准备几个度量项目,让大家能把故事讲好。 已经有的指标,金银铜奖牌榜 在试点期间,将质量门禁设置成了金银铜三档,代表不同的质量要求,如单元测试覆盖率等。 这个榜单对于促进质量门禁的实施还是起到了一定的效果,特别是在和高层的沟通时,由于易于理解,可以说是讲好了质量门禁的故事。 希望团队达到什么样的质量内建目标? 度量是为了改进目标服务的,通过度量来牵引团队做期望的事情,最终达到期望的改进目标。 那么,质量内建的目标是什么呢? 因此,可能只要关注以下的一个指标就够了 质量门禁的通过率= 质量门禁的通过次数/总扫描次数 前提是:质量门禁带电
关于质量度量,业内已经有很多资深的同学分享过他们的观点和看法,也有很多文章聊过这个话题。这篇文章我想从我的角度出发,聊一些关于质量度量,不一样的理解。 质量需不需要度量? 先聊第一个问题:质量需不需要度量? 答案显而易见:质量需要度量,而且需要持续的度量!为什么呢? 我们所从事的软件测试工作(随着技术不断发展,现在也叫作质量保障),工作的目标就是一个个软件系统。 质量度量的本质,是具体的定量,而非抽象的定性。 质量度量有哪些指标? 前面的文章聊到过,质量保障需要达到“风险可识别+问题可追踪+结果可验证+数据可量化”,才能最大限度的实现其价值。 CKL老师也在之前的文章《团队交付质量如何评估》中,提到过“业务可验收、研发可实现、测试可验证、部署可交付”等类似的理念,其实本质都是在描述质量度量和评估的目标。 那么,质量度量有哪些指标呢? 质量保障不仅仅是QA同学的事情,因此质量度量也不能只关注测试维度; 度量指标需要根据团队特性和业务具体情况来制定,并且需要评估是否合理,而不是强行制定强行执行; 质量度量是为了保障最终交付质量能更好的满足用户需要
摘要 数据质量度量是基于数据湖和XDR技术实现安全运营流程加速的关键环节。系列文章将从多个角度着手,给出定性、定量的度量方法。 告警疲劳现象严重影响了安全运营团队的运营成效:运营专家绝大部分的时间精力消耗在低质量低风险告警及事件的研判过程中,高隐匿性攻击行为的少量关键线索难以被快速召回。 造成这一现象的一个关键影响因素在于,大规模收集的日志、告警、事件等数据的质量层次不齐,难以为运营过程提供足够且有效的信息量支撑。 为此,观测、记录、分析、优化威胁检测数据的质量,是提升安全运营能效的关键环节。
有同学留言问了这样一个问题:想在团队内推动质量度量落地,对每版本迭代的交付质量有更好的评估,但没有太多的实践经验,有没有什么落地方法或者注意事项。首先聊聊质量度量本身,即质量需不需要度量? 答案显而易见:质量需要度量,而且需要持续的度量!为什么呢?我们所从事的软件测试工作(随着技术不断发展,现在也叫作质量保障),工作对象就是软件系统。 质量保障是一个体系化和长期建设的过程,而质量度量作为最重要的一环之一,在落地过程中需要持续跟进和优化。质量保障不仅仅是QA同学的事情,因此质量度量也不能只关注测试维度。 度量指标需要根据团队特性和业务具体情况来制定,并且需要评估是否合理,而不是强行制定强行执行。质量度量是为了保障最终交付质量能更好的满足用户需要,进一步达成业务目标,而非为了度量而强行度量。 质量度量并非一蹴而就,在软件不同的生命周期和团队成熟度阶段,度量的范围和执行严格程度要灵活变通。最后,分享一些我对于软件质量度量的一些思考。1、不要为了度量而度量,找到合适的度量对象很重要。
后台有同学留言问了这样一个问题: 想在团队内推动质量度量落地,对每版本迭代的交付质量有更好的评估,但没有太多的实践经验,有没有什么落地方法或者注意事项。 首先聊聊质量度量本身,即质量需不需要度量? 答案显而易见:质量需要度量,而且需要持续的度量!为什么呢? 我们所从事的软件测试工作(随着技术不断发展,现在也叫作质量保障),工作对象就是软件系统。 质量保障是一个体系化和长期建设的过程,而质量度量作为最重要的一环之一,在落地过程中需要持续跟进和优化。 质量保障不仅仅是QA同学的事情,因此质量度量也不能只关注测试维度。 度量指标需要根据团队特性和业务具体情况来制定,并且需要评估是否合理,而不是强行制定强行执行。 质量度量是为了保障最终交付质量能更好的满足用户需要,进一步达成业务目标,而非为了度量而强行度量。 质量度量并非一蹴而就,在软件不同的生命周期和团队成熟度阶段,度量的范围和执行严格程度要灵活变通。 最后,分享一些我对于软件质量度量的一些思考。 1、不要为了度量而度量,找到合适的度量对象很重要。
adaptive double plateaus histogram equalization》中,提到的了评价指标EME( measure of enhancement by entropy),熵增强度量 ,这是图像增强的典型定量度量,来评估算法在对比度改进方面的性能。
质量度量指标就是用一组数据来客观衡量产品研发环节的各方面情况,作为评审和决策的依据。 而为了能够在产品发布前,对产品质量能够做出比较准确的判断,需要清楚质量的属性,这就需要建立质量模型。 摆正观点:产品质量度量原则 产品质量度量或研发效能度量的原则:不要与绩效挂钩,而应该作为参考和工具,帮助团队提高效能和产品质量。 质量度量目标 研发质量度量核心思想一句话来概括:目标驱动,度量对的事;先从全局上找瓶颈,再深入细节;两个基本原则: 度量应聚焦在全局指标而不是局部指标 聚焦在结果产出而不是某阶段工作输出 围绕度量的核心思想和基本原则 产品质量度量「V2」模型 接下来,分享一下,笔者公司对质量度量的一些实践经验。 4.1 全产品质量度量 1、全产品研发质量度量指标导图: [007S8ZIlgy1gg3jx10t6kj30l40hdacy.jpg] 4.2 各产品之间质量度量对比 1、各产品研发质量度量指标导图:
(图一) 本文就给大家聊一聊关于产品质量度量以及研发效能度量的内容,并分享一些笔者在公司内部的度量实践和观点,希望对大家有所启发。 1. 摆正观点:产品质量度量原则 产品质量度量或研发效能度量的原则:不要与绩效挂钩,而应该作为参考和工具,帮助团队提高效能和产品质量。 质量度量目标 研发质量度量核心思想一句话来概括:目标驱动,度量对的事;先从全局上找瓶颈,再深入细节;两个基本原则: 度量应聚焦在全局指标而不是局部指标 聚焦在结果产出而不是某阶段工作输出 围绕度量的核心思想和基本原则 产品质量度量「V2」模型实践 接下来,分享一下,笔者公司对质量度量的一些实践经验。 4.1 全产品质量度量 1、全产品研发质量度量指标导图: ? 4.2 各产品之间质量度量对比 1、各产品研发质量度量指标导图: ? 4.3 单产品质量度量 1、单产品研发质量度量指标导图: ?
所以,我们也许该换个角度看看 “软件度量” 与 “软件质量” 之间的关系。 @ 首先,也许我们就该认为软件度量与软件质量之间是 “没有” 任何 “直接” 的关系的;也就是说,没有任何的软件度量能 “完全、直接、正确” 的界定软件质量的好、坏、优、劣。 @ 当软件度量与软件质量之间没有任何直接的关系时,那软件度量要拿来做什么?软件质量又要从何而来? @ 软件度量应该是要用来做 “决策”的。 @ 软件质量的界定;好、坏、优、劣;应该是来自于 “决策”,而不是直接的来自于软件度量。 所以,我们不应该将软件度量与软件质量直接的就藕合在一起;而是要将软件度量与软件质量之间,以 “决策” 将两者给完全的隔离。
,Mask R-CNN在物体边界的分割质量比较差,但是使用Mask IoU衡量这3种方法的分割质量,Mask IoU指标并未拉开太大的差距。 相比之下,作者提出的Boundary IoU对物体边界的分割质量很敏感,能够很好地评价不同的分割算法对于物体边界的分割质量。 2.1 Mask IoU Mask IoU的缺点在于,当用它测量分割算法对大尺寸物体边界的分割质量时,其得分偏高,高于真实的分割质量。 其一,应考虑所使用数据集的标注质量,当数据集的标注质量比较高时,使用较小的;当数据集的标注质量比较低时,使用较大的;其二,考虑主流算法的性能所允许的测试严格程度,若想严格衡量边界分割质量,则使用比较小的 为了比较Mask AP和Boundary AP对边界分割质量的敏感程度,使用ground truth中的类别和定位替换网络输出的类别和定位信息,使用两种度量方式衡量网络输出的分割结果,如下表所示: 在上表中
题目 X星系的的防卫体系包含 n 个空间站。这 n 个空间站间有 m 条通信链路,构成通信网。 两个空间站间可能直接通信,也可能通过其它空间站中转。
度量相似性(similarity measure)即距离度量,在生活中我们说差别小则相似,对应到多维样本,每个样本可以对应于高维空间中的一个数据点,若它们的距离相近,我们便可以称它们相似。 距离度量的基本性质 ? 注意最后一个可以理解为三角形两边之和大于第三边。 欧式距离 欧几里得度量(euclidean metric)(也称欧氏距离)是一个通常采用的距离定义,指在m维空间中两个点之间的真实距离,或者向量的自然长度(即该点到原点的距离)。 若我们定义的距离计算方法是用来度量相似性,例如下面将要讨论的聚类问题,即距离越小,相似性越大,反之距离越大,相似性越小。 这时距离的度量方法并不一定需要满足前面所说的四个基本性质,这样的方法称为:非度量距离(non-metric distance)。
小编:上篇《定义和控制》介绍质量管理中,要先确定质量目标,要遵循的必要过程和相关资源,然后QA在现有流程体系框架指导下,对项目执行过程中的关键点和薄弱环节进行审核和检查,提前发现不合规问题和操作风险。 本次《度量和改进》请徐玲同学继续为大家解答如下问题。 规范操作和流程化是否能带来质量和效能上的提升?研发和运营结果是否达成项目目标和要求?如何衡量这些效果?有什么机制去保证衡量的完备性和有效性? 要回答这些问题,我们就要从质量、效率、成本、服务四个维度建模,并通过目标驱动的方法,梳理出网平项目当前最必要的度量项和指标,以帮助项目团队发现主要矛盾并推动解决。 度量模型中各维度的度量项,是根据当时关注的重点或核心矛盾设置的,前文已经介绍过,在12年中网平运营质量问题突出,为有效的分析运营故障高起的原因并解决它,可以看到,当时的度量重点集中在软件运营层面。 【结语】 从以上介绍中可以看到,网络平台部的质量管理活动贯穿软件生命周期全过程,QA就是这个项目的专属医生,通过诊断(审计)、检查确诊(度量)、治疗(持续改进),发现并医治好这个项目一个个毛病和问题,形成质量管控的闭环管理
专栏链接:数字图像处理学习笔记 ---- 二、数字图像的度量 关于数字图像的度量,有欧氏距离、曼哈顿距离、切比雪夫距离之分 对于坐标分别为(x,y),(s,t),(v,w)的像素p,q,z 欧几里得 ),所以1个字节表示1个像素 对于真彩色图,3个字节表示一个像素(因为真彩图有R、G、B三个通道) ---- 四、数字图像的质量 ★灰度级 表示像素明暗程度的整数量