支付链路的质量底线是什么? ——测试平台如何构建稳定可靠的支付防线? 在所有业务链路中,支付 永远是最敏感、最关键、风险最高的一环。 这篇文章,我从“质量底线”与“测试平台建设”两个角度,聊聊支付应该怎么做、怎么测、怎么守。 一、支付链路的质量底线:不能退让的 7 件事 一句话概括: 支付的底线,就是金额正确、状态一致、流程可恢复、账务可追溯。 拆成细项,是所有支付系统必须守住的 7 条红线。 测试平台需要做的,不只是“跑用例”——而是构建一整套支付质量防线。 下面是从测试平台视角出发,可以落地的能力体系。 (E)质量左移:研发阶段提前兜底 10|静态扫描:把金额风险提前消灭 自动识别: 金额来自客户端(高危) 无幂等保护 金额计算精度不一致 回调未做锁或并发保护 让高风险问题不进入联调环节。
在质量管理过程中,一个核心的概念就是 "质量成本" ,但是很多人对它并不是很了解,今天这篇文章,芒果就来介绍一些 “质量成本” 有关的知识。 预防成本:为了预防故障而支付的费用,包括质量策划、人员培训等费用。 3. 鉴定成本:为了评定质量而进行各种检测活动所产生的费用,包括检验设备、检测人员工资等费用。 4. 失败成本:产品不能满足质量要求而产生的损失,包括交付前的返工、停工、质量事故处理以及交付后的产品售后维修、客户赔偿等费用。 5. 利润:销售收入减去各种成本后结余的资金。 然而,很多人却忽视了收入构成中质量成本的重要性,从下图展示的现代质量模型中我们可以看到,随着产品的合格率升高,预防成本和鉴定成本有所升高,而失败成本(故障成本)有所下降,通过有效的质量管理方法,保持质量成本 现代质量模型,摘自网络 思考: 你所在的企业有关注质量成本吗?如果有,是通过什么方法进行调节的?
数据质量评估软件Fastqc图片(rna) Mar402 20:38:07 ~/project/Human-16-Asthma-Trans/data/rawdata #-t 6 同时对这6个文件进行质控 fastq.gzfastqc运行#方法一:直接运行 #缺点霸占控制台和时间fastqc -t 6 -o ./ SRR*.fastq.gz#方法二:在命令前后加上nohop & 使用FastQC软件对单个fastq文件进行质量评估 multiqc *.zip -o ./ #-o 整合到当前目录再将整合的网页版文件下载到本地 (pic Multi QC)图片·对于转录组数据中的%Dups只要不超过80%即可图片图片图片图片图片过滤低质量是否需要过率低质量主要看 --per base N content、sequence quality Histograms 、adapter content 图片图片单个样本过滤低质量运行(rna) Mar402 20:59:04 SRR1039510_2_val_2_fastqc.zipSRR1039510_1_val_1.fq.gz SRR1039510_2_val_2.fq.gz多个样本过滤低质量运行
最近,公司安排了一系列质量培训的线下课程,芒果作为测试与质量部的一员,也加入到质量知识的学习之中。 上次培训的内容是《质量意识与管理》,课程中为了讲述质量的重要性,列举了质量与个人的关系,里面的一些案例非常有意思,芒果想在这篇文章和大家分享。 上面的这个故事虽然看似不合常理,例如军方严格要求良品率达到100%,但是也确实强调了质量的重要性,在一些重要领域,品质问题上是没有折扣可言的,因为即使是成功率达到99.9%,只要还有0.1%的概率,质量问题就可能导致一个家庭的悲剧发生 质量与我们每个人息息相关,注重品质,从自身出发,最后也是对自己负责。
用户需求是衡量软件质量的基础。 除满足明确定义的需求外,还要满足隐含的需求。 ? 因此评审对于保证软件质量和降低开发成本都极为重要。 评审可以在软件项目的任何阶段执行,不必等到软件可运行之后,因此可以尽早发现和消除缺陷,提高软件质量,并降低开发成本。 工作过程和工作成果符合既定规范,也并不意味着产品质量一定能得到保证。 因此过程检查只是保证质量的一个必要条件,而不是充分条件,它还需要与技术评审、软件测试、缺陷跟踪、过程改进等各方面措施互相配合,共同促进软件质量的提高。 过程检查计划一般包含在软件项目质量管理计划中。
当选择一个商品的时候,我们常挂在嘴边的一个词就是“质量”,这是影响我们选 择的一个很重要的指标。这一篇我们就来探讨一下什么是软件的质量。当然,都是个人的一些观点,不同意可以拍砖或者来探讨。 质量这个词用得 太普遍以至于混乱,有时候它表示质量这个指标,有时候它隐含质量好的意思。 而且不可避免的,好的质量常常和它的反面联系在一起,就好像以前的“质量万里 行”,或者现在的3.15,列出的都是质量方面的问题,好像很少宣扬质量好的产品。 所以很多时候,我们看质量是从反面(缺陷,或者质量不好的地方)来看 的。在下面讨论的时候我们也会用或正或反的例子来看。虽然是在探讨软件的质量,但是为了便于理解,可能也会举别的产品的例子。 所以下面我们得出质量的第一个方面。
项目质量 项目质量体现在性能和使用价值上,即项目的产品质量。项目质量是应顾客的要求进行的,不同的顾客有着不同的质量要求,其意图已反映在项目合同中。因此,项目合同通常是进行项目质量管理主要依据。 、质量保证和质量控制以及质量改进来使其实现所有管理职能的全部活动。 其实质量管理就是为了实现质量目标而进行的所有质量性质的活动。在这里,我们看一下质量保证和质量控制的区别: 质量保证(QA):质量管理的一部分,致力于增强满足质量要求的能力。 质量保证和质量控制也是我们项目质量管理的两个重要过程,后面我们就会具体的学习到。除此之外,还有质量方针和质量目标也是需要我们了解的。 全面质量管理有 4 个核心特征:全员参加的质量管理、全过程的质量管理、全面方法的质量管理和全面结果的质量管理。
数据,最终是要服务于业务价值的,因此,本文不会单纯讲解理论,而是会从数据质量监控这一数据的应用为出发点,为大家分享居士对数据质量的思考。 通过本文,你将获得如下几方面的知识点: 数据质量核心关注的要点 从数据计算链条理解,每一个环节会出现哪些数据质量问题 从业务逻辑理解,数据质量监控能带来的帮助 实现数据质量监控系统时要关注的点 数据质量监控面临的一些难点和解决思路 0x02 数据处理各环节的数据质量 数据质量监控之所以难做,是因为在数据的各个环节都会出现数据质量的问题。因此,本节将以一个典型的数据处理链条为例,为大家分享在每个阶段容易出现哪些数据质量问题。 0x03 业务流程各环节的数据质量 聊完数据处理,我们继续聊一下业务流程。数据最终的价值是要服务于业务的,因此数据质量最好也是能从解决业务问题出发,因此,本节从典型的业务场景来讲解数据质量该怎么做。 0x04 如何实现数据质量监控 前面分享了数据质量关注的点,以及从技术和业务角度会如何关注数据质量,本节将简单地分享一下如何实现数据质量监控。这里将分两个角度:宏观的设计思路和技术实现思路。
质量保证与质量控制 项目质量管理的两个核心过程就是实施质量保证和控制质量。 实施质量保证 质量保证通过用规划过程预防缺陷,或者在执行阶段对正在进行的工作检查出缺陷,来保证质量的确定性。 实施质量保证的活动包括: 制定质量标准 制定质量控制流程 提出质量保证所采用的方法和技术 建立质量保证体系 实施质量保证的内容包括: 要制定出切实可行的质量管理计划 应安排独立于项目组的 QA 人员负责 质量审计:又称质量保证体系审核,是对具体质量管理活动的结构性的评审。 强有力的领导(包括制定公司质量管理方针、选择质量标准或制定质量要求、制定质量控制流程、提出质量保证所采取的方法和技术、提供相应的资源) 建立组织级项目管理体系 建立组织级质量管理体系 建立项目级激励制度
本篇分享一些和数据质量监控相关的内容。数据质量监控是一个在快速发展的业务中最容易被牺牲和忽略的功能,但是它确实至关重要的。 文章结构 数据质量监控的意义和价值就不再谈了,本文主要讨论下面三个主题: 数据质量监控要做哪些监控内容 该怎么做 数据校验 文中会涉及到数据仓库其它的一些知识点,请参考之前的文章。 元数据系统:数据质量监控本来也算是元数据系统的一部分,我们这分开来讲,但是无论如何,在配置表的告警信息时,还是要和元数据系统结合的。 ? 下面会分开来分析一下这几个组件。 主要就是说如何判断自己的数据是正常的、可以被信任的,这一块在数据质量中应该是十分重要的。 方法的话可以有交叉验证、异常波动监控等,暂时先不分享了,后面自己理清楚了再说。在这里就当提个醒。 0xFF 总结 本篇主要分享了一些和数据质量监控相关的内容,有一些泛泛而谈的感觉,但是理清思路后很多实现起来也是很简单的, 想做个简单能用的出来,用python半天就能搞定。
一、质量成本 克劳士比的一个核心思想就是质量免费,而我们知道,质量活动,总是要有成本的,这个成本称为质量成本,而质量免费的理念其实挺简单,就是通过质量活动而节约的成本,多于质量成本,这样子,质量提升了, 那么既然有种方法,可以节约成本,而且还提高质量,那么何乐而不为呢? 问题的关键是,这件事有这么简单吗? 《质量免费》中,把企业分为五个阶段,并给出了不同的质量成本,下面简单列一个。 2.5% 上表想告诉我们两件事: 1、 随着对质量管理成熟度越来越高,所花的质量成本越来越低 2、 质量成本不好统计,可能统计出来的是3%,实际上却可能是18% 好了,现在问题来了,我们担心的是, 我们显著提到前期的质量成本,能否最后节约成本,做到质量免费? 是加强质量意识宣传,还是做各种质量审计?是做质量回溯、惩罚责任人,还是赞赏优秀者?
但是很多开发者仍然不能写出高质量的代码。如何才能写出高质量的代码?我想这是很多开发者关心的问题。所以我总结了七个问题,我们作为开发人员每次代码commit时应该问自己是否做到了。 Q 这是对的吗? 加上现代化的编程工具,你的代码质量就会逐渐提高。软件的成败取决于很多因素,往往不是程序员的错误。但是成功的软件一定是需要高质量的。开发者只有时刻注重代码的质量,才能为成功的软件做出贡献。
数据质量理论部分 1 相关概念 【数据质量】 数据的一组固有属性满足数据消费者要求的程度。 【数据质量管理】 数据质量管理,是指对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题,进行识别、度量、监控、预警等一系列管理活动,并通过改善和提高组织的管理水平使得数据质量获得进一步提高 2 处理问题流程 确定规则:数据质量指标 发现问题:数据质量检核 提出问题:质量问题告警 解决问题:质量问题分析 归纳问题:问题管理流程 3 主要功能模块 1).质量评估 提供全方位数据质量评估能力,如数据的重复性 通过质量评价体系和质量数据采集系统,可以发现问题,之后还需要对发现的问题及时作出反应,追溯问题原因和形成机制,根据问题种类采取相应的改进措施,并持续跟踪验证改进之后的数据质量提升效果,形成正反馈,达到数据质量持续改良的效果 5).质量报告 系统提供了丰富的API可进行定制化数据质量包括开发,另外系统内置了常用质量报告。 6).质量分析 提供多种问题分析能力,包括血统分析,影响分析,全链分析,定位问题产生的根源。
强化数据质量和来源控制- **数据筛选**:在训练大模型之前,应严格筛选和清洗数据,去除或标记不准确、有偏见或不真实的数据。
而在应用架构中,质量治理还是非常重要的一块儿。无论是日常工作,还是面试,亦或者是同行沟通,应用架构的质量治理都是常客。举个例子,日常开发中,我们经常需要评估程序的性能,并为性能优化做出努力。 二、属性 系统质量属性,代表着架构的核心维度,各个维度的取舍体现了架构师的tradeoff能力。 系统质量属性有很多,划分&组织方式也有很多(如运行时&编译时),这里只是谈一谈日常较为常见的内容。 通过数字化技术来实现流程的稳定性,实现管理的精度,降低项目实施在质量上的波动。 CMMI五级,优化级。 三、流程 质量治理涉及的流程,可以参照集团的安全生产(如《安全生产指南》)。 质量流程 流程: 安全生产: 核心:可监控、可灰度、可回滚 容量预估、【核心】、复盘、快速止血、 PS:不站在架构角度,而是站在编码角度,可读性是很重要的。
前言 软件已经称为人们生活中很重要的一部分,也正式因为其重要性,人们对其质量要求越来越高,人们希望开发高质量软件,但是由于受到市场因素的研制,不可能达到完美这个标准。 ISO9126 质量模型 ? 质量不是被测出来的,而是在开发过程中逐渐构建起来 虽然质量不是测出来的,但是未经过测试也不可能开发出高质量的软件 质量时开发过程的问题,测试是开发过程中不可缺少的重要环节 ? 商业环境下的软件质量 软件质量的重要性毋庸置疑 那么是不是质量越高就越好 软件产品是否应该追求”零缺陷“ ? 商业目标决定质量目标: 商业目标决定质量目标,不应该把质量目标凌驾于商业目标之上 质量是有成本的,不可能为了追求完美的质量而不惜一切代价 理想的质量目标不是”零缺陷“,而是恰好让广大用户满意 ?
被滥用的instanceof instanceof滥用, 或者直接强转, 大都数情况可以用方法override, 而且应当避免使用isA(), isB()之类的写法; 比如sonA和sonB都继承自parent, 其中sonA和sonB想对parent里方法move()各自拥有独立的实现; 1 // 错误写法1 2 void test(parent p) { 3 if (p instanceof sonA) { 4 ((sonA) p).moveA(); 5 }
前言 在项目中,我们经常需要用到不同的工具对项目质量进行评审。使用不同的质量工具可能得到的结果不太一样。下面简单说下项目中常用到的质量分析工具因果图。 释义:什么是因果图 因果图又称为石川图、Ishikawa或鱼骨图,它把影响质量诸因素之间的关系以树状图的方式表示出来,使人一目了然,便于分析原因并采取相应的措施。 在上世纪60年代,在朱兰和戴明访问日本的时候,日本掀起了一场“质量革命”运动,整个日本的管理层和基层都对其进行拥趸(这个可能和当时日本的资源环境有一定的干系)。 在这样的时代背景下石川馨在川崎重工船厂创建质量管理过程时发展出石川图。 就是从6个方面去分析造成质量问题的原因,然后进行改进。 5M1E分析法: 人(Man/Manpower): 操作者对质量的认识、技术熟练程度、身体状况等。
一、数据质量管理VS数据质量平台能力对比 1.1 数据质量管理-功能描述 AIIData数据中台数据质量管理,提供了全面的数据质量管理功能,包括数据质量报告统计、创建和执行质量任务、新增质量规则以及定时执行任务的设置等 1.2 数据质量平台-功能描述 AIIData数据中台的数据质量平台,基于开源项目DataVines构建,实现全流程质量闭环管控。 3.1.4 数据源支持 3.1.5 数据质量支持 3.2.1 数据质量平台-功能定位 数据质量平台(DataVines)是一款自动化数据质量检测与治理工具,通过技术手段实现数据质量规则配置、监控、问题告警与修复建议 3.2.2 数据质量平台-功能特点 ● 轻量化与开源生态作为一站式开源数据可观测性平台,数据质量平台(DataVines)具有低依赖性、易于部署的特点,支持快速搭建数据质量监控体系。 五、 应用场景适配数据质量管理在跨部门协作场景中(供应链数据共享),需明确数据所有者、生产者、消费者职责。通过数据质量管理模块,可定义数据质量规则的责任人,并设置跨部门协作流程。
“Vincent,老板让我发一份软件质量报告,你有模板吗?” “是测试报告吗?” “No,No,应该不是测试报告,是质量报告。” 当然,测试的报告也能反应出一个产品的质量,但是他的衡量一般不够直观(比如缺陷数量这种数据,由于软件规模不一样,是不能用来对软件质量进行客观评价的)。 而质量报告,则以产品质量为出发点,核心关注内容就是产品质量。测试工作量及相关问题,则不是他关注的重心。 如果说测试报告是向直接领导汇报工作,那么质量报告则是向利益干系人报告产品情况。 (测试没有完成的部分可能存在风险) 我们的研发过程质量如何?(过程质量也是质量,实际上我们认为产品质量根源于过程质量而非测试) 我们的产品研发计划是否存在偏离? 再者,质量报告以报告产品质量为目的,不同于测试总结报告。