【rainbowzhou 面试15/101】技术提问--数据质量管理的流程有哪些？

在前面的系列文章中，我讲述了如何用一些大数据的测试方法来保障数据质量，那么还有其他方法吗？当然有，即数据质量管理的方式来保障数据质量。今天先从数据质量管理流程聊起，来看看如何更加全面、系统的管理数据质量，从而使数据变得更有价值，希望对大家有所帮助。

数据质量管理流程

数据质量管理贯穿整个生命周期。基于不同时期，可以将数据质量管理周期划分为4个阶段(个人认为对于测试而言，可以由7个步骤简化为4个)。

1. 数据质量需求
2. 数据质量检查
3. 数据质量分析
4. 数据质量提升

概述

数据质量需求

数据质量需求明确数据质量目标，根据业务需求制定业务数据规则，并且按照行业的监管需求、相关标准来统一制定、管理。

数据质量检查

参照数据清洗的原理与方法对数据情况进行检查，从而发现数据质量问题，并向数据管理人员进行反馈。

数据质量分析

对发现的数据质量问题及相关信息进行分析，找出原因，定义质量问题优先级，作为数据质量提升的参考依据。

数据质量提升

对质量分析的结果，制定、实施数据质量改进方案，进而制定质量问题预防方案，保持质量。

过程目标

数据质量需求

1. 明确数据质量管理目标
2. 明确各类数据质量管理需求
3. 建立持续更新的数据质量规则库

数据质量检查

1. 制定数据质量检查计划
2. 监控组织数据质量情况
3. 建立数据质量问题管理机制

数据质量分析

1. 建立数据质量问题评估分析方法
2. 定期分析组织数据质量情况
3. 建立持续更新的数据质量知识库

数据质量提升

1. 建立改进方案
2. 制定改进方案
3. 执行落地方案

过程简述

数据质量需求

1. 参考业界标准，明确数据质量管理目标
2. 定义数据质量评价维度，梳理各类数据的优先级以及质量需求
3. 设计数据质量规则，并对规则进行持续维护与更新

数据质量检查

1. 制定检查计划后，按层级进行分解，掌握已有数据质量的实际情况
2. 设置规则、算法，对已有数据进行校验
3. 数据质量问题管理，记录问题，分发问题，跟踪问题

数据质量分析

1. 整理常见的数据质量分析方法
2. 数据质量问题分析，分析产生的根本原因
3. 形成数据质量分析报告

数据质量提升

1. 根据分析结果，制定提升方案
2. 数据质量校正，数据处理，纠正数据质量问题
3. 数据质量跟踪，验证有效性

能力等级标准

数据质量需求

1. 分析数据质量的管理需求并进行管理
2. 设计符合业务需求的数据质量评价指标，并建立数据质量规则库
3. 数据质量评价体系参考国家、行业相关标准，持续优化数据质量规则库（如国家统计局、中国人民银行和工信部等）

数据质量检查

1. 开展数据质量检查工作
2. 制定数据质量检查方面的管理制度和流程
3. 量化指标，对数据质量检查和问题处理过程进行有效分析，及时对制度和流程进行优化

数据质量分析

1. 对出现的问题进行分析和评估
2. 建立数据问题评估分析方法，制定数据质量报告模板
3. 形成数据质量报告，发送客户进行审阅

数据质量提升

1. 修改数据，提升质量
2. 制定质量问题的管理制度
3. 定期开展数据质量提升工作，避免相关问题发生，形成良性循环

以上4个阶段的关键步骤为：制定数据标准，数据质量自查评估，数据评估方法确定，数据质量问题校正。之后篇章，将详细说明如何制定数据标准，如何进行相应的检查，如何确定数据评估方法以及如何修正数据问题并提升数据质量～

看完今天的分享对你是不是有所启发呢，有任何想法都欢迎大家后台私信我，一起探讨交流。