作者:夏雨之唯美 | 来源:互联网 | 2023-05-17 12:34
1、管理层面:数据质量标准(完整性、唯一性、有效性、一致性、正确性);数据质量针对具体的数据内容,进行数据内容进行系统检查;2、业务层面:数据质量关键对象(CTQ):业务
1、管理层面:
数据质量标准(完整性、唯一性、有效性、一致性、正确性); 数据质量针对具体的数据内容,进行数据内容进行系统检查;2、业务层面:
数据质量关键对象(CTQ):业务上最重要的部分对应的数据;
对已发现的问题进行访谈调查,
数据剖析:
数据概要分析,对数据源表中值进行系统化的预先分析,可以帮助发现业务的实际规律,从而补充考核规则;
3、业务+技术
业务规则(BR:Bussiness Rule):
转换成SQL或应用程序进行检查;
数据质量的测定
制定BR后,进行加权和错误对象统计,计算当前数据质量指数;
4、数据质量管理流程
制定数据质量标准:制定数据质量指标(DQI)->CTQ选定(CTQ候补选定->CTQ重要度量指标->CTQ扩张)->业务领域选定(系统信息设定->元数据信息搜取)
数据剖析:数据剖析对象选定->文件设置(字段、关系、模型、日期、编码、有效值分析)
BR选定:CTQ应用对象字段分析->按字段导出BR->BR扩展
数据质量诊断:BR测定及质量诊断->配置分析
改善、清洗:错误原因分析->制定改善、清洗计划->数据清洗,之后再进行诊断;
5、系统级数据质量管理流程示例 逆向数据建模(依托当前数据库)->数据标准化->构建当前数据架构(当前数据分析)->构建目标数据架构(参照已有经验模型及企业数据标准,生成目标模型)->BR导出及质量检查模块生成->ETL数据迁移->抽取错误数据->数据清洗(循环)6、数据质量管理系统(DQMS) 标准管理->数据剖析->数据架构质量->分析及评估->质量检验7、数据质量工具和ETL工具结合