热门标签 | HotTags
当前位置:  开发笔记 > 数据库 > 正文

数据质量保证若干步骤

1、管理层面:数据质量标准(完整性、唯一性、有效性、一致性、正确性);数据质量针对具体的数据内容,进行数据内容进行系统检查;2、业务层面:数据质量关键对象(CTQ):业务
1、管理层面:      数据质量标准(完整性、唯一性、有效性、一致性、正确性);     数据质量针对具体的数据内容,进行数据内容进行系统检查;2、业务层面:      数据质量关键对象(CTQ):业务上最重要的部分对应的数据;      对已发现的问题进行访谈调查,      数据剖析:      数据概要分析,对数据源表中值进行系统化的预先分析,可以帮助发现业务的实际规律,从而补充考核规则; 3、业务+技术      业务规则(BR:Bussiness Rule):      转换成SQL或应用程序进行检查;      数据质量的测定      制定BR后,进行加权和错误对象统计,计算当前数据质量指数; 4、数据质量管理流程      制定数据质量标准:制定数据质量指标(DQI)->CTQ选定(CTQ候补选定->CTQ重要度量指标->CTQ扩张)->业务领域选定(系统信息设定->元数据信息搜取)      数据剖析:数据剖析对象选定->文件设置(字段、关系、模型、日期、编码、有效值分析)      BR选定:CTQ应用对象字段分析->按字段导出BR->BR扩展      数据质量诊断:BR测定及质量诊断->配置分析      改善、清洗:错误原因分析->制定改善、清洗计划->数据清洗,之后再进行诊断; 5、系统级数据质量管理流程示例     逆向数据建模(依托当前数据库)->数据标准化->构建当前数据架构(当前数据分析)->构建目标数据架构(参照已有经验模型及企业数据标准,生成目标模型)->BR导出及质量检查模块生成->ETL数据迁移->抽取错误数据->数据清洗(循环)6、数据质量管理系统(DQMS)     标准管理->数据剖析->数据架构质量->分析及评估->质量检验7、数据质量工具和ETL工具结合


推荐阅读
  • 本文详细介绍如何使用Python进行配置文件的读写操作,涵盖常见的配置文件格式(如INI、JSON、TOML和YAML),并提供具体的代码示例。 ... [详细]
  • PHP 5.2.5 安装与配置指南
    本文详细介绍了 PHP 5.2.5 的安装和配置步骤,帮助开发者解决常见的环境配置问题,特别是上传图片时遇到的错误。通过本教程,您可以顺利搭建并优化 PHP 运行环境。 ... [详细]
  • 数据管理权威指南:《DAMA-DMBOK2 数据管理知识体系》
    本书提供了全面的数据管理职能、术语和最佳实践方法的标准行业解释,构建了数据管理的总体框架,为数据管理的发展奠定了坚实的理论基础。适合各类数据管理专业人士和相关领域的从业人员。 ... [详细]
  • MySQL缓存机制深度解析
    本文详细探讨了MySQL的缓存机制,包括主从复制、读写分离以及缓存同步策略等内容。通过理解这些概念和技术,读者可以更好地优化数据库性能。 ... [详细]
  • 国内BI工具迎战国际巨头Tableau,稳步崛起
    尽管商业智能(BI)工具在中国的普及程度尚不及国际市场,但近年来,随着本土企业的持续创新和市场推广,国内主流BI工具正逐渐崭露头角。面对国际品牌如Tableau的强大竞争,国内BI工具通过不断优化产品和技术,赢得了越来越多用户的认可。 ... [详细]
  • 本文详细分析了JSP(JavaServer Pages)技术的主要优点和缺点,帮助开发者更好地理解其适用场景及潜在挑战。JSP作为一种服务器端技术,广泛应用于Web开发中。 ... [详细]
  • 1:有如下一段程序:packagea.b.c;publicclassTest{privatestaticinti0;publicintgetNext(){return ... [详细]
  • 数据库内核开发入门 | 搭建研发环境的初步指南
    本课程将带你从零开始,逐步掌握数据库内核开发的基础知识和实践技能,重点介绍如何搭建OceanBase的开发环境。 ... [详细]
  • 本文深入探讨 MyBatis 中动态 SQL 的使用方法,包括 if/where、trim 自定义字符串截取规则、choose 分支选择、封装查询和修改条件的 where/set 标签、批量处理的 foreach 标签以及内置参数和 bind 的用法。 ... [详细]
  • 本文详细介绍了如何通过多种编程语言(如PHP、JSP)实现网站与MySQL数据库的连接,包括创建数据库、表的基本操作,以及数据的读取和写入方法。 ... [详细]
  • 在当前众多持久层框架中,MyBatis(前身为iBatis)凭借其轻量级、易用性和对SQL的直接支持,成为许多开发者的首选。本文将详细探讨MyBatis的核心概念、设计理念及其优势。 ... [详细]
  • 如何在PostgreSQL中查看数据表
    本文将指导您使用pgAdmin工具连接到PostgreSQL数据库,并展示如何浏览和查找其中的数据表。通过简单的步骤,您可以轻松访问所需的表结构和数据。 ... [详细]
  • 本文介绍了如何通过 Maven 依赖引入 SQLiteJDBC 和 HikariCP 包,从而在 Java 应用中高效地连接和操作 SQLite 数据库。文章提供了详细的代码示例,并解释了每个步骤的实现细节。 ... [详细]
  • Ralph的Kubernetes进阶之旅:集群架构与对象解析
    本文深入探讨了Kubernetes集群的架构和核心对象,详细介绍了Pod、Service、Volume等基本组件,以及更高层次的抽象如Deployment、StatefulSet等,帮助读者全面理解Kubernetes的工作原理。 ... [详细]
  • andr ... [详细]
author-avatar
夏雨之唯美
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有