热门标签 | HotTags
当前位置:  开发笔记 > 后端 > 正文

面向数据中台的数据治理(上)

数据中台是今年的热门话题,从一个数据治理的角度,阐述数据治理与中台的关系,以及具体的实施手段。与同学共同探讨,

第一篇:梳理业务和数据




题记

数据中台是今年的热门话题,从一个数据治理的角度,阐述数据治理与中台的关系,以及具体的实施手段。与同学共同探讨,欢迎指正,共同进步。




中台实际是一种思想和模式,其核心思想是使企业或组织的资源进行组合和重用,最大限度的复用资源,加速前端业务的敏捷和创新。既然是一种思想,那么现实中就早已有大量的实践,比如中台的数据链系统,现代军队的班级单位可以通过信息化调度火炮/导弹等进行精确打击,提升了战场应变能力;通过中台的电商平台,一个偏远山区的大妈织的锦就可以行销全球,物流支付信用都有中台服务提供,这些都是中台模式的强大威力。所以整体来说,随着社会大生产分工越来越细,中台模式是社会生产发展的必然趋势,比如计算能力(云计算),支付能力(API Bank),后勤能力等等,越来越呈现社会化大生产组织的中台模式,能够迎合这个趋势是企业的业务战略和创新的主要方向。


让我们脚踏实地回到具体工作。对于IT部门来说,如何实现数据中台是各位思考的问题。阿里作为一个互联网企业,电商业务,面向2C用户,强IT属性,业务创新驱动,我想这些条件与大量传统企业有所不同的。所以我们重点探讨几个关键问题:

1、业务问题

你的企业哪些业务像电商那样具有相似模式,可能是面对的同一类用户,或者是其他相关联业务对象呢。如果有的话,那就很大的价值潜力可挖。

2、人的问题

企业的IT水平如何,主要是业务的数字化能力,IT的掌控和服务能力。我们应该客观认识到,中台模式是企业数字化和信息化的高阶模式,如果企业从来没做过数据仓库,业务对数据驱动没什么概念,那要是直接中台了,甚至是AI中台,就有点穿越了,做起来难,用起来也难。正确的做法是从治理着手,一步步把数据管起来和用起来,同时把人培养起来。事实上,数据建模人才是中台的关键,企业需要培养自己的数据架构师,核心业务建模能力靠外包和空降都是很难见效的。

3、数据的问

中台是业务和数据的双驱动模式,数据治理水平决定了中台的整合能力。如果企业的基础数据模型比较混乱,没有具备数据架构和业务抽象能力的人才,那基本上比较困难。阿里的人才能力和数据能力积累到了一定的水平,做这个事情仍然需要有勇气的人来担纲完成。


那么,在企业的数据基础一般,人力资源不足的情况下,如何来落地实施自己的数据中台战略呢,我总结可以分这么几步完成。

第一步,盘点业务和数据

为什么要有这一步,阿里的经典经验里并没有着重提及这一块。究其原因是过去我们大多数的企业在数据这一块的管理是不够的,构建业务时,并没有遵循业务模型->逻辑模型->物理模型的系统化和规范化的建设思路,今天我们想整合业务数据的话,第一件事就是对数据进行逆向业务建模,目标是构建出数据与业务的关联关系。这是为数据中台摸清基础数据,所做的补历史欠账的工作,这一块希望随着企业IT治理水平的提升,通过规范化运营和管理,使基础模型成为企业数据与业务对应的中间层,为数据中台的敏捷运营奠定前提。


所以这一块的工作内容主要是盘点清楚数据资产,业务属性以及业务数据,它是企业架构工作的一部分,为了构建整合数据层,我们选择核心的业务流程和基础建模工作。

1、梳理业务流程  

业务架构是把企业的业务战略转化为日常运作的渠道,包括业务流程、信息、人员、位置、事件活动和业务战略目标,具体请参考Zachman和TOGAF的经典理论。然而由于设计和维护上的难度,业务架构的管理普遍不甚理想,那么也不用担心,本文提到的业务架构实施与经典理论的要求其实是不同的,对于数据中台来说,只需要简化的业务架构即可。简化的业务架构是充当业务与技术之间的桥梁,使用业务域和数据域的坐标框架体系,为数据的业务对象抽象和数据对象的管理,提供有效的实现路径,而这也是抽象业务需求,进行数据建模的必备知识。

(数据对象的业务坐标系)
工作重点是梳理业务流程,就是盘点企业主要的业务职能,业务流程,业务对象。与传统EA工作内容相比,可以在梳理的粒度上进行控制,以主要的业务对象为中心,避免陷入旷日持久的后台工作而不见成效。

2、梳理基础数据模型 

根据业务架构和业务流程的规划,进行主要业务域和数据域的定义。基础模型的作用就是对原系统数据进行数据盘点,将业务流程和业务对象进行物理层数据的映射,建立数据与业务的关联关系,为中台的整合模型打下基础。


  • 构建模型主题,基础模型的主题可以对应到一个业务流程或者主要的业务活动,粒度可以根据业务的重要程度而定。

  • 定位业务对象的物理对象,梳理物理对象的业务属性,排除非业务属性,建立业务对象和物理对象的关系。

  • 复建物理对象之间的业务关系,也就是主外键关系,进行数据拉通的准备。这一部分工作非常重要。

  • 建立数据标准,通过盘点业务属性信息,建立企业的数据标准,过程中进行同名不同义的统一。这即为排除重复业务属性,也是企业长期数据建设的规范。


限于篇幅,无法将工作的粒度展开。行文至此,已经盘点清晰了现状的数据资产,可以做到从业务找到数据,也可以反之。技术可以拿着清单与业务讨论需求,共同甄别不同域的客户统一问题,这为数据中台的整合层构建打下基础。


后记:数据模型的整合过程,请见第二篇:构建数据资产;至于盘点过程,盘点工具,策略选则等,请见本文的第三篇:数据盘点和常态运营。


关于Datablau

Datablau创建于2016年,核心创始和研发团队全部来自于原CA erwin,天然具有世界级产品厂商的血缘和水准,是国内数据治理的第一品牌。依托多年的行业积累和技术沉淀,Datablau在产品设计层面充分发挥了后天优势,实现了集数据建模、数据目录、数据质量和数据准备为一体的企业级数据治理平台,全面满足企业对于数据治理的客观需求。

目前Datablau在嘉实基金、中国人寿、国电大渡河和四川航空等大型客户得到实际应用并深受好评,客户范围已经覆盖到银行、保险、制造业和能源行业等核心领域,Datablau已成为企 业数据治理领域的领导厂商。


原创文章作者

朱金宝  CTO

目前供职于北京数语科技有限公司,实施了多家大型企事业单位的数据治理项目,有丰富的企业数据管理工具开发经验。前ERwin总架构师,10年ERwin研发经验,负责产品全生命周期的发布,丰富产品发布和架构设计经验,多个大数据建模专利所有者和技术文章作者。

延伸阅读

EDW2019-国际数据管理最新趋势(二)

EDW2019-国际数据管理最新趋势(一)

EDW2019-国际数据管理最新趋势(三)

基础数据标准落标白皮书(上)

基础数据标准落标白皮书(下)

数据建模-今天还需要数据建模吗



推荐阅读
  • VPX611是北京青翼科技推出的一款采用6U VPX架构的高性能数据存储板。该板卡搭载两片Xilinx Kintex-7系列FPGA作为主控单元,内置RAID控制器,支持多达8个mSATA盘,最大存储容量可达8TB,持续写入带宽高达3.2GB/s。 ... [详细]
  • Ralph的Kubernetes进阶之旅:集群架构与对象解析
    本文深入探讨了Kubernetes集群的架构和核心对象,详细介绍了Pod、Service、Volume等基本组件,以及更高层次的抽象如Deployment、StatefulSet等,帮助读者全面理解Kubernetes的工作原理。 ... [详细]
  • 智能医疗,即通过先进的物联网技术和信息平台,实现患者、医护人员和医疗机构之间的高效互动。它不仅提升了医疗服务的便捷性和质量,还推动了整个医疗行业的现代化进程。 ... [详细]
  • 创邻科技成功举办Graph+X生态合作伙伴大会,30余家行业领军企业共聚杭州
    9月22日,创邻科技在杭州举办“Graph+X”生态合作伙伴大会,汇聚了超过30家行业头部企业的50多位企业家和技术领袖,共同探讨图技术的前沿应用与发展前景。 ... [详细]
  • 为何我选择了华为云GaussDB数据库
    本文分享了作者选择华为云GaussDB数据库的理由,详细介绍了GaussDB(for MySQL)的技术特性和优势,以及它在金融和互联网行业的应用场景。 ... [详细]
  • 智慧城市建设现状及未来趋势
    随着新基建政策的推进及‘十四五’规划的实施,我国正步入以5G、人工智能等先进技术引领的智慧经济新时代。规划强调加速数字化转型,促进数字政府建设,新基建政策亦倡导城市基础设施的全面数字化。本文探讨了智慧城市的发展背景、全球及国内进展、市场规模、架构设计,以及百度、阿里、腾讯、华为等领军企业在该领域的布局策略。 ... [详细]
  • 热璞数据库与云宏达成兼容性互认证,共筑数据安全屏障
    热璞数据库与云宏信息技术有限公司近期宣布完成产品兼容性互认证,旨在提升数据安全性与稳定性,支持企业数字化转型。 ... [详细]
  • 数据库内核开发入门 | 搭建研发环境的初步指南
    本课程将带你从零开始,逐步掌握数据库内核开发的基础知识和实践技能,重点介绍如何搭建OceanBase的开发环境。 ... [详细]
  • 在当前众多持久层框架中,MyBatis(前身为iBatis)凭借其轻量级、易用性和对SQL的直接支持,成为许多开发者的首选。本文将详细探讨MyBatis的核心概念、设计理念及其优势。 ... [详细]
  • 本文详细介绍了macOS系统的核心组件,包括如何管理其安全特性——系统完整性保护(SIP),并探讨了不同版本的更新亮点。对于使用macOS系统的用户来说,了解这些信息有助于更好地管理和优化系统性能。 ... [详细]
  • 本文详细介绍了 MySQL 的查询处理流程,包括从客户端连接到服务器、查询缓存检查、语句解析、查询优化及执行等步骤。同时,深入探讨了 MySQL 中的乐观锁机制及其在并发控制中的应用。 ... [详细]
  • 使用Python在SAE上开发新浪微博应用的初步探索
    最近重新审视了新浪云平台(SAE)提供的服务,发现其已支持Python开发。本文将详细介绍如何利用Django框架构建一个简单的新浪微博应用,并分享开发过程中的关键步骤。 ... [详细]
  • Scala 实现 UTF-8 编码属性文件读取与克隆
    本文介绍如何使用 Scala 以 UTF-8 编码方式读取属性文件,并实现属性文件的克隆功能。通过这种方式,可以确保配置文件在多线程环境下的一致性和高效性。 ... [详细]
  • 江苏启动鲲鹏生态产业园首批应用孵化项目
    2019年9月19日,在华为全联接大会上,江苏鲲鹏生态产业园正式启动了首批鲲鹏应用孵化项目。南京市委常委、江北新区党工委专职副书记罗群等多位嘉宾出席并见证了这一重要时刻。 ... [详细]
  • 本文探讨了当前技术发展趋势,特别是大数据和人工智能如何推动工业互联网的发展。文章分析了全球主要国家在工业互联网领域的进展,并展望了未来工业互联网技术的发展方向。 ... [详细]
author-avatar
exit佑
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有