热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

终于有人把数据中台讲明白了

导读:要建设数据中台,我们首先需要明确什么是数据中台,以及数据中台能为企业带来什么价值。作者:陈新宇罗家鹰江威邓通等来源&#


导读:要建设数据中台,我们首先需要明确什么是数据中台,以及数据中台能为企业带来什么价值。

作者:陈新宇 罗家鹰 江威 邓通 等

来源:大数据DT(ID:hzdashuju)

01 数据中台定义

数据中台是一种将企业沉睡的数据变成数据资产,持续使用数据、产生智能、为业务服务,从而实现数据价值变现的系统和机制。通过数据中台提供的方法和运行机制,形成汇聚整合、提纯加工、建模处理、算法学习,并以共享服务的方式将数据提供给业务使用,从而与业务联动。

再者,结合业务中台的数据生产能力,最终构建数据生产—消费—再生的闭环。为了更好地理解数据中台,我们将其与数据仓库、数据湖、BI、大数据等相关概念进行对比。

1. 与数据仓库的对比

数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理决策。因此,其重点在于数据的集合。数据仓库可使用维度建模方法论从业务过程中抽象出通用维度与度量,组成数据模型,为决策分析提供通用的数据分析能力。

数据中台与数据仓库相比,至少有四大优势

第一,数据中台强调数据业务化,让数据用起来,满足企业数据分析和应用的需求。

第二,数据中台梳理的流程比数据仓库建设更加复杂和全面。数据中台增加了以企业的全局视角来梳理数据域的环节,这是数据中台建设中很重要的一环。数据域的梳理正好体现了中台化的能力。

举个例子,新零售场景下,企业的交易场景有很多,包括自建商城渠道、第三方电商渠道、外卖订单渠道、线下门店渠道等。建设数据中台时就需要规划出一个交易域,此交易域要抽象出各种渠道的业务流程,并能覆盖线上、线下运营部门在运营时需要考核的维度与度量。

因此数据中台建设过程要更多从企业全局出发,从人、货、场多维度打通数据,真正做到无论消费者从哪个渠道进来,都能洞察其与本企业的接触轨迹。

而数据仓库的建设则相对单一,专注于维度模型如何设计,如何拆解指标和维度,却很少关注基于人、货、场这些主体进行实体拉通,然后做出全局的画像数据供前端业务调用。

第三,数据中台建设的范畴远远大于数据仓库的建设,除了完成数据仓库的建模,还需要制定完善的数据治理方案,甚至在建设的过程中需要成立专门的数据治理委员会来促成复杂的数据治理工作。

最重要的一点是,在数据中台的规划阶段就需要去主动迎合业务,需要全面梳理哪些业务场景需要利用数据的赋能才能形成业务闭环,因此,在建设数据中台的同时就必须着眼于业务场景的赋能。

第四,对于企业来讲,建设数据中台并不只是搭建一个能力平台。正如我们在《中台战略》一书中提到的,建设中台需要中台文化及相匹配的中台组织。

因此,从宏观上来讲,数据中台承担着企业重新搭建数据组织的职能,倒逼企业为了运营好数据中台而建设一套能与之匹配的数据中台组织。数据仓库则纯粹注重于系统解决方案,并不涉及组织形态。

因此,简单来说,数据仓库重在建数据,而数据中台则将建、治、管、服放到同样的高度,数据仓库只是数据中台的一个子集。

那我们为什么会从数据仓库发展到数据中台呢?因为传统的数据仓库已不能完全满足企业数据分析的需求。企业已从原来的统计分析转变为预测分析并提供标签、推荐等算法,从被动分析转变为主动分析,从非实时分析转变为实时分析,并且从结构化数据转变为结构化、半结构化和非结构化的多元化数据。

2. 与数据湖的对比

与数据中台相关的概念还有数据湖(Data Lake)。数据湖是一种数据存储理念,作为一个集中的存储库,它可以以自然格式存储任意规模的数据,包括来自关系数据库行和列的结构化数据,XML、JSON、日志等半结构化数据,电子邮件、文档等非结构化数据,以及图像、音视频等的二进制数据,从而实现数据的集中式管理。

目前Hadoop是最常见的实现数据湖概念的技术。比如HBase可让数据湖保存海量数据,Spark可以使得数据湖批量分析数据,而Flink等可让数据湖实时接入和处理IoT数据等。

3. 与BI的对比

BI(商业智能)是分析数据并获取洞察,进而帮助企业做出决策的一系列方法、技术和软件。相比数据仓库,BI还包含数据挖掘、数据可视化等工具,并可支持用户在一定范围内任意组合维度与指标,从而上升到支持决策的层面,而不只是作为数据仓储。

4. 与大数据的对比

数据中台也不等于大数据。数据中台是基于大数据、人工智能等技术构建的数据采、存、通、管、用的平台。

数据中台需要以Hadoop、Spark等为代表的大数据处理技术做支撑,但绝不能将数据中台与大数据划等号。数据中台不只有大数据处理技术,还包括智能算法、与业务联动的特性、数据资产、数据工具等。

5. 小结

可以说数据中台是上述概念和技术的集大成者。

  • 首先,大数据丰富的数据计算和存储技术为数据中台提供了强大的数据处理能力。

  • 其次,数据中台作为企业数据的集结地,其底层也当然承载着数据湖的职能。

  • 再次,数据仓库对数据的分域建模是数据中台的重要部分,它承载着将企业数据治理得井井有条的职能。

  • 最后,基于强大的数据能力,结合业务场景提供实时、智能的服务和应用是数据中台的核心价值体现。

02 数据中台价值

数据中台不等于大数据平台,数据中台的核心工作也并不是将企业的数据全部收集起来做汇总就够了。数据中台的使命是利用大数据技术、通过全局规划来治理好企业的数据资产,让数据使用者能随时随地获取到可靠的数据。

因此,数据中台一旦建成并得以持续运营,其价值将随着时间的推移将呈指数级增长。数据中台的价值众多,下面详述其中的三大价值,见图4-1。

▲图4-1 数据中台的三大价值

1. 帮助企业建立数据标准

在有数据中台之前,企业基本不会有全局的数据标准,即使有相关的数据标准,由于没有数据中台这个实体形态,数据标准也无从执行。数据中台的建设天然会帮助企业建设数据标准,包括数据建设规范数据消费规范

数据建设规范有诸如数据接入规范、数据建模规范、数据存储规范和数据安全规范等,数据消费规范包含数据权限规范、数据调用规范以及数据销毁规范等。这些标准都是建设数据中台时必须建立起来并依托数据中台去执行和落地的。

2. 促进中台组织形成

再宏伟的企业战略规划,都离不开一套科学合理的组织去落地执行。数据中台建设将是企业宏观战略规划的一个重要部分,那么在践行数据中台建设的过程中,摆在企业第一位的问题就是如何搭建起一套能稳定护航数据中台建设及运营的数据中台班子。

数据中台这种体系化工程将横向拉通企业数据相关方,包括中台建设团队、中台运维团队、数据产品经理团队、数据资产管理团队、数据运营团队等,组成标准的企业数据委员会,从而形成企业真正的中台组织。

需要说明的是,中台组织可以是一个横跨各个业务部门的弱矩阵组织,也可以是一个完整的实体组织。这需要因地制宜,因企业不同而异。

3. 全面赋能业务,促使降本增效

数据中台的终极价值是降本增效,无论是建设数据标准还是形成中台组织,其核心目标都是帮助企业达成战略规划。

通过数据中台,可以更加合理地布局团队;数据从加工生产到使用的整个时间周期将大大缩短;以中台之力拉通整合企业营销、交易、服务、库存、物流等一方数据,结合二方及三方数据,以全局视角,形成强大的数据资产,滋养各业务板块。

同时有目的性地针对场景,设计出赋能场景的数据应用,帮助其从研、产、销等多个方面缩短产品研发周期,生产未来一段时间畅销的产品,精准找到愿意购买公司产品的群体,以至于增强用户对企业产品及服务的友好体验,提高用户对于企业品牌的忠诚度,降低企业运营过程中的损耗,压缩供应链端的周期等。

这些价值都是企业一直以来孜孜追求的目标。

关于作者:陈新宇,云徙科技联合创始人兼首席架构师,中国软件行业协会应用软件产品云服务分会“数字企业中台应用专家顾问团”副主任专家,香港中文大学计算机科学与工程学博士,领导云徙科技数字中台系统的规划、建设并赋能企业落地实施。

罗家鹰,云徙科技副总裁,上海交通大学学士,中山大学MBA。近四年来,一直致力于阿里中台赋能数字商业的研究与布道。拥有20年的企业咨询及服务经验,先后主导了数十家大型企业的数字化转型咨询方案。

江威,云徙科技地产事业部总经理,领导中台在地产方面的建设与落地,长期从事阿里中台赋能地产行业的研究与布道,拥有丰富的地产项目实施经验。

邓通,云徙科技汽车事业部总经理,香港中文大学信息工程硕士,专注于汽车行业数字化营销研究。

本文摘编自《中台实践:数字化转型方法论与解决方案》,经出版方授权发布。

延伸阅读《中台实践》

点击上图了解及购买

转载请联系微信:DoctorData

推荐语:阿里云徙科技近100家龙头企业数字化转型经验总结;业务中台、数据中台建设方法,5大行业数字化转型解决方案。国资委发文加快推动企业中台建设。

当当网计算机图书每满100-50!满200-100!满300-150!满400-200!

机械工业出版社华章公司联合当当网特意为大数据DT用户申请了一批可与满减叠加使用的“满200减30”的图书优惠码,优惠码使用后相当于:

花160买400的书 !!!

优惠码(可选任意一个复制粘贴):

  1. NATRUQ

  2. KACR2F

使用时间:10/20-11/03

使用渠道:当当app和当当小程序

长按小程序码去选书

划重点????

干货直达????

  • NLP入门干货:手把手教你3种中文规则分词方法

  • 吐血推荐:大数据、数据分析、人工智能…最新干货资料全在这里了

  • 金钱能让人更快乐吗?手把手教你用机器学习找到答案

  • 零基础学Python:一文看懂数字和字符串

更多精彩????

在公众号对话框输入以下关键词

查看更多优质内容!

PPT | 读书 | 书单 | 硬核 | 干货 讲明白 | 神操作

大数据 | 云计算 | 数据库 | Python | 可视化

AI | 人工智能 | 机器学习 | 深度学习 | NLP

5G | 中台 | 用户画像 1024 | 数学 | 算法 数字孪生

据统计,99%的大咖都完成了这个神操作

????



推荐阅读
  • 生成式对抗网络模型综述摘要生成式对抗网络模型(GAN)是基于深度学习的一种强大的生成模型,可以应用于计算机视觉、自然语言处理、半监督学习等重要领域。生成式对抗网络 ... [详细]
  • Android中高级面试必知必会,积累总结
    本文介绍了Android中高级面试的必知必会内容,并总结了相关经验。文章指出,如今的Android市场对开发人员的要求更高,需要更专业的人才。同时,文章还给出了针对Android岗位的职责和要求,并提供了简历突出的建议。 ... [详细]
  • 背景应用安全领域,各类攻击长久以来都危害着互联网上的应用,在web应用安全风险中,各类注入、跨站等攻击仍然占据着较前的位置。WAF(Web应用防火墙)正是为防御和阻断这类攻击而存在 ... [详细]
  • 2018年人工智能大数据的爆发,学Java还是Python?
    本文介绍了2018年人工智能大数据的爆发以及学习Java和Python的相关知识。在人工智能和大数据时代,Java和Python这两门编程语言都很优秀且火爆。选择学习哪门语言要根据个人兴趣爱好来决定。Python是一门拥有简洁语法的高级编程语言,容易上手。其特色之一是强制使用空白符作为语句缩进,使得新手可以快速上手。目前,Python在人工智能领域有着广泛的应用。如果对Java、Python或大数据感兴趣,欢迎加入qq群458345782。 ... [详细]
  • YOLOv7基于自己的数据集从零构建模型完整训练、推理计算超详细教程
    本文介绍了关于人工智能、神经网络和深度学习的知识点,并提供了YOLOv7基于自己的数据集从零构建模型完整训练、推理计算的详细教程。文章还提到了郑州最低生活保障的话题。对于从事目标检测任务的人来说,YOLO是一个熟悉的模型。文章还提到了yolov4和yolov6的相关内容,以及选择模型的优化思路。 ... [详细]
  • [译]技术公司十年经验的职场生涯回顾
    本文是一位在技术公司工作十年的职场人士对自己职业生涯的总结回顾。她的职业规划与众不同,令人深思又有趣。其中涉及到的内容有机器学习、创新创业以及引用了女性主义者在TED演讲中的部分讲义。文章表达了对职业生涯的愿望和希望,认为人类有能力不断改善自己。 ... [详细]
  • 本文详细介绍了MysqlDump和mysqldump进行全库备份的相关知识,包括备份命令的使用方法、my.cnf配置文件的设置、binlog日志的位置指定、增量恢复的方式以及适用于innodb引擎和myisam引擎的备份方法。对于需要进行数据库备份的用户来说,本文提供了一些有价值的参考内容。 ... [详细]
  • 图解redis的持久化存储机制RDB和AOF的原理和优缺点
    本文通过图解的方式介绍了redis的持久化存储机制RDB和AOF的原理和优缺点。RDB是将redis内存中的数据保存为快照文件,恢复速度较快但不支持拉链式快照。AOF是将操作日志保存到磁盘,实时存储数据但恢复速度较慢。文章详细分析了两种机制的优缺点,帮助读者更好地理解redis的持久化存储策略。 ... [详细]
  • 硬科技投资时代,投资者们该如何抉择?
    随着越来越多符合国家战略、市场认可度高、突破关键核心技术的科技创新型企业挂牌上市,硬科技投资越来越热。华夏中证科创创业50ETF联接基金的开售为投资者提供了新的选择。硬科技的发展有助于突破“卡脖子”技术、实现进口替代,以及推动产业升级。在硬科技投资时代,投资者们应该如何抉择? ... [详细]
  • 统一知识图谱学习和建议:更好地理解用户偏好
    本文介绍了一种将知识图谱纳入推荐系统的方法,以提高推荐的准确性和可解释性。与现有方法不同的是,本方法考虑了知识图谱的不完整性,并在知识图谱中传输关系信息,以更好地理解用户的偏好。通过大量实验,验证了本方法在推荐任务和知识图谱完成任务上的优势。 ... [详细]
  • Learning to Paint with Model-based Deep Reinforcement Learning
    本文介绍了一种基于模型的深度强化学习方法,通过结合神经渲染器,教机器像人类画家一样进行绘画。该方法能够生成笔画的坐标点、半径、透明度、颜色值等,以生成类似于给定目标图像的绘画。文章还讨论了该方法面临的挑战,包括绘制纹理丰富的图像等。通过对比实验的结果,作者证明了基于模型的深度强化学习方法相对于基于模型的DDPG和模型无关的DDPG方法的优势。该研究对于深度强化学习在绘画领域的应用具有重要意义。 ... [详细]
  • 本文介绍了OkHttp3的基本使用和特性,包括支持HTTP/2、连接池、GZIP压缩、缓存等功能。同时还提到了OkHttp3的适用平台和源码阅读计划。文章还介绍了OkHttp3的请求/响应API的设计和使用方式,包括阻塞式的同步请求和带回调的异步请求。 ... [详细]
  • 一次上线事故,30岁+的程序员踩坑经验之谈
    本文主要介绍了一位30岁+的程序员在一次上线事故中踩坑的经验之谈。文章提到了在双十一活动期间,作为一个在线医疗项目,他们进行了优惠折扣活动的升级改造。然而,在上线前的最后一天,由于大量数据请求,导致部分接口出现问题。作者通过部署两台opentsdb来解决问题,但读数据的opentsdb仍然经常假死。作者只能查询最近24小时的数据。这次事故给他带来了很多教训和经验。 ... [详细]
  • 本文介绍了H5游戏性能优化和调试技巧,包括从问题表象出发进行优化、排除外部问题导致的卡顿、帧率设定、减少drawcall的方法、UI优化和图集渲染等八个理念。对于游戏程序员来说,解决游戏性能问题是一个关键的任务,本文提供了一些有用的参考价值。摘要长度为183字。 ... [详细]
  • 寻求更强大的身份和访问管理(IAM)平台的企业正在转向云,并接受身份即服务(IDaaS)的灵活性。要为IAM选择正确的场外解决方案,业务管理人员和IT专业人员必须在实施之前评估安全 ... [详细]
author-avatar
阿凯宜_
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有