热门标签 | HotTags
当前位置:  开发笔记 > 前端 > 正文

数据中台与大数据、数据仓库、数据湖、BI的区别

一、什么是数据中台数据中台是一种将企业沉睡的数据变成数据资产,持续使用数据、产生智能、为业务服务,从而实现数据价值变现的系统和机制。通过数据中台提供的

一、什么是数据中台

数据中台是一种将企业沉睡的数据变成数据资产,持续使用数据、产生智能、为业务服务,从而实现数据价值变现的系统和机制。通过数据中台提供的方法和运行机制,形成汇聚整合、提纯加工、建模处理、算法学习,并以共享服务的方式将数据提供给业务使用,从而与业务联动。再者,结合业务中台的数据生产能力,最终构建数据生产一消费一再生的闭环。

 

为了更好地理数据中台,我们将其与大数据、数据仓库、数据湖、 商业智能BI等相关概念进行对比。


二、数据中台与大数据BigData的区别

数据中台不等于大数据。数据中台是基于大数据、人工智能等技术构建的数据采、存、通、管、用的平台。数据中台需要以 Hadoop 、 Spark 等为代表的大数据处理技术做支撑,但绝不能将数据中台与大数据划等号。数据中台不只有大数据处理技术,还包括智能算法、与业务联动的特性、数据资产、数据工具等。

数据中台不等于大数据平台,数据中台的核心工作也并不是将企业的数据全部收集起来做汇总就够了。数据中台的使命是利用大数据技术、通过全局规划来治理好企业的数据资产,让数据使用者能随时随地获取到可靠的数据。因此,数据中台一旦建成并得以持续运营,其价值将随着时间的推移将呈指数级增长。


三、数据中台与数据仓库的区别

数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理决策。因此,其重点在于数据的集合。数据仓库可使用维度建模方法论从业务过程中抽象出通用维度与度量,组成数据模型,为决策分析提供通用的数据分析能力。

 

数据中台与数据仓库相比,至少有四大优势。


  1. 数据中台强调数据业务化、让数据用起来,满足企数据分析和应用的需求。

第二,数据中台梳理的流程比数据仓库建设更加复杂和全面。数据中台增加了以企业的全局视角来梳理数据域的环节,这是数据中台建设中很重要的一环。数据域的梳理正好体现了中台化的能力。举个例子,新零售场景下,企业的交易场景有很多,包括自建商城渠道、第三方电商渠道、外卖订单渠道、线下门店渠道等。建设数据中时就需要规划出一个交易域,此交易域要抽象出各种渠道的业务流程,并能覆盖线上、线下运营部门在运营时需要考核的维度与度量。因此数据中台建设过程要更多从企业全局出发,从人、货、场多维度打通数据,真正做到无论消费者从哪个渠道进来,都能洞察其与本企业的接触轨迹。而数据仓库的建设则相对单一,专注于维度模型如何设计,如何拆解指标和维度,却很少关注基于人、货、场这些主体进行实体拉通,然后做出全局的画像数据供前端业务调用。

第三,数据中台建设的范畴远远大于数据仓库的建设,除了完成数据仓库的建模,还需要制定完善的数据治理方案,甚至在建设的过程中需要成立专门的数据治理委员会来促成复杂的数据理工作。最重要的一点是,在数据中台的规划阶段就需要去主动迎合业务,需要全面梳理哪些业务场景需要利用数据的赋能才能形成业务闭环,因此,在建设数据中台的同时就必须着眼于业务场景的赋能。

第四,对于企业来讲,建设数据中台并不只是搭建一个能力平台。建设中台需要中台文化及相匹配的中台组织。因此,从宏观上来讲,数据中台承担着企业重新搭建数据组织的职能,倒逼企业为了运营好数据中台而建设一套能与之匹配的数据中台组织。数据仓库则纯粹注重于系统解决方案,并不涉及组织形态。

因此,简单来说,数据仓库重在建数据,而数据中台则将建、治、管、服放到同样的高度,数据仓库只是数据中台的子集。那我们为什么会从数据仓库发展到数据中台呢?因为传统的数据仓库已不能完全满足企业数据分析的需求。企业已从原来的统计分析转变为预测分析并提供标签、推荐等算法,从被动析转变为主动分析,从非实时分析转变为实时分析,并且从结构化数据转变为结构化、半结构化和非结构化的多元化数据。


四、数据中台与数据湖的区别

与数据中台相关的概念还有数据湖( Data Lake )。数据湖是一种数据存储理念,作为一个集中的存储库,它可以以自然格式存储任意规模的数据,包括来自关系型数据库行和列的结构化数据, XML 、 JSON 、日志等半结构化效据,电子邮件、文档等非结构化数据,以及图像、音视频等的二进制效据,从而实现数据的集中式管理。目前 Hadoop 是最常见的实现数据湖概念的技术。比如 HBase 可让数据湖保存海量数据, Spark 可以使得数据湖批量分析数据,而 Flink 等可让数据湖实时接入和处理 loT 数据等。

 


五、数据中台与商业智能BI的区别

BI (商业智能)是分析数据并获取洞察,进而帮助企业做出决策的一系列方法、技术和软件。相比数据仓库, Bl 还包含数据挖掘、数据可视化等工具,并可支持用户在一定范围内任意组合维度与指标,从而上升到支持决策的层面,而不只是作为数据仓储。


六、总结

数据中台是上述概念和技术的集大成者。首先,大数据丰富的数据计算和存储技术为数据中台提供了强大的数据处理能力。其次,数据中台作为企业数据的集结地,其底层也当然承载着数据湖的职能。再次,数据仓库对数据的分域建模是数据中台的重要部分,它承载着将企业数据治理得井井有条的职能。最后,基于强大的数据能力,结合业务场景提供实时、智能的服务和应用是数据中台的核心价值体现。


推荐阅读
  • Hadoop入门与核心组件详解
    本文详细介绍了Hadoop的基础知识及其核心组件,包括HDFS、MapReduce和YARN。通过本文,读者可以全面了解Hadoop的生态系统及应用场景。 ... [详细]
  • 国内BI工具迎战国际巨头Tableau,稳步崛起
    尽管商业智能(BI)工具在中国的普及程度尚不及国际市场,但近年来,随着本土企业的持续创新和市场推广,国内主流BI工具正逐渐崭露头角。面对国际品牌如Tableau的强大竞争,国内BI工具通过不断优化产品和技术,赢得了越来越多用户的认可。 ... [详细]
  • 本文详细介绍了Python编程语言的学习路径,涵盖基础语法、常用组件、开发工具、数据库管理、Web服务开发、大数据分析、人工智能、爬虫开发及办公自动化等多个方向。通过系统化的学习计划,帮助初学者快速掌握Python的核心技能。 ... [详细]
  • HBase运维工具全解析
    本文深入探讨了HBase常用的运维工具,详细介绍了每种工具的功能、使用场景及操作示例。对于HBase的开发人员和运维工程师来说,这些工具是日常管理和故障排查的重要手段。 ... [详细]
  • Hadoop发行版本选择指南:技术解析与应用实践
    本文详细介绍了Hadoop的不同发行版本及其特点,帮助读者根据实际需求选择最合适的Hadoop版本。内容涵盖Apache Hadoop、Cloudera CDH等主流版本的特性及应用场景。 ... [详细]
  • 简化报表生成:EasyReport工具的全面解析
    本文详细介绍了EasyReport,一个易于使用的开源Web报表工具。该工具支持Hadoop、HBase及多种关系型数据库,能够将SQL查询结果转换为HTML表格,并提供Excel导出、图表显示和表头冻结等功能。 ... [详细]
  • 创邻科技成功举办Graph+X生态合作伙伴大会,30余家行业领军企业共聚杭州
    9月22日,创邻科技在杭州举办“Graph+X”生态合作伙伴大会,汇聚了超过30家行业头部企业的50多位企业家和技术领袖,共同探讨图技术的前沿应用与发展前景。 ... [详细]
  • 智能投顾机器人:创业者如何应对新挑战?
    随着智能投顾技术在二级市场的兴起,针对一级市场的智能投顾也逐渐崭露头角。近日,一款名为阿尔妮塔的人工智能创投机器人正式发布,它将如何改变投资人的工作方式和创业者的融资策略? ... [详细]
  • 本文详细介绍了 Linux 系统中用户、组和文件权限的设置方法,包括基本权限(读、写、执行)、特殊权限(SUID、SGID、Sticky Bit)以及相关配置文件的使用。 ... [详细]
  • MongoDB集群配置:副本集与分片详解
    本文详细介绍了如何在MongoDB中配置副本集(Replica Sets)和分片(Sharding),并提供了具体的步骤和命令,帮助读者理解并实现高可用性和水平扩展的MongoDB集群。 ... [详细]
  • 本文探讨了2012年4月期间,淘宝在技术架构上的关键数据和发展历程。涵盖了从早期PHP到Java的转型,以及在分布式计算、存储和网络流量管理方面的创新。 ... [详细]
  • 本文详细介绍了 Flink 和 YARN 的交互机制。YARN 是 Hadoop 生态系统中的资源管理组件,类似于 Spark on YARN 的配置方式。我们将基于官方文档,深入探讨如何在 YARN 上部署和运行 Flink 任务。 ... [详细]
  • 本文详细介绍了 Java 中的 org.apache.hadoop.registry.client.impl.zk.ZKPathDumper 类,提供了丰富的代码示例和使用指南。通过这些示例,读者可以更好地理解如何在实际项目中利用 ZKPathDumper 类进行注册表树的转储操作。 ... [详细]
  • 全面解析运维监控:白盒与黑盒监控及四大黄金指标
    本文深入探讨了白盒和黑盒监控的概念,以及它们在系统监控中的应用。通过详细分析基础监控和业务监控的不同采集方法,结合四个黄金指标的解读,帮助读者更好地理解和实施有效的监控策略。 ... [详细]
  • 从码农到创业者:我的职业转型之路
    在观察了众多同行的职业发展后,我决定分享自己的故事。本文探讨了为什么大多数程序员难以成为架构师,并阐述了我从一家外企离职后投身创业的心路历程。 ... [详细]
author-avatar
king
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有