大数据数据库评测_大数据数据仓库、数据库、数据集市的区别

数据库是一种逻辑概念&＃xff0c;用来存放数据的仓库&＃xff0c;通过数据库软件来实现。数据库由很多表组成&＃xff0c;表是二维的&＃xff0c;一张表里面有很多字段。字段一字排开&＃xff0c;对数据就一行一行的写入表中。数据库的表&＃xff0c;在于能够用二维表现多维的关系。如&＃xff1a;oracle、DB2、MySQL、Sybase、MSSQL Server等。

是数据库概念的升级。从逻辑上理解&＃xff0c;数据库和数据仓库没有区别&＃xff0c;都是通过数据库软件实现存放数据的地方&＃xff0c;只不过从数据量来说&＃xff0c;数据仓库要比数据库更庞大德多。数据仓库主要用于数据挖掘和数据分析&＃xff0c;辅助领导做决策&＃xff1b;

年度销售目标的制定&＃xff0c;需要根据以往的历史报表进行决策&＃xff0c;不能随便制定。

优化业务流程

例如&＃xff1a;某电商平台某品牌的手机&＃xff0c;在过去5年主要的的购买人群的年龄在什么年龄段&＃xff0c;在那个季节购买量人多&＃xff0c;这样就可以根据这个特点为目标人群设定他们主要的需求和动态分配产生的生产量&＃xff0c;和仓库的库存。

数据仓库是面向主题的。

与传统的数据库不一样&＃xff0c;数据仓库是面向主题的&＃xff0c;那什么是主题呢&＃xff1f;首页主题是一个较高乘次的概念&＃xff0c;是较高层次上企业信息系统中的数据综合&＃xff0c;归类并进行分析的对象。在逻辑意义上&＃xff0c;他是对企业中某一个宏观分析领域所涉及的分析对象。(说人话&＃xff1a;就是用户用数据仓库进行决策所关心的重点方面&＃xff0c;一个主题通常与多个操作信息型系统有关&＃xff0c;而操作型数据库的数据组织面向事务处理任务&＃xff0c;各个任务之间是相互隔离的)&＃xff1b;

数据仓库是集成的。

数据仓库的数据是从原来的分散的数据库数据(mysql等关系型数据库)抽取出来的。操作型数据库与DSS(决策支持系统)分析型数据库差别甚大。第一&＃xff0c;数据仓库的每一个主题所对应的源数据在所有的各个分散的数据库中&＃xff0c;有许多重复和不一样的地方&＃xff0c;且来源于不同的联机系统的数据都和不同的应用逻辑捆绑在一起&＃xff1b;第二&＃xff0c;数据仓库中的综合数据不能从原来有的数据库系统直接得到。因此子在数据进入数据仓库之前&＃xff0c;必然要经过统一与综合&＃xff0c;这一步是数据仓库建设中最关键&＃xff0c;最复杂的一步&＃xff0c;所要挖成的工作有&＃xff1a;

要统计源数据中所有矛盾之处&＃xff0c;如字段的同名异议、异名同义、单位不统一&＃xff0c;字长不统一等。

进行数据的综合和计算。数据仓库中的数据综合工作可以在原有数据库抽取数据时生成&＃xff0c;但许多是在数据仓库内部生成的&＃xff0c;即进入数据仓库以后进行综合生成的。

数据仓库的数据是随着时间的变化而变化的。

数据仓库中的数据不可更新是针对应用来说的&＃xff0c;也就是说&＃xff0c;数据仓库的用户进行分析处理是不进行数据更新操作的。但并不是说&＃xff0c;在从数据集成输入数据仓库开始到最后被删除的整个生存周期中&＃xff0c;所有的数据仓库数据都是永远不变的。

数据仓库的数据是随着时间变化而变化的&＃xff0c;这是数据仓库的特征之一。这一特征主要有以下三个表现&＃xff1a;

数据仓库随着时间变化不断增加新的数据内容。数据仓库系统必须不断捕捉OLTP数据库中变化的数据&＃xff0c;追加到数据仓库当中去&＃xff0c;也就是要不断的生成OLTP数据库的快照&＃xff0c;经统一集成增加到数据仓库中去&＃xff1b;但对于确实不在变化的数据库快照&＃xff0c;如果捕捉到新的变化数据&＃xff0c;则只生成一个新的数据库快照增加进去&＃xff0c;而不会对原有的数据库快照进行修改。

数据库随着时间变化不断删去旧的数据内容 。数据仓库内的数据也有存储期限&＃xff0c;一旦过了这一期限&＃xff0c;过期数据就要被删除。只是数据库内的数据时限要远远的长于操作型环境中的数据时限。在操作型环境中一般只保存有60~90天的数据&＃xff0c;而在数据仓库中则要需要保存较长时限的数据(例如&＃xff1a;5~10年)&＃xff0c;以适应DSS进行趋势分析的要求。

数据仓库中包含有大量的综合数据&＃xff0c;这些综合数据中很多跟时间有关&＃xff0c;如数据经常按照时间段进行综合&＃xff0c;或隔一定的时间片进行抽样等等。这些数据要随着时间的变化不断地进行从新综合。因此数据仓库的数据特征都包含时间项&＃xff0c;以标明数据的历史时期。

数据仓库的数据是不可修改的。

数据仓库的数据主要提供企业决策分析之用&＃xff0c;所涉及的数据操作主要是数据查询&＃xff0c;一般情况下并不进行修改操作。数据仓库的数据反映的是一段相当长的时间内历史数据的内容&＃xff0c;是不同时点的数据库快照的集合&＃xff0c; 以及基于这些快照进行统计、综合和重组的导出数据&＃xff0c;而不是联机处理的数据。数据库中进行联机处理的书库进过集成输入到数据仓库中&＃xff0c;一旦数据仓库存放的数据已经超过数据仓库的数据存储期限&＃xff0c;这些数据将从当前的数据仓库中删去。因为数据仓库只进行数据查询操作&＃xff0c;所以数据仓库当中的系统要比数据库中的系统要简单的多。数据库管理系统中许多技术难点&＃xff0c;如完整性保护、并发控制等等&＃xff0c;在数据仓库的管理中几乎可以省去。但是由于数据仓库的查询数据量往往很大&＃xff0c;所以就对数据查询提出了更高的要求&＃xff0c;他要求采用各种复杂的索引技术&＃xff1b;同时数据仓库面向的是商业企业的高层管理层&＃xff0c;他们会对数据查询的界面友好性和数据表示提出更高的要求&＃xff1b;

基本每家电商公司都会经历&＃xff0c;从只需要业务数据库到要数据仓库的阶段。

• 电商早期启动非常容易&＃xff0c;入行门槛低。找个外包团队&＃xff0c;做了一个可以下单的网页前端 &＃43; 几台服务器 &＃43; 一个MySQL&＃xff0c;就能开门迎客了。这好比手工作坊时期。

• 第二阶段&＃xff0c;流量来了&＃xff0c;客户和订单都多起来了&＃xff0c;普通查询已经有压力了&＃xff0c;这个时候就需要升级架构变成多台服务器和多个业务数据库(量大&＃43;分库分表)&＃xff0c;这个阶段的业务数字和指标还可以勉强从业务数据库里查询。初步进入工业化。

• 第三个阶段&＃xff0c;一般需要 3-5 年左右的时间&＃xff0c;随着业务指数级的增长&＃xff0c;数据量的会陡增&＃xff0c;公司角色也开始多了起来&＃xff0c;开始有了 CEO、CMO、CIO&＃xff0c;大家需要面临的问题越来越复杂&＃xff0c;越来越深入。高管们关心的问题&＃xff0c;从最初非常粗放的&＃xff1a;“昨天的收入是多少”、“上个月的 PV、UV 是多少”&＃xff0c;逐渐演化到非常精细化和具体的用户的集群分析&＃xff0c;特定用户在某种使用场景中&＃xff0c;例如“20~30岁女性用户在过去五年的第一季度化妆品类商品的购买行为与公司进行的促销活动方案之间的关系”。

这类非常具体&＃xff0c;且能够对公司决策起到关键性作用的问题&＃xff0c;基本很难从业务数据库从调取出来。原因在于&＃xff1a;

1. 业务数据库中的数据结构是为了完成交易而设计的&＃xff0c;不是为了而查询和分析的便利设计的。

2.业务数据库大多是读写优化的&＃xff0c;即又要读(查看商品信息)&＃xff0c;也要写(产生订单&＃xff0c;完成支付)。因此对于大量数据的读(查询指标&＃xff0c;一般是复杂的只读类型查询)是支持不足的。

而怎么解决这个问题&＃xff0c;此时我们就需要建立一个数据仓库了&＃xff0c;公司也算开始进入信息化阶段了。数据仓库的作用在于&＃xff1a;
1.数据结构为了分析和查询的便利&＃xff1b;

2.只读优化的数据库&＃xff0c;即不需要它写入速度多么快&＃xff0c;只要做大量数据的复杂查询的速度足够快就行了。

那么在这里前一种业务数据库(读写都优化)的是业务性数据库&＃xff0c;后一种是分析性数据库&＃xff0c;即数据仓库。

区别主要总结为以下几点&＃xff1a;
1.数据库只存放在当前值&＃xff0c;数据仓库存放历史值&＃xff1b;
2.数据库内数据是动态变化的&＃xff0c;只要有业务发生&＃xff0c;数据就会被更新&＃xff0c;而数据仓库则是静态的历史数据&＃xff0c;只能定期添加、刷新&＃xff1b;
3.数据库中的数据结构比较复杂&＃xff0c;有各种结构以适合业务处理系统的需要&＃xff0c;而数据仓库中的数据结构则相对简单&＃xff1b;
4.数据库中数据访问频率较高&＃xff0c;但访问量较少&＃xff0c;而数据仓库的访问频率低但访问量却很高&＃xff1b;
5.数据库中数据的目标是面向业务处理人员的&＃xff0c;为业务处理人员提供信息处理的支持&＃xff0c;而数据仓库则是面向高层管理人员的&＃xff0c;为其提供决策支持&＃xff1b;
6.数据库在访问数据时要求响应速度快&＃xff0c;其响应时间一般在几秒内&＃xff0c;而数据仓库的响应时间则可长达数几小时

那么重点来了&＃xff0c;什么是hive呢&＃xff1f;

Hive是基于hadoop的一个数据仓库工具&＃xff0c;可以将结构化的数据文件映射为一张数据库表&＃xff0c;并提供类SQL查询功能。本质是将SQL转换为MapReduce程序。

重点 本质是将SQL转换为MapReduce程序。

hive的主要用途&＃xff1a;用来做离线数据分析&＃xff0c;比直接用MapReduce程序开发效率更高。

直接使用MapReduce所面临的问题&＃xff1a;

1. 人员学习成本太高
2. 项目周期要求太短
3. MapReduce 实现复杂查询逻辑开发难度太大

为什么使用hive&＃xff1a;

1. 操作接口采用类 SQL 语法&＃xff0c;提供快速开发的能力。
2. 避免了去写 MapReduce&＃xff0c;减少开发人员的学习成本。
3. 功能扩展很方便。

再来看一下hive的架构图

Hive基本组成包括

1. 用户接口&＃xff1a;包括 CLI、JDBC/ODBC、WebGUI。
2. 元数据存储&＃xff1a;通常是存储在关系数据库如 mysql , derby 中。
3. 解释器、编译器、优化器、执行器。

Hive 各组件的基本功能

用户接口主要由三个&＃xff1a;CLI、JDBC/ODBC 和 WebGUI。

CLI(command lineinterface)为 shell 命令行&＃xff1b;JDBC/ODBC 是 Hive 的 JAVA 实现&＃xff0c;与传统数据库 JDBC 类似&＃xff1b;WebGUI 是通过浏览器访问 Hive。

元数据存储&＃xff1a;Hive 将元数据存储在数据库中。Hive 中的元数据包括表的名字&＃xff0c;表的列和分区及其属性&＃xff0c;表的属性(是否为外部表等)&＃xff0c;表的数据所在目录等。

解释器、编译器、优化器完成 HQL 查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在 HDFS 中&＃xff0c;并在随后有MapReduce 调用执行。

Hive 与 Hadoop 的关系

Hive 利用 HDFS存储数据&＃xff0c;利用 MapReduce 查询分析数据 。