Hadoop之Hive架构与设计

Hadoop之Hive架构与设计

• HDFS&＃xff1a;全称为Hadoop分布式文件系统&＃xff08;Hadoop Distributed File System&＃xff09;,提供了高吞吐量的访问应用程序数据。

• Hadoop YARN&＃xff1a;Hadoop集群资源管理框架&＃xff08;Yet Another Resource Negotiator&＃xff09;,用于作业调度和集群资源管理。

• Hadoop MapReduce&＃xff1a;基于YARN的大数据集的并行处理系统。

• Hadoop Common&＃xff1a;支持其他Hadoop模块的通用功能&＃xff0c;包括序列化、Java RPC和持久化数据结构等。

• Ambari&＃xff1a;是一个部署、管理和监视Apache Hadoop集群的开源框架。

• Hbase&＃xff1a;可扩展的分布式列式数据库&＃xff0c;支持大表的结构化存储。

• Hive&＃xff1a;分布式数据仓库系统&＃xff0c;提供基于类SQL的查询语言。

• Mathout&＃xff1a;机器学习和数据挖掘领域经典算法的实现。

• Pig&＃xff1a;一个高级数据流语言和执行环境&＃xff0c;用来检索海量数据集。

• Spark&＃xff1a;一个快速和通用的计算引擎。Spark提供了一个简单而富有表现力的编程模型&＃xff0c;支持多种应用&＃xff0c;包括ETL、机器学习、数据流处理和图形计算。

• Sqoop&＃xff1a;在关系型数据库与Hadoop系统之间进行数据传输的工具。

• Tez&＃xff1a;是从MapReduce计算框架演化而来的通用DAG计算框架&＃xff0c;可作为MapReduce/Pig/Hive等系统的底层数据处理引擎&＃xff0c;它天生融入Hadoop2.0的资源管理平台YARN。

• Zookeeper&＃xff1a;提供Hadoop集群高性能的分布式的协调服务。

以下就Hive展开进行详解。

一、Hive简介

Hive是Apache Hadoop的正式子项目&＃xff0c;可以将结构化的数据文件映射为一张数据库表&＃xff0c;并提供简单的SQL查询功能&＃xff0c;可以将SQL语句转换为MapReduce任务进行运行。其优点是学习成本低&＃xff0c;可以通过类SQL语句快速实现简单的MapReduce统计&＃xff0c;不必开发专门的MapReduce应用&＃xff0c;十分适合数据仓库的统计分析。

Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具&＃xff0c;可以用来进行数据提取转化加载&＃xff08;ETL&＃xff09;&＃xff0c;这是一种可以在Hadoop中对大规模数据进行存储、查询和分析的机制。Hive定义了简单的类SQL查询语言&＃xff0c;称为HQL&＃xff0c;它允许熟悉SQL的用户方便地查询数据。同时&＃xff0c;这个语言也允许熟悉MapReduce的开发者定制自定义的Mapper和Reducer&＃xff0c;以便处理内建Mapper/Reducer无法完成的复杂分析工作。

二、Hive体系架构

Hive系统总体上分为以下几个部分。

UI&＃xff1a;用户提交查询请求与获得查询结果。其包括三个接口&＃xff1a;命令行&＃xff08;CLI&＃xff09;、Web GUI和客户端&＃xff1b;

Driver&＃xff1a;接受查询请求&＃xff0c;经过处理后返回查询结果。核心组件&＃xff0c;整个Hive的核心&＃xff0c;该组件包括Complier&＃xff08;编译器&＃xff09;、Optimizer&＃xff08;优化器&＃xff09;和Executor&＃xff08;执行器&＃xff09;&＃xff0c;它们的作用是对Hive SQL语句进行解析、编译优化&＃xff0c;生成执行计划&＃xff0c;然后调用底层的MapReduce计算框架&＃xff1b;

Compiler&＃xff1a;编译器&＃xff0c;分析查询SQL语句&＃xff0c;在不同的查询块和查询表达式上进行语义分析&＃xff0c;并最终通过从Metastore中查找表与分区的元信息生成执行计划&＃xff1b;

Execution Engine&＃xff1a;执行引擎&＃xff0c;执行由Compiler创建的执行计划&＃xff0c;执行引擎管理不同阶段的依赖关系&＃xff0c;通过MapReuce执行这些阶段&＃xff1b;

Metastore&＃xff1a;元数据储存&＃xff0c;元数据存储在MySQL或derby等数据库中。元数据包括Hive各种表与分区的结构化信息&＃xff0c;列与列类型信息&＃xff0c;序列化器与反序列化器等&＃xff0c;从而能够读写HDFS中的数据。

三、Hive数据模型

Hive的数据模型包括database、table、partition和bucket。

&＃xff08;1&＃xff09;Database&＃xff1a;相当于关系数据库里的命名空间&＃xff08;NameSpace&＃xff09;&＃xff0c;它的作用是将用户和数据库的应用隔离到不同的数据库或模式中&＃xff0c;Hive提供了createdatabase dbname、use dbname以及drop database dbname这样的语句。

&＃xff08;2&＃xff09;表&＃xff08;table&＃xff09;&＃xff1a;Hive的表逻辑上由存储的数据和描述表格中的数据形式的相关元数据组成。表存储的数据存放在分布式文件系统里&＃xff0c;例如HDFS&＃xff0c;元数据存储在关系数据库里&＃xff0c;当我们创建一张Hive的表&＃xff0c;还没有为表加载数据的时候&＃xff0c;该表在分布式文件系统&＃xff0c;例如HDFS上就是一个文件夹&＃xff08;文件目录&＃xff09;。Hive里的表有两种类型&＃xff0c;一种叫托管表&＃xff0c;这种表的数据文件存储在Hive的数据仓库里&＃xff1b;一种叫外部表&＃xff0c;这种表的数据文件可以存放在Hive数据仓库外部的分布式文件系统上&＃xff0c;也可以放到Hive数据仓库里&＃xff08;注意&＃xff1a;Hive的数据仓库就是hdfs上的一个目录&＃xff0c;这个目录是Hive数据文件存储的默认路径&＃xff0c;它可以在Hive的配置文件里进行配置&＃xff0c;最终也会存放到元数据库里&＃xff09;。

&＃xff08;3&＃xff09;桶&＃xff08;bucket&＃xff09;&＃xff1a;分桶是将数据集分解成更容易管理的若干部分的另一个技术&＃xff0c;上面的table和partition都是目录级别的拆分数据&＃xff0c;bucket则是对数据源数据文件本身来拆分数据。使用桶的表会将源数据文件按一定规律拆分成多个文件。

四、Hive优缺点

• 优点

1. 操作接口采用类SQL语法&＃xff0c;提供快速开发的能力&＃xff08;简单、容易上手&＃xff09;。

2. 避免了去写MapReduce&＃xff0c;减少开发人员的学习成本。

3. Hive的执行延迟比较高&＃xff0c;因此Hive常用于数据分析&＃xff0c;对实时性要求不高的场合。

4. Hive优势在于处理大数据&＃xff0c;对于处理小数据没有优势&＃xff0c;因为Hive的执行延迟比较高。

5. Hive支持用户自定义函数&＃xff0c;用户可以根据自己的需求来实现自己的函数。

• 缺点

1. Hive的HQL表达能力有限

   &＃xff08;1&＃xff09;迭代式算法无法表达&＃xff0c;表达能力有限&＃xff08;复杂的逻辑算法不好封装&＃xff09;
   &＃xff08;2&＃xff09;数据挖掘方面不擅长&＃xff0c;由于MapReduce数据处理流程的限制&＃xff08;比较慢&＃xff0c;因为底层的缺点也都还在&＃xff09;&＃xff0c;效率更高的算法却无法实现。

2. Hive的效率比较低
   &＃xff08;1&＃xff09;Hive自动生成的MapReduce作业&＃xff0c;通常情况下不够智能化&＃xff08;机器翻译比较死板&＃xff0c;可能不是最优解&＃xff0c;但是一定可以实现&＃xff09;
   &＃xff08;2&＃xff09;Hive调优比较困难&＃xff0c;粒度较粗&＃xff08;只能在框架的基础上优化&＃xff0c;不能深入底层MR程序优化&＃xff09;

五、Hive应用场景

Hive提供数据提取、转换、加载功能&＃xff0c;并可用类似于SQL的语法&＃xff0c;对HDFS海量数据库中的数据进行查询、统计等操作。形象地说&＃xff0c;Hive更像一个数据仓库管理工具&＃xff0c;适用于结构化数据的应用&＃xff0c;读多写少的应用&＃xff0c;响应时间要求不高的场合。Hive常用于以下几个方面&＃xff1a;

&＃xff08;1&＃xff09;数据汇总&＃xff08;每天/每周用户点击数&＃xff0c;点击排行&＃xff09;&＃xff1b;

&＃xff08;2&＃xff09;非实时分析&＃xff08;日志分析&＃xff0c;统计分析&＃xff09;&＃xff1b;

&＃xff08;3&＃xff09;数据挖掘&＃xff08;用户行为分析&＃xff0c;兴趣分区&＃xff0c;区域展示&＃xff09;。