开门见山&＃xff0c;什么是hive&＃xff1f;

一个 hadoop 的客户端。

hive能做什么&＃xff1f;

hive是基于Hadoop的一个数据仓库工具

1. 用来进行数据提取、转化、加载&＃xff0c;这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。
2. hive数据仓库工具能将结构化的数据文件映射为一张数据库表&＃xff0c;并提供SQL查询功能&＃xff0c;能将SQL语句转变成MapReduce任务来执行。
3. hive可以通过类似SQL语句实现快速MapReduce统计&＃xff0c;使MapReduce变得更加简单&＃xff0c;而不必开发专门的MapReduce应用程序。hive十分适合对数据仓库进行统计分析。

HIVE的基本架构

　　作为Hadoop的主要数据仓库解决方案&＃xff0c;底层存储依赖于HDFS&＃xff0c;而Hive SQL是主要交互接口&＃xff0c;而真正的计算和执行则由MapReduce完成&＃xff0c;它们之间的桥梁是Hive引擎。接下来&＃xff0c;具体看下HIVE的引擎架构&＃xff1a;

Hive的主要组件包括UI组件、Driver组件(Complier、Optimizer和Executor)、Metastore组件、CLI(Command Line Interface&＃xff0c;命令行接口)、JDBC/ODBC、Thrift Server和Hive Web Interface(HWI)等。&＃xff0c;接下来分别对这几个组件进行介绍。

• Drvier组件

　　　　该组件是Hive的核心组件&＃xff0c;该组件包括Complier(编译器)、Optimizer(优化器)和Executor(执行器),它们的作用是对Hive SQL语句进行解析、编译优化、生成执行计划&＃xff0c;然后调用底层MR计算框架。

• MetaStore组件

　　　　该组件是Hive用来负责管理元数据的组件。Hive的元数据存储在关系型数据库中&＃xff0c;其支持的关系型数据库有Derby和mysql&＃xff0c;其中Derby是Hive默认情况下使用的数据库&＃xff0c;它内嵌在Hive中&＃xff0c;但是该数据库只支持单会话&＃xff0c;也就是说只允许一个会话链接&＃xff0c;所以在生产中并不适用&＃xff0c;其实其实在平时我们的测试环境中也很少使用。在我们日常的团队开发中&＃xff0c;需要支持多会话&＃xff0c;所以需要一个独立的元数据库&＃xff0c;用的最多的也就是Mysql&＃xff0c;而且Hive内部对Mysql提供了很好的支持。

• CLI

　　　　Hive的命令行接口

• Thrift Server

　　　　该组件提供JDBC和ODBC接入的能力&＃xff0c;用来进行可扩展且跨语言的服务开发。Hive集成了该服务&＃xff0c;能让不同的编程语言调用Hive的接口

• Hive Web Interface

　　　　该组件是Hive客户端提供的一种通过网页方式访问Hive所提供的服务。这个接口对应Hive的HWI组件

　Hive通过CLI&＃xff0c;JDBC/ODBC或HWI接受相关的Hive SQL查询&＃xff0c;并通过Driver组件进行编译&＃xff0c;分析优化&＃xff0c;最后编程可执行的MapReduce任务&＃xff0c;但是具体里面是怎么执行的&＃xff0c;看图&＃xff1a;