Hive（一）之Hive入门

1.Hive入门

1.1什么是Hive

Hive&＃xff1a;由Facebook开源用于解决海量结构化日志的数据统计。

Hive是基于Hadoop的一个数据仓库工具&＃xff0c;可以将结构化的数据文件映射为一张表&＃xff0c;并提供类SQL查询功能。

本质是&＃xff1a;将HQL转化成MapReduce程序

1&＃xff09;Hive处理的数据存储在HDFS

2&＃xff09;Hive分析数据底层的实现是MapReduce

3&＃xff09;执行程序运行在Yarn上

1.2 Hive的优缺点

1.2.1 优点

1. 操作接口采用类SQL语法&＃xff0c;提供快速开发的能力&＃xff08;简单、容易上手&＃xff09;。

2. 避免了去写MapReduce&＃xff0c;减少开发人员的学习成本。

3. Hive的执行延迟比较高&＃xff0c;因此Hive常用于数据分析&＃xff0c;对实时性要求不高的场合。

4)Hive优势在于处理大数据&＃xff0c;对于处理小数据没有优势&＃xff0c;因为Hive的执行延迟比较高。

5. Hive支持用户自定义函数&＃xff0c;用户可以根据自己的需求来实现自己的函数。

1.2.2 缺点

1&＃xff0e;Hive的HQL表达能力有限

&＃xff08;1&＃xff09;迭代式算法无法表达

&＃xff08;2&＃xff09;数据挖掘方面不擅长

2&＃xff0e;Hive的效率比较低

&＃xff08;1&＃xff09;Hive自动生成的MapReduce作业&＃xff0c;通常情况下不够智能化

&＃xff08;2&＃xff09;Hive调优比较困难&＃xff0c;粒度较粗

1.3Hive架构原理

1&＃xff0e;用户接口&＃xff1a;Client

CLI&＃xff08;hive shell&＃xff09;、JDBC/ODBC(java访问hive)、WEBUI&＃xff08;浏览器访问hive&＃xff09;

2&＃xff0e;元数据&＃xff1a;Metastore

元数据包括&＃xff1a;表名、表所属的数据库&＃xff08;默认是default&＃xff09;、表的拥有者、列/分区字段、表的类型&＃xff08;是否是外部表&＃xff09;、表的数据所在目录等&＃xff1b;

默认存储在自带的derby数据库中&＃xff0c;推荐使用MySQL存储Metastore

3&＃xff0e;Hadoop

使用HDFS进行存储&＃xff0c;使用MapReduce进行计算。

4&＃xff0e;驱动器&＃xff1a;Driver

&＃xff08;1&＃xff09;解析器&＃xff08;SQL Parser&＃xff09;&＃xff1a;将SQL字符串转换成抽象语法树AST&＃xff0c;这一步一般都用第三方工具库完成&＃xff0c;比如antlr&＃xff1b;对AST进行语法分析&＃xff0c;比如表是否存在、字段是否存在、SQL语义是否有误。

&＃xff08;2&＃xff09;编译器&＃xff08;Physical Plan&＃xff09;&＃xff1a;将AST编译生成逻辑执行计划。

&＃xff08;3&＃xff09;优化器&＃xff08;Query Optimizer&＃xff09;&＃xff1a;对逻辑执行计划进行优化。

&＃xff08;4&＃xff09;执行器&＃xff08;Execution&＃xff09;&＃xff1a;把逻辑执行计划转换成可以运行的物理计划。对于Hive来说&＃xff0c;就是MR/Spark。

Hive通过给用户提供的一系列交互接口&＃xff0c;接收到用户的指令(SQL)&＃xff0c;使用自己的Driver&＃xff0c;结合元数据(MetaStore)&＃xff0c;将这些指令翻译成MapReduce&＃xff0c;提交到Hadoop中执行&＃xff0c;最后&＃xff0c;将执行返回的结果输出到用户交互接口。