大数据专栏|Hive安装初体验

Hive 基本概念

• 什么是Hive

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。

• 为什么使用Hive

Ø
直接使用hadoop所面临的问题

人员学习成本太高

项目周期要求太短

MapReduce实现复杂查询逻辑开发难度太大

Ø
为什么要使用Hive

操作接口采用类SQL语法，提供快速开发的能力。

避免了去写MapReduce，减少开发人员的学习成本。

扩展功能很方便。

• Hive的特点

Ø
可扩展

Hive可以自由的扩展集群的规模，一般情况下不需要重启服务。

Ø
延展性

Hive支持用户自定义函数，用户可以根据自己的需求来实现自己的函数。

Ø
容错

良好的容错性，节点出现问题SQL仍可完成执行。

• Hive架构

Jobtracker是hadoop1.x中的组件，它的功能相当于： Resourcemanager+AppMaster

TaskTracker 相当于： Nodemanager + yarnchild

• 基本组成

Ø 用户接口：包括 CLI、JDBC/ODBC、WebGUI。

Ø 元数据存储：通常是存储在关系数据库如 mysql , derby中。

Ø 解释器、编译器、优化器、执行器。

• 各组件的基本功能

Ø 用户接口主要由三个：CLI、JDBC/ODBC和WebGUI。其中，CLI为shell命令行；JDBC/ODBC是Hive的JAVA实现，与传统数据库JDBC类似；WebGUI是通过浏览器访问Hive。

Ø 元数据存储：Hive 将元数据存储在数据库中。Hive 中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。

Ø 解释器、编译器、优化器完成 HQL 查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在 HDFS 中，并在随后有 MapReduce 调用执行。

• Hive与Hadoop的关系

• Hive与传统数据库对比

• 注意：hive具有sql数据库的外表，但应用场景完全不同，hive只适合用来做批量数据统计分析
• Hive的数据存储

1、Hive中所有的数据都存储在 HDFS 中，没有专门的数据存储格式（可支持Text，SequenceFile，ParquetFile，RCFILE等）

2、只需要在创建表的时候告诉 Hive 数据中的列分隔符和行分隔符，Hive 就可以解析数据。

3、Hive 中包含以下数据模型：DB、Table，External Table，Partition，Bucket。

db：在hdfs中表现为${hive.metastore.warehouse.dir}目录下一个文件夹

table：在hdfs中表现所属db目录下一个文件夹

external table：外部表, 与table类似，不过其数据存放位置可以在任意指定路径

普通表: 删除表后, hdfs上的文件都删了

External外部表删除后, hdfs上的文件没有删除, 只是把文件删除了

partition：在hdfs中表现为table目录下的子目录bucket：桶, 在hdfs中表现为同一个表目录下根据hash散列之后的多个文件, 会根据不同的文件把数据放到不同的文件中

下面来安装 HIVE 吧！

Hive 学习环境 搭建

环境说明：

单机版

源数据库 MySQL

系统：CentOS6.7

Hadoop集群：3 台

• 【mini61-192.168.25.201】NameNode
• 【mini62-192.168.25.202】DataNode
• 【mini62-192.168.25.203】DataNode

安装 MySQL:

可参考：

CentOS6.5安装MySQL5.7详细教程 &＃8211; $nail &＃8211; 博客园​ www.cnblogs.com
CentOS6.5安装MySQL5.5​ blog.csdn.net

本次MySQL安装在主机：【mini62】中

注意：删除匿名用户，允许用户远程连接

mysql>use mysql;
mysql> grant all privileges on *.* to root@'%' identified by '123456';
mysql>GRANT ALL PRIVILEGES ON *.* TO 'root'@'%'WITH GRANT OPTION ;
mysql>flush privileges;

安装 Hive

参考：

Hive安装与配置 &＃8211; Kinginme &＃8211; 博客园​ www.cnblogs.com

官方文档：

Apache Software Foundation​ cwiki.apache.org

本次安装 hive1.2.1

• 下载：

Index of /apache/hive​ mirror.bit.edu.cn
Downloads​ hive.apache.org

• 使用工具上传 hive 压缩包到 虚拟机
• 解压

切换 root 用户配置环境变量：

# vi /etc/profile
#增加Hive环境变量
export HIVE_HOME=/home/hadoop/app/hive # 你解压后 Hive 的目录
export PATH=${HIVE_HOME}/bin:$PATH

刷新环境变量 ：source /etc/profile

进入 HIVE_HOME / conf/ 目录：

配置元数据库信息

新建文件：

$vi hive-site.xml

添加下面内容：(注意：hive-default.xml.template 配置内容过多，本次新建文件简单配置)

javax.jdo.option.ConnectionUserName 数据库用户名

javax.jdo.option.ConnectionPassword 对应数据库用户密码

javax.jdo.option.ConnectionURL MySQL 地址



javax.jdo.option.ConnectionURL
jdbc:mysql://mini62:3306/hive?createDatabaseIfNotExist=true
JDBC connect string for a JDBC metastore

​

javax.jdo.option.ConnectionDriverName
com.mysql.jdbc.Driver
Driver class name for a JDBC metastore

​

javax.jdo.option.ConnectionUserName
root
username to use against metastore database

​

javax.jdo.option.ConnectionPassword
123456
password to use against metastore database



问题：

Jline包版本不一致的问题，需要拷贝hive的lib目录中jline.2.12.jar的jar包替换掉hadoop中的 /home/hadoop/app/hadoop-2.6.4/share/hadoop/yarn/lib/jline-0.9.94.jar

添加 MySQL 驱动包到 HIVE_HOME/lib 目录下

可到Maven

mysql &＃8221; mysql-connector-java​ mvnrepository.com

MySQL驱动包

启动Hive

如配置了环境变量可直接执行 hive 命令启动

如果没有配置环境变量，在 HIVE_HOME/bin 目录下执行 hive 启动

启动报错：

[ERROR] Terminal initialization failed; falling back to unsupported
java.lang.IncompatibleClassChangeError: Found class jline.Terminal, but interface was expected

Jline包版本不一致的问题，需要拷贝hive的lib目录中jline.2.12.jar的jar包替换掉hadoop中的 HADOOP_HOME /share/hadoop/yarn/lib/jline-0.9.94.jar

启动完成：

大数据专栏​ zhuanlan.zhihu.com

微信公众号：大数据专栏