hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。为什么要使用Hive?
提供统一的元数据管理。
Hive的缺点：
Hive的HQL表达能力有限，如迭代式算法无法表达。
Hive自动生成的MapReduce作业，粒度较粗，运行效率不算高。
1. 用户接口：Client
CLI（command-line interface）、JDBC/ODBC(jdbc访问hive)、WEBUI（浏览器访问hive）
2. 元数据：Metastore
元数据包括：表名、表所属的数据库（默认是default）、表的拥有者、列/分区字段、表的类型（是否是外部表）、表的数据所在目录等；一般结合MySQL数据库来存储Metastore
3. Hadoop
使用HDFS进行存储，使用MapReduce进行计算。
4. 驱动器：Driver
CREATE DATABASE/SCHEMA, TABLE, VIEW, FUNCTION, INDEXDROP DATABASE/SCHEMA, TABLE, VIEW, INDEXTRUNCATE TABLEALTER DATABASE/SCHEMA, TABLE, VIEWMSCK REPAIR TABLE (or ALTER TABLE RECOVER PARTITIONS)SHOW DATABASES/SCHEMAS, TABLES, TBLPROPERTIES, VIEWS, PARTITIONS, FUNCTIONS, INDEX[ES], COLUMNS, CREATE TABLEDESCRIBE DATABASE/SCHEMA, table_name, view_name, materialized_view_name
创建数据库：
create database if not exists hive; show databases;
创建学生表：
create table student(Sno int,Sname string,Sex string,Sage int,Sdept string)row format delimited fields terminated by ','stored as textfile;
创建课程表
create table course(Cno int,Cname string) row format delimited fields terminated by ',' stored as textfile;
创建分数表
create table sc(Sno int,Cno int,Grade int)row format delimited fields terminated by ',' stored as textfile;
插入数据到表
insert into student values(95001,'李勇','男',20,'CS');
或者批量插入数据到学生,课程,分数表
load data local inpath '/home/gpadmin/hivedata/students.txt' overwrite into table student;
查询学生的总人数
select count(distinct Sno)count from student;
查询各科成绩平均分
select Cno,avg(Grade) from sc group by Cno;
查询选修了3门以上的课程的学生学号
select Sno from (select Sno,count(Cno) CountCno from sc group by Sno)a where a.CountCno>3;
查询选修了课程的学生姓名（inner join）
select distinct Sname from student inner join sc on student.Sno=Sc.Sno;
hive命令执行：
hive -e "select * from hive.student;"
delete update语法
3. 可视化客户端工具
DBeave
小表驱动大表，Join操作的Reduce阶段，位于Join操作符左边的表的内容会被加载进内存，将条目少的表放在左边，可以有效减少发生内存溢出错误的几率。
（1）key分布不均匀
（2）业务数据本身的特性
（3）建表时考虑不周
（4）某些SQL语句本身就有数据倾斜
参数优化：hive.map.aggr=true 聚合操作放在Map阶段执行，从而减轻清洗阶段数据传输和Reduce阶段的执行时间，提升总体性能、join倾斜设置hive.optimize.skewjoin=true、group by倾斜设置hive.groupby.skewindata=true等
小文件过多，会给 HDFS 带来压力，影响处理效率，可以通过合并 Map 和 Reduce 的结果文件来消除这样的影响(修改hive hive-site.xml配置文件)：
hive.merge.mapfiles = true是否合并 Map 输出文件，默认为 True
hive.merge.mapredfiles = false是否合并 Reduce 输出文件，默认为 False
hive.merge.size.per.task = 256*1000*1000合并文件的大小
Order by 对查询结果进行全局排序，消耗时间长
Sort by 实现部分有序，单个reduce输出的结果是有序的，效率高
hive-site.xm永久生效/hive --hiveconf 单次生效/cli set 会话有效。
京公网安备 11010802041100号