hive面试题总结（大数据面试）

Hive概述

Hive是基于Hadoop的一个数据仓库工具&＃xff0c;可以将结构化的数据文件映射成为一张数据库表&＃xff0c;并提供类SQL的查询功能。可以将sql语句转化为MapReduce任务进行运行。Hive提供了一系列的工具&＃xff0c;可以用来进行数据提取转化加载&＃xff08;ETL&＃xff09;&＃xff0c;这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。

1、Hive 自定义函数函数

UDF 一进一出 处理原文件内容某些字段包含 [] “”
UDAF 多进一出 sum() avg() max() min()
UDTF 一进多出 ip -> 国家 省 市

2、Hive4种排序

• order by //可以指定desc 降序 asc 升序 order
  by会对输入做全局排序&＃xff0c;因此只有一个Reducer(多个Reducer无法保证全局有序)&＃xff0c;然而只有一个Reducer&＃xff0c;会导致当输入规模较大时&＃xff0c;消耗较长的计算时间。
• sort by 【对分区内的数据进行排序】 sort by不是全局排序&＃xff0c;其在数据进入reducer前完成排序&＃xff0c;因此&＃xff0c;如果用sort by进行排序&＃xff0c;并且设置mapred.reduce.tasks>1&＃xff0c;则sort by只会保证每个reducer的输出有序&＃xff0c;并不保证全局有序。sort by不同于order by&＃xff0c;它不受Hive.mapred.mode属性的影响&＃xff0c;sort by的数据只能保证在同一个reduce中的数据可以按指定字段排序。使用sort by你可以指定执行的reduce个数(通过set mapred.reduce.tasks&＃61;n来指定)&＃xff0c;对输出的数据再执行归并排序&＃xff0c;即可得到全部结果。
• distribute by 【对map输出进行分区】
  distribute by是控制在map端如何拆分数据给reduce端的。hive会根据distribute by后面列&＃xff0c;对应reduce的个数进行分发&＃xff0c;默认是采用hash算法。sort by为每个reduce产生一个排序文件。在有些情况下&＃xff0c;你需要控制某个特定行应该到哪个reducer&＃xff0c;这通常是为了进行后续的聚集操作。distribute by刚好可以做这件事。因此&＃xff0c;distribute by经常和sort by配合使用。
• cluster by
  cluster by除了具有distribute by的功能外还兼具sort by的功能。当distribute by和sort by 是同一个字段的时候可以使用cluster by替代。但是排序只能是倒叙排序&＃xff0c;不能指定排序规则为ASC或者DESC。

3、三种分组的区别

• row_number&＃xff1a;不管col2字段的值是否相等&＃xff0c;行号一直递增&＃xff0c;比如&＃xff1a;有两条记录的值相等&＃xff0c;但一个是第一&＃xff0c;一个是第二
• rank&＃xff1a;上下两条记录的col2相等时&＃xff0c;记录的行号是一样的&＃xff0c;但下一个col2值的行号递增N&＃xff08;N是重复的次数&＃xff09;&＃xff0c;比如&＃xff1a;有两条并列第一&＃xff0c;下一个是第三&＃xff0c;没有第二
• dense_rank&＃xff1a;上下两条记录的col2相等时&＃xff0c;下一个col2值的行号递增1&＃xff0c;比如&＃xff1a;有两条并列第一&＃xff0c;下一个是第二

4、Hive优化

1.fetch task任务不走MapReduce&＃xff0c;可以在hive配置文件中设置最大化和最小化fetch task任务&＃xff1b;通常在使用hiveserver2时调整为more&＃xff1b;

2.strict mode&＃xff1a;严格模式设置&＃xff0c;严格模式下将会限制一些查询操作
a&＃xff1a;当表为分区表时&＃xff0c;where字句后没有分区字段和限制时&＃xff0c;不允许执行。
b&＃xff1a;当使用order by语句时&＃xff0c;必须使用limit字段&＃xff0c;因为order by 只会产生一个reduce任务。
c&＃xff1a;限制笛卡尔积的查询。sql语句不加where不会执行
3.优化sql语句&＃xff0c;如先过滤再join&＃xff0c;先分组再做distinct;
4.MapReduce过程的map、shuffle、reduce端的snappy压缩
需要先替换hadoop的native本地包开启压缩
在mapred-site.xml文件设置启用压缩及压缩编码
在执行SQL执行时设置启用压缩和指定压缩编码

set mapreduce.output.fileoutputformat.compress&＃61;true;
set mapreduce.output.fileoutputformat.compress.codec&＃61;org apache.hadoop.io.compress.SnappyCodec;


5.大表拆分成子表&＃xff0c;提取中间结果集&＃xff0c;减少每次加载数据
多维度分析&＃xff0c;多个分析模块
每个分析模块涉及字段不一样&＃xff0c;而且并不是表的全部字段

6.分区表及外部表
设计二级分区表&＃xff08;一级字段为天&＃xff0c;二级字段设置小时&＃xff09;
创建的的是外部表&＃xff0c;创建表时直接指定数据所在目录即可&＃xff0c;不用再用load加载数据

7.设置map和reduce个数&＃xff1a;默认情况下一个块对应一个map任务&＃xff0c;map数据我们一般不去调整&＃xff0c;reduce个数根据reduce处理的数据量大小进行适当调整体现“分而治之”的思想

8.JVM重用&＃xff1a;一个job可能有多个map reduce任务&＃xff0c;每个任务会开启一个JVM虚拟机&＃xff0c;默认情况下一个任务对应一个JVM&＃xff0c;任务运行完JVM即销毁&＃xff0c;我们可以设置JVM重用参数&＃xff0c;一般不超过5个&＃xff0c;这样一个JVM内可以连续运行多个任务
JVM重用是Hadoop调优参数的内容&＃xff0c;对Hive的性能具有非常大的影响&＃xff0c;特别是对于很难避免小文件的场景或者task特别多的场景&＃xff0c;这类场景大多数执行时间都很短。hadoop默认配置是使用派生JVM来执行map和reduce任务的&＃xff0c;这是jvm的启动过程可能会造成相当大的开销&＃xff0c;尤其是执行的job包含有成千上万个task任务的情况。
JVM重用可以使得JVM实例在同一个JOB中重新使用N次&＃xff0c;N的值可以在Hadoop的mapre-site.xml文件中进行设置&＃xff08;建议参考5~10&＃xff09;

9.推测执行&＃xff1a;例如一个Job应用有10个MapReduce任务&＃xff08;map 及reduce&＃xff09;&＃xff0c;其中9个任务已经完成&＃xff0c;那么application Master会在另外启动一个相同的任务来运行未完成的那个&＃xff0c;最后哪个先运行完成就把另一个kill掉
启用speculative最大的好处是&＃xff0c;一个map执行的时候&＃xff0c;系统会在其他空闲的服务器上启动相同的map来同时运行&＃xff0c;哪个运行的快就使用哪个的结果&＃xff0c;另一个运行慢的在有了结果之后就会被kill。

5、数据倾斜

原因

key分布不均匀
业务数据本身的特性
SQL语句造成数据倾斜

对于普通的join操作&＃xff0c;会在map端根据key的hash值&＃xff0c;shuffle到某一个reduce上去&＃xff0c;在reduce端做join连接操作&＃xff0c;内存中缓存join左边的表&＃xff0c;遍历右边的表&＃xff0c;依次做join操作。所以在做join操作时候&＃xff0c;将数据量多的表放在join的右边。

当数据量比较大&＃xff0c;并且key分布不均匀&＃xff0c;大量的key都shuffle到一个reduce上了&＃xff0c;就出现了数据的倾斜。

常见的数据倾斜出现在group by和join…on…语句中。

join&＃xff08;数据倾斜&＃xff09;
在进行两个表join的过程中&＃xff0c;由于hive都是从左向右执行&＃xff0c;要注意讲小表在前&＃xff0c;大表在后&＃xff08;小表会先进行缓存&＃xff09;。

map/reduce程序执行时&＃xff0c;reduce节点大部分执行完毕&＃xff0c;但是有一个或者几个reduce节点运行很慢&＃xff0c;导致整个程序的处理时间很长&＃xff0c;这是因为某一个key的条数比其他key多很多&＃xff08;有时是百倍或者千倍之多&＃xff09;&＃xff0c;这条key所在的reduce节点所处理的数据量比其他节点就大很多&＃xff0c;从而导致某几个节点迟迟运行不完&＃xff0c;此称之为数据倾斜。hive在跑数据时经常会出现数据倾斜的情况&＃xff0c;使的作业经常reduce完成在99%后一直卡住&＃xff0c;最后的&＃xff11;%花了几个小时都没跑完&＃xff0c;这种情况就很可能是数据倾斜的原因&＃xff0c;

hive.groupby.skewindata&＃61;true;
控制生成两个MR Job,第一个MR Job Map的输出结果随机分配到reduce中减少某些key值条数过多某些key条数过小造成的数据倾斜问题。
在第一个 MapReduce 中&＃xff0c;map 的输出结果集合会随机分布到 reduce 中&＃xff0c; 每个reduce 做部分聚合操作&＃xff0c;并输出结果。这样处理的结果是&＃xff0c;相同的 Group By Key 有可能分发到不同的reduce中&＃xff0c;从而达到负载均衡的目的&＃xff1b;
第二个 MapReduce 任务再根据预处理的数据结果按照 Group By Key 分布到 reduce 中&＃xff08;这个过程可以保证相同的 Group By Key 分布到同一个 reduce 中&＃xff09;&＃xff0c;最后完成最终的聚合操作。

hive.optimize.skewjoin.compiletime&＃61;true; 如果是join过程出现倾斜应该设置为true
此时会将join语句转化为两个mapreduce任务&＃xff0c;第一个会给jion字段加随机散列
set hive.skewjoin.key&＃61;100000; 这个是join的键对应的记录条数超过这个值则会进行优化。

6、Hive中追加导入数据的4种方式是什么&＃xff1f;请写出简要语法

• 从本地导入&＃xff1a; load data local inpath ‘/home/1.txt’ (overwrite)into table student;
• 从Hdfs导入&＃xff1a; load data inpath ‘/user/hive/warehouse/1.txt’ (overwrite)into table student;
• 查询导入&＃xff1a; create table student1 as select * from student;(也可以具体查询某项数据)
• 查询结果导入&＃xff1a;insert &＃xff08;overwrite&＃xff09;into table staff select * from track_log;

7、Hive导出数据有几种方式&＃xff1f;如何导出数据

1、用insert overwrite导出方式

• 导出到本地&＃xff1a; insert overwrite local directory ‘/home/robot/1/2’ rom format
  delimited fields terminated by ‘\t’ select * from staff;(递归创建目录)
• 导出到HDFS insert overwrite directory ‘/user/hive/1/2’ rom format
  delimited fields terminated by ‘\t’ select * from staff;

2、Bash shell覆盖追加导出

• 例如&＃xff1a;$ bin/hive -e “select * from staff;” > /home/z/backup.log

3、Sqoop把hive数据导出到外部

8、合并小文件

hive.merg.mapfiles&＃61;true&＃xff1a;合并map输出
hive.merge.mapredfiles&＃61;false&＃xff1a;合并reduce输出
hive.merge.size.per.task&＃61;25610001000&＃xff1a;合并文件的大小
hive.mergejob.maponly&＃61;true&＃xff1a;如果支持CombineHiveInputFormat则生成只有Map的任务执行merge
hive.merge.smallfiles.avgsize&＃61;16000000&＃xff1a;文件的平均大小小于该值时&＃xff0c;会启动一个MR任务执行merge。

9、自定义map/reduce数目

减少map数目&＃xff1a;
　　set mapred.max.split.size
　　set mapred.min.split.size
　　set mapred.min.split.size.per.node
　　set mapred.min.split.size.per.rack
　　set hive.input.format&＃61;org.apache.hadoop.hive.ql.io.CombineHiveInputFormat
增加map数目&＃xff1a;
当input的文件都很大&＃xff0c;任务逻辑复杂&＃xff0c;map执行非常慢的时候&＃xff0c;可以考虑增加Map数&＃xff0c;来使得每个map处理的数据量减少&＃xff0c;从而提高任务的执行效率。
假设有这样一个任务&＃xff1a;
select data_desc, count(1), count(distinct id),sum(case when …),sum(case when …),sum(…) from a group by data_desc
如果表a只有一个文件&＃xff0c;大小为120M&＃xff0c;但包含几千万的记录&＃xff0c;如果用1个map去完成这个任务&＃xff0c;肯定是比较耗时的&＃xff0c;这种情况下&＃xff0c;我们要考虑将这一个文件合理的拆分成多个&＃xff0c;这样就可以用多个map任务去完成。
　　set mapred.reduce.tasks&＃61;10;
　　create table a_1 as select * from a distribute by rand(123);
这样会将a表的记录&＃xff0c;随机的分散到包含10个文件的a_1表中&＃xff0c;再用a_1代替上面sql中的a表&＃xff0c;则会用10个map任务去完成。每个map任务处理大于12M&＃xff08;几百万记录&＃xff09;的数据&＃xff0c;效率肯定会好很多。
reduce数目设置&＃xff1a;
参数1&＃xff1a;hive.exec.reducers.bytes.per.reducer&＃61;1G&＃xff1a;每个reduce任务处理的数据量
参数2&＃xff1a;hive.exec.reducers.max&＃61;999(0.95TaskTracker数)&＃xff1a;每个任务最大的reduce数目
reducer数&＃61;min(参数2,总输入数据量/参数1)
set mapred.reduce.tasks&＃xff1a;每个任务默认的reduce数目。典型为0.99reduce槽数&＃xff0c;hive将其设置为-1&＃xff0c;自动确定reduce数目。

10、使用索引&＃xff1a;

hive.optimize.index.filter&＃xff1a;自动使用索引
hive.optimize.index.groupby&＃xff1a;使用聚合索引优化GROUP BY操作

11、分区和分桶

分区

是指按照数据表的某列或某些列分为多个区&＃xff0c;区从形式上可以理解为文件夹&＃xff0c;比如我们要收集某个大型网站的日志数据&＃xff0c;一个网站每天的日志数据存在同一张表上&＃xff0c;由于每天会生成大量的日志&＃xff0c;导致数据表的内容巨大&＃xff0c;在查询时进行全表扫描耗费的资源非常多。
那其实这个情况下&＃xff0c;我们可以按照日期对数据表进行分区&＃xff0c;不同日期的数据存放在不同的分区&＃xff0c;在查询时只要指定分区字段的值就可以直接从该分区查找

分桶

分桶是相对分区进行更细粒度的划分。
分桶将整个数据内容安装某列属性值得hash值进行区分&＃xff0c;如要按照name属性分为3个桶&＃xff0c;就是对name属性值的hash值对3取摸&＃xff0c;按照取模结果对数据分桶。
如取模结果为0的数据记录存放到一个文件&＃xff0c;取模为1的数据存放到一个文件&＃xff0c;取模为2的数据存放到一个文件

12、Hive 中的压缩格式 RCFile、 TextFile、 SequenceFile 各有什么区别&＃xff1f;

TextFile&＃xff1a;默认格式&＃xff0c;数据不做压缩&＃xff0c;磁盘开销大&＃xff0c;数据解析开销大。

SequenceFile&＃xff1a;Hadoop API提供的一种二进制文件支持&＃xff0c;使用方便&＃xff0c;可分割&＃xff0c;可压缩&＃xff0c;支持三种压缩&＃xff0c;NONE&＃xff0c;RECORD&＃xff0c;BLOCK。

RCFILE&＃xff1a;是一种行列存储相结合的方式。首先&＃xff0c;将数据按行分块&＃xff0c;保证同一个record在同一个块上&＃xff0c;避免读一个记录读取多个block。其次&＃xff0c;块数据列式存储&＃xff0c;有利于数据压缩和快速的列存取。数据加载的时候性能消耗大&＃xff0c;但具有较好的压缩比和查询响应。
企业中hive常用的数据存储格式是ORC格式&＃xff0c;数据压缩格式是snappy

资料来源