Hive优化配置等汇总

1.大小表join&＃xff08;数据倾斜&＃xff0c;包括笛卡尔积&＃xff09;优化&＃xff0c;小表写在前面&＃xff08;小表大表谁在前区别不大&＃xff09;&＃xff0c;0.7版本前需要在sql中写/&＃43;mapjoin(small_tablename)/&＃xff0c;之后版本 set hive.auto.convert.join&＃61;true; 即可自动转换&＃xff0c;写不写/&＃43;mapjoin(small_tablename)/没有区别。

脚本开头写&＃xff1a;

set hive.auto.convert.join&＃61;true;

set hive.mapjoin.smalltable.filesize&＃61;25000000; – 小于25mb为小表

2.Hive除了支持MapReduce计算引擎&＃xff0c;还支持Spark和Tez这两种分布式计算引擎。据我观察&＃xff0c;跑HQL时&＃xff0c;CPU使用率很高&＃xff0c;而内存使用率很低&＃xff08;不到30%&＃xff09;&＃xff0c;可以将一些HQL脚本改为Spark计算引擎。

脚本开头写&＃xff1a;

set hive.execution.engine&＃61;spark;

3.如果要实现in/exists/like in等&＃xff0c;用左半连接替代&＃xff0c;效率会有极大提升&＃xff0c;但是条件只能写在on后&＃xff0c;select where后都不能有关于右表的条件。

LEFT SEMI JOIN

4.在hue中可以使用impala/hive等编辑器&＃xff0c;impala与hive的sql基本一致&＃xff0c;且impala比hive快很多&＃xff0c;若想快速进行交互式数据分析建议用impala。impala与hive区别见下&＃xff1a;

4.1展示分区时&＃xff0c;impala显示信息更多&＃xff0c;包括表大小等&＃xff1b;

show partitions xx;

4.2 impala中on可以只有不对等条件&＃xff0c;hive不行&＃xff1b;

4.3 hive插入数据与表字段类型不一致可隐形转换&＃xff0c;impala不行&＃xff1b;

4.4 impala中不可以写set配置&＃xff0c;hive可以。

5.在hue中使用hive编辑器时&＃xff0c;可以配置参数&＃xff0c;速度会快很多。

set hive.auto.convert.join&＃61;true;

set hive.execution.engine&＃61;spark;

用完后不要忘记换回mr&＃xff0c;不然会一直占用资源&＃xff1a;

set hive.execution.engine&＃61;mr;

6.判断数据倾斜&＃xff1a;

大量相同的key被分配到一个reduce里&＃xff0c;造成一个reduce任务累死&＃xff0c;其他reduce闲死。查看进度&＃xff0c;长时间停留在99%或100%&＃xff0c;只有少量reduce子任务未完成。

7.如有需要&＃xff0c;使用sum/count/max/min等UDAF或自定义函数&＃xff0c;使表在map端汇总合并优化&＃xff0c;减少数据倾斜情况。

8.目前我们使用的是Hive 2.1.1&＃xff0c;如果后续升级到2.3&＃xff08;最好3.0&＃xff09;后&＃xff0c;可以使用物化视图对一些中间表进行优化。

9.配置汇总&＃xff1a;

每个配置参数都要搞清楚什么意思&＃xff0c;不要单纯的复制粘贴&＃xff0c;也不要投鼠忌器&＃xff0c;什么都不加&＃xff0c;要根据SQL和表情况选择合适的配置。

set hive.mapred.mode&＃61;nonstrict; – 如果为严格&＃xff0c;将禁止三种类型的查询&＃xff0c;自行百度。

set hive.exec.dynamic.partition&＃61;true; – 是否打开动态分区

set hive.exec.dynamic.partition.mode&＃61;nonstrict; – 打开动态分区后&＃xff0c;使用不严格模式

set hive.auto.convert.join&＃61;true; – 是否开启自动转换

set hive.mapjoin.smalltable.filesize&＃61;25000000; – 小于25mb 为小表

set hive.exec.parallel&＃61;true; – 是否开启并发提交

set hive.execution.engine&＃61;spark; – 设置计算引擎为spark&＃xff0c;默认mr

– set mapreduce.job.priority&＃61;high; – 设置mr job的优先级

– set hive.auto.convert.join&＃61;false; – 与下面配套使用

– set hive.ignore.mapjoin.hint&＃61;false; – 是否忽略mapjoin hint&＃xff0c;当关闭自动转换时手写

– set hive.cli.print.current.db&＃61;true; – cli print 显示当前库 命令行里用的&＃xff0c;跟脚本无关

更多内容见&＃xff1a;https://www.cnblogs.com/swordfall/p/11037539.html