hive合并小文件处理方案转载

hadoop使用lzo压缩&＃xff0c;block块大小为512MB

环境&＃xff1a;hadoop2.6&＃43;hive1.2.1     lzo压缩

启动压缩
set hive.exec.compress.output&＃61;true;
set mapreduce.output.fileoutputformat.compress&＃61;true; 
1、减少map数&＃xff0c;&＃xff08;当有大量小文件时&＃xff0c;启动合并&＃xff09;
set hive.input.format&＃61;org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;
set mapreduce.input.fileinputformat.split.maxsize&＃61;1073741824;
set mapreduce.input.fileinputformat.split.minsize&＃61;1;
set mapreduce.input.fileinputformat.split.minsize.per.node&＃61;536870912;
set mapreduce.input.fileinputformat.split.minsize.per.rack&＃61;536870912;
经过测试&＃xff0c;这种设置可以在map阶段和并小文件&＃xff0c;减少map的数量。
注意&＃xff1a;在测试的时候&＃xff0c;如果文件格式为Textfile&＃xff0c;并且启用lzo压缩&＃xff0c;不能生效。 rcfile以及orc可以生效&＃xff0c;Textfile不启用lzo压缩也可以生效。如果是新集群的话&＃xff0c;没有历史遗留的问题的话&＃xff0c;建议hive都使用orc文件格式&＃xff0c;以及启用lzo压缩。

2、MR作业结束后&＃xff0c;判断生成文件的平均大小&＃xff0c;如果小于阀值&＃xff0c;就再启动一个job来合并文件
set hive.merge.mapredfiles&＃61;true;
set hive.merge.mapfiles&＃61;true;
set hive.merge.smallfiles.avgsize&＃61;268435456;
----------------------------------------------------------------------------------------------------------------
最近仓库里面新建了一张分区表&＃xff0c;数据量大约是12亿行&＃xff0c;分区比较多&＃xff0c;从2008年7月开始 一天一个分区。

配置了一个任务

对这个表进行group by 的时候 发现启动了2800多个maps .

执行的时间也高大10分钟。

然后我在hdfs文件里面看到 这个表的每个分区里面都有20多个小文件&＃xff0c;每个文件都不大 300KB--1MB

之前的hive的参数&＃xff1a;
hive.merge.mapfiles&＃61;true
hive.merge.mapredfiles&＃61;false
hive.merge.rcfile.block.level&＃61;true
hive.merge.size.per.task&＃61;256000000
hive.merge.smallfiles.avgsize&＃61;16000000

hive.input.format&＃61;org.apache.hadoop.hive.ql.io.CombineHiveInputFormat

mapred.max.split.size&＃61;256000000
mapred.min.split.size&＃61;1
mapred.min.split.size.per.node&＃61;1
mapred.min.split.size.per.rack&＃61;1

hive.merge.mapredfiles 这个指的是 在Map-Reduce的任务结束时合并小文件

解决办法&＃xff1a;

1.修改参数hive.merge.mapredfiles&＃61;true

2.通过map_reduece的办法生成一张新的表 此时生成的文件变成了每个分区一个文件

再次执行group by 发现效率得到了大大的提升。

小结&＃xff1a;

正确处理hive小文件 是 控制map数的一个重要环节

处理的不好 会大大影响任务的执行效率
 ———————————————— 
版权声明&＃xff1a;本文为CSDN博主「ytp552200ytp」的原创文章&＃xff0c;遵循CC 4.0 by-sa版权协议&＃xff0c;转载请附上原文出处链接及本声明。
原文链接&＃xff1a;https://blog.csdn.net/ytp552200ytp/article/details/90748048