HiveMapReduce小文件问题异常处理

namenode&＃xff1a; HDFS的文件元信息&＃xff0c;包括位置、大小、分块信息等&＃xff0c;保存在NameNode的内存中的&＃xff0c;每个对象大约占用150个字节。

问题描述&＃xff1a;hive计算时&＃xff0c;数据输入文件的索引总量超过集群限制&＃xff08;10M&＃xff09;&＃xff0c;导致无法进行计算&＃xff0c;job抛错

源码剖析&＃xff1a;hive.index.compact.query.max.entries&＃xff1a; 使用压缩索引查询时能读到的最大索引项数&＃xff0c; 默认是10000000&＃xff1b;负值代表无穷大&＃xff1b;

报错截图&＃xff1a;Failure Info:Job initialization failed: java.io.IOException: Split metadata size exceeded 10000000.                              

原因解析&＃xff1a;需要查询近180天中间表(源表:edw.table)数据&＃xff0c;数据量180个分区&＃xff0c;每个分区720个文件&＃xff0c;每个文件大小256G&＃xff0c;共计180*720&＃61;129600个文件  占用namenode内存 129600*150≈18.5M   已超过hive默认配置

解决办法&＃xff1a;

1. 输入合并。即在Map前合并小文件

配置map输入合并&＃xff08;因中间表已经生成&＃xff0c;所以采取输入前合并&＃xff09;

-- 每个Map最大输入大小&＃xff0c;决定合并后的文件数
set mapred.max.split.size&＃61;512000000;
-- 一个节点上split的至少的大小 &＃xff0c;决定了多个data node上的文件是否需要合并
set mapred.min.split.size.per.node&＃61;100000000;
-- 一个交换机下split的至少的大小&＃xff0c;决定了多个交换机上的文件是否需要合并
set mapred.min.split.size.per.rack&＃61;100000000;
-- 执行Map前进行小文件合并
set hive.input.format&＃61;org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;

添加参数后文件数量减半  占用namenode内存小于10M&＃xff0c;任务正常启动&＃xff0c;调试成功。

2. 输出合并。即在输出结果的时候合并小文件&＃xff08;本次未做实践&＃xff09;参考参数如下&＃xff1a;

set hive.merge.mapfiles &＃61; true #默认false&＃xff0c; true时在MapReduce的任务结束时合并小文件
set hive.merge.mapredfiles &＃61; true #在Map-only的任务结束时合并小文件&＃xff0c;map阶段Hive自动对小文件合并。
set hive.merge.size.per.task &＃61; 256*1000*1000 #合并文件的大小
set hive.merge.smallfiles.avgsize&＃61;16000000 #当输出文件的平均大小小于该值时&＃xff0c;启动一个独立的map-reduce任务进行文件merge