Spark：用CombineTextInputFormat缓解小文件过多导致Task数目过多的问题

http://www.cnblogs.com/yurunmiao/p/5195754.html

原始读法&＃xff1a;

lines &＃61; sc.textFile("hdfs:///dir/")


这样一个block会形成一个partition&＃xff0c;对应一个task。

优化读法&＃xff1a;

lines &＃61; sc.newAPIHadoopFile("hdfs:///dir/","org.apache.hadoop.mapreduce.lib.input.CombineTextInputFormat","org.apache.hadoop.io.LongWritable","org.apache.hadoop.io.Text")
.map(s &＃61;> s._1)


org.apache.hadoop.mapreduce.lib.input.CombineTextInputFormat可以将多个小文件合并生成一个Split&＃xff0c;而一个Split会被一个Task处理&＃xff0c;从而减少Task的数目。