spark处理大量小文件

spark core处理小文件

在sparkContext的api中&＃xff0c;有HadoopFile相关api&＃xff0c;可以定义自己的InputFormat。原理跟MapReduce处理小文件一样&＃xff0c;参考之前博客&＃xff1a;newAPIHadoopFile。除了复写InputFormat之外&＃xff0c;还可以用shell控制文件大小&＃xff0c;合并小文件。还可以使用sparkContext的newAPIHadoopFile&＃xff0c;如下&＃xff1a;

spark sql从hive中读取小文件

spark sql是不会自动合并小文件的&＃xff08;hive会自动合并小文件&＃xff09;&＃xff0c;小文件越多&＃xff0c;产生的task就会越多

当spark sql要从hive中读取表t1&＃xff0c;如果使用hive&＃xff0c;hive是会对t1表的小文件处理的&＃xff0c;但是spark sql不会不会处理小文件&＃xff0c;所以我们需要使用间接的方法&＃xff0c;首先设置SET spark.sql.shuffle.partitions&＃61;20;&＃xff0c;然后再执行如下语句&＃xff1a;

最后&＃xff0c;新表splited_tmp就是20个文件了。