hive本地模式设置

前言

当在hive上提交mapreduce任务时&＃xff0c;常见的管理引擎有yarn与local&＃xff0c;默认使用集群模式yarn进行执行。当执行任务计算的文件大小与文件数相对较小时&＃xff0c;可以开启本地模式进行执行&＃xff0c;效率相对集群模式会更高。

查看当前hive的本地模式情况

• 查看本地模式是否开启&＃xff1a;set hive.exec.mode.local.auto;
• 查看启用本地模式允许的最大输入文件数&＃xff1a;set hive.exec.mode.local.auto.input.files.max;
• 查看启用本地模式允许的最大文件大小&＃xff1a;set hive.exec.mode.local.auto.inputbytes.max;

如下&＃xff0c;默认关闭本地模式执行&＃xff1b;本地模式下允许输入的最大文件数为4&＃xff1b;最大文件大小为128M.

本地模式的执行效率

使用同样一段sql进行执行&＃xff0c;运行效率如下&＃xff1a;
集群模式&＃xff1a;51秒&＃xff1b;
本地模式&＃xff1a;13秒。

SELECTid,COUNT(1)
FROMtest_table
WHEREdt &＃61; &＃39;2022-04-23&＃39;
GROUP BYid;


如何确定本地模式是否设置成功&＃xff1f;

可以根据job的名称来判断&＃xff0c;本地模式执行的job名称带有local标志&＃xff0c;如下&＃xff1a;
yarn集群的job&＃xff1a;job_5690061100801_51019181&＃xff1b;
本地模式下的job&＃xff1a;job_local190266243_0001。