hive内置函数_HiveQuery生命周期——钩子（Hook）函数篇

无论你通过哪种方式连接Hive(如Hive Cli、HiveServer2)&＃xff0c;一个HQL语句都要经过Driver的解析和执行&＃xff0c;主要涉及HQL解析、编译、优化器处理、执行器执行四个方面。

以Hive目前原生支持计算引擎MapReduce为例&＃xff0c;具体处理流程如下&＃xff1a;

1. HQL解析生成AST语法树Antlr定义SQL的语法规则&＃xff0c;完成SQL词法和语法解析&＃xff0c;将SQL转化为抽象语法树AST Tree
2. 语法分析得到QueryBlock遍历AST Tree&＃xff0c;抽象出查询的基本组成单元QueryBlock
3. 生成逻辑执行计划遍历QueryBlock&＃xff0c;翻译为执行操作树Operator Tree
4. Logical Optimizer Operator进行逻辑优化逻辑层优化器进行OperatorTree变换&＃xff0c;合并不必要的ReduceSinkOperator&＃xff0c;减少shuffle数据量
5. 生成物理执行计划Task Plan遍历Operator Tree&＃xff0c;翻译为MapReduce任务
6. 物理优化Task Tree&＃xff0c;构建执行计划QueryPlan物理层优化器进行MapReduce任务的变换&＃xff0c;生成最终的执行计划
7. 表以及其他操作鉴权
8. 执行引擎执行

---

在Hive Query整个生命周期中&＃xff0c;会有如下钩子函数被执行&＃xff1a;

HiveDriverRunHook的preDriverRun该钩子函数由参数hive.exec.driver.run.hooks控制&＃xff0c;决定要运行的pre hooks&＃xff0c;多个钩子实现类以逗号间隔&＃xff0c;钩子需实现 org.apache.hadoop.hive.ql.HiveDriverRunHook接口。

HiveSemanticAnalyzerHook的preAnalyze

在Driver开始run之前&＃xff0c;HQL经过解析会进入编译阶段的语法分析&＃xff0c;而在语法分析前会经过钩子HiveSemanticAnalyzerHook的preAnalyze方法处理。该钩子函数由hive.semantic.analyzer.hook配置&＃xff0c;钩子需实现org.apache.hadoop.hive.ql.parse.HiveSemanticAnalyzerHook接口。

HiveSemanticAnalyzerHook的postAnalyze

与preAnalyze同属于一个钩子类&＃xff0c;配置参数相同&＃xff0c;会执行所有配置的语义分析hooks&＃xff0c;但它位于Hive的语法分析之后&＃xff0c;可以获取HQL的输入和输出表及分区信息&＃xff0c;以及语法分析得到的task信息&＃xff0c;由此可以判断是否是需要分布式执行的任务&＃xff0c;以及执行引擎是什么。

生成执行计划之前的redactor钩子

该钩子由hive.exec.query.redactor.hooks配置&＃xff0c;多个实现类以逗号间隔&＃xff0c;钩子需继承org.apache.hadoop.hive.ql.hooks.Redactor抽象类&＃xff0c;并替换redactQuery方法。

这个钩子函数是在语法分析之后&＃xff0c;生成QueryPlan之前&＃xff0c;所以执行它的时候语法分析已完成&＃xff0c;具体要跑的任务已定&＃xff0c;这个钩子的目的在于完成QueryString的替换&＃xff0c;比如QueryString中包含敏感的表或字段信息&＃xff0c;在这里都可以完成替换&＃xff0c;从而在Yarn的RM界面或其他方式查询该任务的时候&＃xff0c;会显示经过替换后的HQL。

task执行前的preExecutionHook

在执行计划QueryPlan生成完&＃xff0c;并通过鉴权后&＃xff0c;就会执行具体的task&＃xff0c;而task执行之前会经过一个钩子函数&＃xff0c;钩子函数由hive.exec.pre.hooks配置&＃xff0c;多个钩子实现类以逗号间隔。实现方式&＃xff1a;

1)实现org.apache.hadoop.hive.ql.hooks.ExecuteWithHookContext
通过实现该接口的run方法&＃xff0c;执行所有的pre-execution hooks

// Pre/Post Execute Hook can run with the HookContextpublic interface ExecuteWithHookContext extends Hook {/** hookContext: The hook context passed to each hooks. * HookContext带有执行计划、Hive的配置信息、Lineage、UGI、提交的用户以及输入输出表等信息 */void run(HookContext hookContext) throws Exception;}2)实现org.apache.hadoop.hive.ql.hooks.PreExecute该接口的run方法已经标注为过时&＃xff0c;并且相对于ExecuteWithHookContext&＃xff0c;PreExecute提供的信息可能不能完全满足我们的业务需求。

public interface PreExecute extends Hook {/** * The run command that is called just before the execution of the query. * SessionState、UGI、HQL输入表及分区信息&＃xff0c;HQL输出表、分区以及本地和hdfs文件目录信息 */&＃64;Deprecatedpublic void run(SessionState sess, Set inputs,Set outputs, UserGroupInformation ugi) throws Exception;}task执行失败时的ON_FAILURE_HOOKS

task执行失败时&＃xff0c;Hive会调用这个hook执行一些处理措施。该钩子由参数hive.exec.failure.hooks配置&＃xff0c;多个钩子实现类以逗号间隔。需实实现org.apache.hadoop.hive.ql.hooks.ExecuteWithHookContext接口。

task执行完成时的postExecutionHook

在task任务执行完成后执行。如果task失败&＃xff0c;会先执行ON_FAILURE_HOOKS&＃xff0c;之后执行postExecutionHook&＃xff0c;该钩子由参数hive.exec.post.hooks指定的hooks(多个钩子实现类以逗号间隔)执行post execution hooks。实现方式&＃xff1a;

1)实现org.apache.hadoop.hive.ql.hooks.ExecuteWithHookContext

2)实现org.apache.hadoop.hive.ql.hooks.PostExecute

ExecuteWithHookContext和PostExecute跟分别与上述task执行前的preExecutionHook、PreExecute对应&＃xff0c;这里不再赘述。

HiveDriverRunHook的postDriverRun

在查询完成运行之后以及将结果返回给客户端之前执行&＃xff0c;与preDriverRun对应。

---

此外&＃xff0c;Hive中已经有一些内置实现的hook&＃xff0c;下面举一些例子以及它们的主要作用&＃xff1a;

ATSHook&＃xff1a;实现了ExecuteWithHookContext&＃xff0c;将查询和计划信息推送到Yarn App Timeline Server。

DriverTestHook&＃xff1a;实现了HiveDriverRunHook的preDriverRun方法(对postDriverRun是空实现)&＃xff0c;用于打印输出的命令。

EnforceReadOnlyTables&＃xff1a;pre execute hook&＃xff0c;实现了ExecuteWithHookContext&＃xff0c;用于阻止修改只读表。

LineageLogger&＃xff1a;实现了ExecuteWithHookContext&＃xff0c;它将查询的血统信息记录到日志文件中。LineageInfo包含有关query血统的所有信息。

PreExecutePrinter和PostExecutePrinter&＃xff1a;pre和post hook的示例&＃xff0c;它将参数打印输出。

PostExecTezSummaryPrinter&＃xff1a;post execution hook&＃xff0c;实现了ExecuteWithHookContext&＃xff0c;可以打印Hive Tez计数器的相关信息。

PostExecOrcFileDump&＃xff1a;post execution hook&＃xff0c;实现了ExecuteWithHookContext&＃xff0c;用于打印ORC文件信息。

UpdateInputAccessTimeHook&＃xff1a;pre execution hook&＃xff0c;可在运行查询之前更新所有输入表的访问时间。

特别强调一下LineageLogger和LineageInfo&＃xff0c;对于做Hive血缘关系分析很有参考价值&＃xff0c;当然Hive血缘分析不是本篇文章的重点&＃xff0c;这里先不做展开。

---

通过对上面Hive中hook的执行"位置"和作用&＃xff0c;以及Hive本身实现的一些Hook&＃xff0c;分析可知&＃xff1a;自定义hook&＃xff0c;比如实现一个pre execution hook。

首先在maven的pom中引入hive-exec的依赖&＃xff0c;如&＃xff1a;

org.apache.hivegroupId> hive-execartifactId> 2.1.0version>dependency>

此外&＃xff0c;还需创建一个实现ExecuteWithHookContext的类&＃xff0c;实现其中的run方法&＃xff0c;并设置相应的参数&＃xff0c;使自定义的hook类生效。

最后&＃xff0c;通过一张图&＃xff0c;来对Hive Hook做个总结&＃xff1a;

关联文章&＃xff1a;Hive Join优化Apache Hive

---

关注大数据学习与分享&＃xff0c;获取更多技术干货