探索HiveUDF的应用

在之前的讨论中，我们解决了如何将Hive表中的复杂数据结构平铺化以便导入Kylin的问题。然而，在这一过程中，广告日志的曝光PV（Page View）出现了翻倍的情况，原因在于单个用户可能对应多个标签。因此，为了准确计算曝光PV，我们需要创建特定的视图来处理这个问题。

具体需求分析如下：

• 每个DSP（Demand Side Platform）上的曝光PV以及标签覆盖的曝光PV；
• 累计的曝光PV及标签覆盖的累计曝光PV。

这可以通过构建一个多维立方体（Cube），并结合相应的度量指标来实现，例如：`cube(dsp, tag) + measure(pv)`。以下是相应的Hive查询语句示例：

SELECT dsp, tag, COUNT(*) AS pv FROM ad_view WHERE view = 'view' AND day_time BETWEEN '2016-04-18' AND '2016-04-24' GROUP BY dsp, tag WITH CUBE;

接下来的问题是如何将原始表中的`tags`数组转换成带有标签或无标签的形式。最直接的方法是编写一个UDF（User-Defined Function）来判断`tags`数组中是否存在标签。

UDF概述

UDF在Hive中分为三类：

• 用于字段转换的UDF，如`round()`、`abs()`、`concat()`等；
• 聚合函数UDAF（User-Defined Aggregate Functions），例如`sum()`、`avg()`等；
• 表生成函数UDTF（User-Defined Table Generating Functions），用于生成多列或多行数据，如`explode()`、`inline()`等。

使用UDTF时需注意，它不能出现在SELECT子句之外，也不能嵌套在表达式中。为了解决这一限制，Hive引入了`LATERAL VIEW`关键字，允许将UDTF的结果与其他列组合使用。

UDF与GenericUDF的区别

`org.apache.hadoop.hive.ql.exec.UDF`是所有字段转换操作的基础类，适用于简单的数据类型转换，主要通过重写`evaluate()`方法来实现具体功能。相比之下，`org.apache.hadoop.hive.ql.udf.generic.GenericUDF`提供了更强大的功能，支持复杂的数据类型处理，主要包括三个关键方法：

• `initialize(ObjectInspector[] arguments)`：用于检查输入参数的类型，并确定返回值的类型；
• `evaluate(DeferredObject[] arguments)`：实现具体的字段转换逻辑，其返回值类型应与`initialize`方法中定义的一致；
• `getDisplayString(String[] children)`：用于显示调试信息。

下面是一个用于判断`tags`数组是否为空标签（EMPTY）的UDF实现示例：

@Description(name = "checkTag", value = "_FUNC_(array) - 从输入的结构体数组中返回标签或无标签（EMPTY）。", extended = "示例：\n > SELECT _FUNC_(tags_array) FROM src;") public class CheckTag extends GenericUDF { private ListObjectInspector listOI; public ObjectInspector initialize(ObjectInspector[] arguments) throws UDFArgumentException { if (arguments.length != 1) { throw new UDFArgumentLengthException("仅接受1个参数: List"); } ObjectInspector a = arguments[0]; if (!(a instanceof ListObjectInspector)) { throw new UDFArgumentException("第一个参数必须是列表/数组"); } this.listOI = (ListObjectInspector) a; if (!(listOI.getListElementObjectInspector() instanceof StructObjectInspector)) { throw new UDFArgumentException("第一个参数必须是结构体列表"); } return PrimitiveObjectInspectorFactory.javaStringObjectInspector; } public Object evaluate(DeferredObject[] arguments) throws HiveException { if (listOI == null || listOI.getListLength(arguments[0].get()) == 0) { return "null_field"; } StructObjectInspector structOI = (StructObjectInspector) listOI.getListElementObjectInspector(); String tag = structOI.getStructFieldData(listOI.getListElement(arguments[0].get(), 0), structOI.getStructFieldRef("tag")).toString(); if (listOI.getListLength(arguments[0].get()) == 1 && tag.equals("EMPTY")) { return "EMPTY"; } return "TAGED"; } public String getDisplayString(String[] children) { return "检查标签是否为空"; } }

为了使上述代码能够正常运行，还需要在项目中添加必要的依赖项：

 org.apache.hive hive-exec 0.14.0 provided   org.apache.hadoop hadoop-common 2.5.0-cdh5.3.2 provided 

完成编译并将生成的JAR文件上传至HDFS后，即可通过以下命令在Hive中注册并使用此UDF：

ADD JAR hdfs://path/to/udf-1.0-SNAPSHOT.jar; CREATE TEMPORARY FUNCTION checktag AS 'com.hive.udf.CheckTag'; CREATE VIEW IF NOT EXISTS yooshu_view PARTITIONED ON (day_time) AS SELECT uid, dsp, view, click, checktag(tags) AS tag, day_time FROM ad_base;