11.UDF在Hive和Impala中使用

11.1 实验环境介绍

• 集群环境正常运行
• 集群安装了Hive和Impala服务
• 操作系统&＃xff1a;Redhat6.5
• CDH和CM版本为5.11.1
• 采用sudo权限的ec2-user用户进行操作

11.2 UDF函数开发——使用Intellij工具

• 使用Intellij工具开发Hive的UDF函数
• 通过Maven创建一个Java工程
  
• pom.xml文件中增加Hive包的依赖

org.apache.hivehive-exec1.1.0



• 示例代码如下——Java

package com.peach.date;import org.apache.hadoop.hive.ql.exec.UDF;
import java.text.ParseException;
import java.text.SimpleDateFormat;/*** SQL的UDF日期相关工具类* Created by peach on 2017/8/24.*/
public class DateUtils extends UDF {/*** 将日期字符串格式化为标准的日期格式* 如:* 2017-8-9 to 2017-08-09* 2017-08-09 9:23:3 to 2017-08-0909:23:03* &＃64;param sdate* &＃64;param pattern* &＃64;return*/public static String evaluate(Stringsdate, String pattern) {String formatDate &＃61; sdate;SimpleDateFormat sdf &＃61; new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");try {formatDate &＃61;sdf.format(sdf.parse(sdate));} catch (ParseException e) {e.printStackTrace();}return formatDate;}
}


• 此处需要集成UDF类&＃xff0c;重写evaluate方法&＃xff0c;来实现自定义函数。
• 编译jar包
  • 前提条件是已配置Maven的环境变量&＃xff0c;命令行进入工程目录&＃xff0c;执行如下命令&＃xff1a;

mvn clean package


11.3 Hive使用UDF

将11.2中编译好的sql-udf-utils-1.0-SNAPSHOT.jar上传到集群服务器

11.3.1 创建临时UDF

• 进入Hive的shell命令行&＃xff0c;执行如下命令&＃xff0c;创建临时函数

add jar /home/ec2-user/sql-udf-utils-1.0-SNAPSHOT.jar;
create temporary function parse_date as &＃39;com.peach.date.DateUtils&＃39;;


• 在命令行测试该UDF函数

select parse_date(dates, &＃39;yyyy-MM-dd HH:mm:ss&＃39;) from date_test1;


11.3.2 创建永久UDF

• 在HDFS中创建相应目录&＃xff0c;将sql-udf-utils-1.0-SNAPSHOT.jar包上传至该目录

[ec2-user&＃64;ip-172-31-8-141 ~]$ hadoop dfs -mkdir /udfjar
[ec2-user&＃64;ip-172-31-8-141 ~]$ hadoop dfs -put sql-udf-utils-1.0-SNAPSHOT.jar /udfjar


• 注意&＃xff1a;目录udfjar和sql-udf-utils-1.0-SNAPSHOT.jar的权限&＃xff0c;所属用户为hive
• 进入Hive的shell命令行&＃xff0c;执行如下命令创建永久的UDF

create function default.parse_date as &＃39;com.peach.date.DateUtils&＃39; using jar &＃39;hdfs://ip-172-31-9-186.ap-southeast-1.compute.internal:8020/udfjar/sql-udf-utils-1.0-SNAPSHOT.jar&＃39;;


• 注意&＃xff1a;在创建的时候如果带有数据库名&＃xff0c;则该UDF函数只对该库生效&＃xff0c;其它库无法使用该UDF函数。
• 在命令行测试该UDF

select parse_date(dates, &＃39;yyyy-MM-dd HH:mm:ss&＃39;) from date_test1;


• 验证永久UDF函数是否生效
• 重新打开Hive CLI能正常使用创建的UDF函数

11.4 Impala使用Hive的UDF

• 在Impala shell命令行执行元数据同步命令

[ip-172-31-10-156.ap-southeast-1.compute.internal:21000] > invalidate metadata;


• 使用UDF函数

[ip-172-31-10-156.ap-southeast-1.compute.internal:21000] > select parse_date(dates,&＃39;yyyy-MM-dd HH:mm:ss&＃39;) from date_test1;


11.5 常见问题解决

1.通过Impala命令UDF使用异常

• 通过Impala CLI命令行&＃xff0c;使用UDF自定义函数时异常

Connected to ip-172-31-10-156.ap-southeast-1.compute.internal:21000
Server version: impalad version 2.7.0-cdh5.10.2 RELEASE (build 38c989c0330ea952133111e41965ff9af96412d3)
[ip-172-31-10-156.ap-southeast-1.compute.internal:21000] > select parse_date(dates) from date_test1;
Query: select parse_date(dates) from date_test1
Query submitted at: 2017-08-24 12:51:44 (Coordinator: http://ip-172-31-10-156.ap-southeast-1.compute.internal:25000)
ERROR: AnalysisException: default.parse_date() unknown


• 解决方法&＃xff1a;
  • 元数据未同步导致&＃xff0c;执行如下命令进行元数据同步&＃xff1a;

[ip-172-31-10-156.ap-southeast-1.compute.internal:21000] > invalidate metadata;


2.在Impala CLI命令行执行&＃xff0c;异常如下

[ip-172-31-10-156.ap-southeast-1.compute.internal:21000] > select parse_date(dates,&＃39;yyyy-MM-dd HH:mm:ss&＃39;) from date_test1;
Query: select parse_date(dates,&＃39;yyyy-MM-dd HH:mm:ss&＃39;) from date_test1
Query submitted at: 2017-08-24 13:02:14 (Coordinator: http://ip-172-31-10-156.ap-southeast-1.compute.internal:25000)
ERROR: Failed to copy hdfs://ip-172-31-9-186.ap-southeast-1.compute.internal:8020/udfjar/sql-udf-utils-1.0-SNAPSHOT.jar to /var/lib/impala/udfs/sql-udf-utils-1.0-SNAPSHOT.2386.2.jar:
Error(2): No such file or directory


• 在Impala Daemon服务器上&＃xff0c;目录不存在导致
• 解决方法&＃xff1a;
  • 在所有Impala Daemon服务器创建/var/lib/impala/udfs目录
    • 注意&＃xff1a;目录所属用户及组

[ec2-user&＃64;ip-172-31-10-156 lib]$ sudo mkdir -p impala/udf
[ec2-user&＃64;ip-172-31-10-156 lib]$ sudo chown -R impala:impala impala/


大数据视频推荐&＃xff1a;
CSDN
大数据语音推荐&＃xff1a;
企业级大数据技术应用
大数据机器学习案例之推荐系统
自然语言处理
大数据基础
人工智能&＃xff1a;深度学习入门到精通