Hive详解之lateralview、视图和索引

一、 Hive Lateral View虚表

1. Lateral View用于和UDTF函数&＃xff08;explode、split&＃xff09;结合来使用。
2. 首先通过UDTF函数拆分成多行&＃xff0c;再将多行结果组合成一个支持别名的虚拟表。
3. 主要解决在select使用UTF做查询过程中&＃xff0c;查询只能包含单个UDTF&＃xff0c;不能包含其他字段、以及多个UDTF的问题

语法&＃xff1a; LATERAL VIEW udtf(expression) tableAlias AS columnAlias (&＃39;,&＃39; columnAlias)

示例&＃xff1a; 统计人员表中共有多少种爱好、多少个城市?

查询01&＃xff1a;将爱好和城市用UDTF函数分开

查询02&＃xff1a;使用聚合函数计数

select count(distinct(myCol1)), count(distinct(myCol2)), count(distinct(myCol3))from psn
LATERAL VIEW explode(likes) myTable1 AS myCol1
LATERAL VIEW explode(address) myTable2 AS myCol2, myCol3;

结果 &＃xff1a;

二、hive View视图

和关系型数据库中的普通视图一样&＃xff0c;hive也支持视图

特点&＃xff1a;

• 不支持物化视图
• 只能查询&＃xff0c;不能做加载数据操作
• 视图的创建&＃xff0c;只是保存一份元数据&＃xff0c;查询视图时才执行对应的子查询
• view定义中若包含了ORDER BY/LIMIT语句&＃xff0c;当查询视图时也进行ORDER BY/LIMIT语句操作&＃xff0c;view当中定义的优先级更高
• view支持迭代视图

 语法&＃xff1a;

创建视图&＃xff1a;
CREATE VIEW [IF NOT EXISTS] [db_name.]view_name
[(column_name [COMMENT column_comment], ...) ]
[COMMENT view_comment]
[TBLPROPERTIES (property_name &＃61; property_value, ...)]
AS SELECT ... ;
查询视图&＃xff1a;
select colums from view;
删除视图&＃xff1a;
DROP VIEW [IF EXISTS] [db_name.]view_name;

示例&＃xff1a;

• hive> create view psn_view as select name, age, likes from psn;
• hive> select * from psn_view ;
• hive> select * from psn_view ;

三、Hive 索引

目的&＃xff1a;优化查询以及检索性能

创建索引&＃xff1a;

create index t1_index on table psn14(name)
as &＃39;org.apache.hadoop.hive.ql.index.compact.CompactIndexHandler&＃39; with deferred rebuild
in table t1_index_table;
as&＃xff1a;指定索引器&＃xff1b;
in table&＃xff1a;指定索引表&＃xff0c;若不指定默认生成在default__psn14_t1_index__表中

create index t1_index on table psn14(name) 
as &＃39;org.apache.hadoop.hive.ql.index.compact.CompactIndexHandler&＃39; with deferred rebuild;

 查询索引&＃xff1a;show index on psn14;

重建索引&＃xff08;建立索引之后必须重建索引才能生效&＃xff09;&＃xff1a;ALTER INDEX t1_index ON psn14 REBUILD;

删除索引&＃xff1a;DROP INDEX IF EXISTS t1_index ON psn14;