Hive的使用2

Hive常识

Hive中没有定义专门的数据格式
不需要从用户数据格式到 Hive 定义的数据格式的转换
不会对数据本身进行任何修改&＃xff0c;甚至不会对数据进行扫描
不会对数据中的某些 Key 建立索引
Hive 不适合在线数据查询


Hive数据库、表在HDFS上存储的路径

/user/hive/wearhouse


Hive 的数据库、数据表、分区 在HDFS上的存在形式是什么

文件夹


Hive和传统数据库的区别

Hive延迟较高的原因

Hive内部解析、编译等流程需要时间。提交任务后&＃xff0c;提交到Yarn,Yarn内部调度机制需要时间。Hive内
的数据较大&＃xff0c;比较耗时。


where 与having的区别

Where可以作用在表中所有的字段上
Having可以只能作用在结果字段上&＃xff08;select 后面的字段&＃xff09;


order by与sort by的区别

order by 全局排序&＃xff0c;只有一个reduce,数据量大时效率较慢
sort by 一个reduce内部排序&＃xff0c;不是全局排序。


LIKE和RLIKE区别

Like 后面不能加正则表达式
Rlike 后面能加正则表达式


GROUP BY用法

group by的字段&＃xff0c;必须是select后面的字段&＃xff0c;select后面的字段不能比group by的字段多,若有多的字
段&＃xff0c;必须使用聚和函数。


distribute by&＃43;sort by(相同字段) 与Cluster by的区别

DISTRIBUTE BY的字段与SORT BY的字段相同时&＃xff0c;可以使用CLUSTER BY进行替换&＃xff0c;但CLUSTER
BY不能指定排序规则&＃xff08;只能是升序&＃xff09;&＃xff0c;DISTRIBUTE BY&＃43;SORT BY可以指定排序规则&＃xff08;可升可降&＃xff09;


Hive的参数设置

配置文件&＃xff1a;Hive的配置文件包括
用户自定义配置文件&＃xff1a;$HIVE_CONF_DIR/hive-site.xml
默认配置文件&＃xff1a;$HIVE_CONF_DIR/hive-default.xml
用户自定义配置会覆盖默认配置。
另外&＃xff0c;Hive也会读入Hadoop的配置&＃xff0c;因为Hive是作为Hadoop的客户端启动的&＃xff0c;Hive的配置会覆盖
Hadoop的配置。
配置文件的设定对本机启动的所有Hive进程都有效。命令行参数&＃xff1a;启动Hive&＃xff08;客户端或Server方式&＃xff09;时&＃xff0c;可以在命令行添加-hiveconf param&＃61;value来设定
参数&＃xff0c;例如&＃xff1a;
bin/hive -hiveconf hive.root.logger&＃61;INFO,console
这一设定对本次启动的Session&＃xff08;对于Server方式启动&＃xff0c;则是所有请求的Sessions&＃xff09;有效。参数声明&＃xff1a;可以在HQL中使用SET关键字设定参数&＃xff0c;例如&＃xff1a;
set mapred.reduce.tasks&＃61;100;
参数声明 > 命令行参数 > 配置文件参数&＃xff08;hive&＃xff09;


Hive自定义函数的类型

UDF : 一进一出
UDAF: 多进一出
UDTF:一进多出


自定义函数实现过程

1、创建项目&＃xff0c;编写自定义函数代码继承 UDF&＃xff0c;在UDF内编写 evaluate方法&＃xff08;有参&＃xff1a;有输入。有返回&＃xff1a;有输出&＃xff09;
2、将自定义UDF代码打包并上传到“本地”系统&＃xff08;linux&＃xff09;
3、在hive shell窗口添加jar。add jar UDFjar文件的路径和文件名
4、创建函数 并指定调用的方法‘’create temporary function tolowercase as &＃39;cn.itcast.udf.ItcastUDF&＃39;
5、调用函数


Hive 常用的数据压缩算法

Gzip、Bzip2、Snappy、LZO、LZ4


常用的数据存储格式

1、ORC
2、Parquet3、textFile
压缩比ORC > Parquet > textFile
hive表的数据存储格式一般选择&＃xff1a;orc或parquet。压缩方式一般选择snappy。


什么是MR本地计算

任务提交后&＃xff0c;移动计算到数据端&＃xff0c;数据在哪个节点&＃xff0c;计算任务优先发送到哪个节点上。


什么是MR本地模式

任务不提交到集群&＃xff0c;直接在提交任务的节点上运行。