Hive的分桶表

1 分桶表原理

分桶是相对分区进行更细粒度的划分；Hive表或分区表可进一步的分桶；

分桶将整个数据内容按照某列取hash值，对桶的个数取模的方式决定该条记录存放在哪个桶当中；具有相同hash值的数据进入到同一个文件中；

比如按照name属性分为3个桶，就是对name属性值的hash值对3取摸，按照取模结果对数据分桶。

• 取模结果为==0==的数据记录存放到一个文件

• 取模结果为==1==的数据记录存放到一个文件

• 取模结果为==2==的数据记录存放到一个文件

2 分桶的作用

• 1、取样sampling更高效。没有分区的话需要扫描整个数据集。

• 2、提升某些查询操作效率，例如map side join

2.1在创建分桶表之前要执行的命令：

• set hive.enforce.bucketing=true;开启对分桶表的支持

• set mapreduce.job.reduces=4; 设置与桶相同的reduce个数（默认只有一个reduce）

2.2进入hive客户端然后执行以下命令：

-- 创建分桶表：
create table myhive.user_buckets_demo(id int, name string)
clustered by(id) 
into 4 buckets 
row format delimited fields terminated by '\t';
--加载数据到桶表user_buckets_demo中：

insert into table user_buckets_demo select * from user_demo;

2.3hdfs上查看表的数据目录

2.4抽样查询桶表的数据：

tablesample抽样语句语法：tablesample(bucket x out of y)

• x表示从第几个桶开始取数据；
• y与进行采样的桶数的个数、每个采样桶的采样比例有关；
• 如：

select * from user_buckets_demo tablesample(bucket 1 out of 2);

• 需要采样的总桶数=4/2=2个
• 先从第1个桶中取出数据
• 1+2=3，再从第3个桶中取出数据。

3 Hive数据导入（3种）

3.1直接向表中插入数据（强烈不推荐使用）

insert into table score3 partition(mOnth='201807') values ('001','002','100');

3.2通过load加载数据

load data [local] inpath 'dataPath' overwrite | into table student [partition (partcol1=val1,…)];

如：load data local inpath '/install/hivedatas/score.csv' overwrite into table score3 partition(mOnth='201806');

3.3通过查询加载数据

insert overwrite table score5 partition(mOnth= '201806') select s_id,c_id,s_score from score;

4 Hive数据导出

4.1insert 导出

将查询的结果导出到本地：

insert overwrite local directory '/install/hivedatas/stu' select * from stu;

4.2将查询的结果格式化导出到本地

insert overwrite local directory '/install/hivedatas/stu2' row format delimited fields terminated by ',' select * from stu;

4.3将查询的结果导出到HDFS上

insert overwrite directory '/hivedatas/stu' row format delimited fields terminated by  ','  select * from stu;

4.4export导出到HDFS上

export table  myhive.stu to '/install/hivedatas/stuexport';