Hive分区和分桶

Hive把表组织成分区&＃xff08;partition&＃xff09;。这是一种根据分区列&＃xff08;partition column&＃xff0c;如日期&＃xff09;的值对表进行粗略的划分机制。使用分区可以加快数据分片&＃xff08;slice&＃xff09;的查询速度。

表或分区可以进一步划分为桶&＃xff08;bucket&＃xff09;。它会为数据提供额外的结构以获取更高效的查询处理。例如&＃xff0c;通过根据用户ID来划分桶&＃xff0c;我们可以在所有用户集合的随机样本上快速计算基于用户的查询。

分桶适用场景&＃xff1a;

数据抽样&＃xff08; sampling &＃xff09;、map-join

1. 创建分区表

hive> CREATE TABLE pt1(id INT,name STRING,hobby ARRAY,address MAP)

    > PARTITIONED BY(dt STRING,country STRING)

    > ROW FORMAT DELIMITED FIELDS TERMINATED BY &＃39;,&＃39;

    > COLLECTION ITEMS TERMINATED BY &＃39;-&＃39;

    > MAP KEYS TERMINATED BY &＃39;:&＃39;;

OK

Time taken: 0.196 seconds

hive> show tables;

OK

pt1

Time taken: 0.063 seconds, Fetched: 1 row(s)

说明&＃xff1a;我们可以看到创建分区表和之前创建表的唯一区别就是多了Partitioned By&＃xff0c;如果要创建一个分区那么里面就写一个字段、我们这里演示的是创建多个&＃xff08;两个&＃xff09;分区。

在WEB UI中查看

查看一下表格式&＃xff1a;

hive> desc formatted pt1;

OK

# col_name             data_type            comment             

id                   int                                      

name                 string                                   

hobby                array                            

address              map                       

# Partition Information    

# col_name             data_type            comment             

dt                   string                                   

country              string                                   

# Detailed Table Information    

Database:            htest                 

Owner:               root                  

CreateTime:          Sat Aug 04 15:16:34 CST 2018  

LastAccessTime:      UNKNOWN               

Protect Mode:        None                  

Retention:           0                     

Location:            hdfs://mycluster/user/hive/warehouse/htest.db/pt1  

Table Type:          MANAGED_TABLE         

Table Parameters:    

transient_lastDdlTime 1533366994          

# Storage Information    

SerDe Library:       org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe  

InputFormat:         org.apache.hadoop.mapred.TextInputFormat  

OutputFormat:        org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat  

Compressed:          No                    

Num Buckets:         -1                    

Bucket Columns:      []                    

Sort Columns:        []                    

Storage Desc Params:    

colelction.delim     -                   

field.delim          ,                   

mapkey.delim         :                   

serialization.format ,                   

Time taken: 0.178 seconds, Fetched: 38 row(s)

可以看到分区信息中多了两个分区字段

加载数据&＃xff1a;

1. 准备数据

id,name,hobby,address

1,张三,篮球-足球-音乐,北京:上海

2,李四,看书-旅游-爬山,西安:成都

3,王五,钢琴-小提琴-古筝,重庆:杭州

4,赵六,抽烟-喝酒-烫头发,哈尔滨:沈阳

    2.加载数据

hive> LOAD DATA LOCAL INPATH &＃39;/root/data/hdata1&＃39; into table pt1;

FAILED: SemanticException [Error 10062]: Need to specify partition columns because the destination table is partitioned

如果还和之前一样加载数据&＃xff0c;显然直接报错&＃xff0c;根据错误日志很明显看出&＃xff0c;给分区表加载数据必须要指定分区列。

hive> LOAD DATA LOCAL INPATH &＃39;/root/data/hdata1&＃39; into table pt1

PARTITION(dt&＃61;&＃39;2018-08-04&＃39;,country&＃61;&＃39;CHINA&＃39;);

Loading data to table htest.pt1 partition (dt&＃61;2018-08-04, country&＃61;CHINA)

Partition htest.pt1{dt&＃61;2018-08-04, country&＃61;CHINA} stats: [numFiles&＃61;1, numRows&＃61;0, totalSize&＃61;207, rawDataSize&＃61;0]

OK

Time taken: 1.091 seconds

说明&＃xff1a;我这次加载数据的时候把分区的日期字段定义为dt&＃61;&＃39;2018-08-04&＃39;&＃xff0c;国家字段定义为country&＃61;’CHINA’&＃xff0c;那么这一批数据都属于这个两个分区&＃xff1b;如果明天我要加载第二批数据的时候&＃xff0c;那么就把日期字段和国家字段进行相应的修改&＃xff0c;这样就可以很完美的把数据进行分区了。

查看一下表中是数据&＃xff1a;

hive> select * from pt1;

OK

NULL name ["hobby"] {"address":null} 2018-08-04 CHINA

1 张三 ["篮球","足球","音乐"] {"北京":"上海"} 2018-08-04 CHINA

2 李四 ["看书","旅游","爬山"] {"西安":"成都"} 2018-08-04 CHINA

3 王五 ["钢琴","小提琴","古筝"] {"重庆":"杭州"} 2018-08-04 CHINA

4 赵六 ["抽烟","喝酒","烫头发"] {"哈尔滨":"沈阳"} 2018-08-04 CHINA

Time taken: 0.157 seconds, Fetched: 5 row(s)

在WEB UI中查看&＃xff0c;也能看到数据存在两个分区列目录中&＃xff1a;

1. 创建分桶表

hive> CREATE TABLE bt1(id INT,name STRING,hobby ARRAY,address MAP)

    > CLUSTERED BY(id) INTO 4 BUCKETS

    > ROW FORMAT DELIMITED FIELDS TERMINATED BY &＃39;,&＃39;

    > COLLECTION ITEMS TERMINATED BY &＃39;-&＃39;

    > MAP KEYS TERMINATED BY &＃39;:&＃39;;

OK

Time taken: 0.161 seconds

说明&＃xff1a;分桶表是对列值取哈希值的方式&＃xff0c;将不同数据放到不同文件中存储。

对于hive中每一个表、分区都可以进一步进行分桶。

由列的哈希值除以桶的个数来决定每条数据划分在哪个桶中。

2.加载数据

&＃xff08;1&＃xff09;前提&＃xff1a;

开启支持分桶

set hive.enforce.bucketing&＃61;true;

默认&＃xff1a;false&＃xff1b;设置为true之后&＃xff0c;mr运行时会根据bucket的个数自动分配reduce task个数。&＃xff08;用户也可以通过mapred.reduce.tasks自己设置reduce任务个数&＃xff0c;但分桶时不推荐使用&＃xff09;

注意&＃xff1a;一次作业产生的桶&＃xff08;文件数量&＃xff09;和reduce task个数一致。

&＃xff08;2&＃xff09;分桶加载数据和分区以及表的方式不一样&＃xff0c;不能使用LOAD&＃xff0c;加载数据的方式有两种&＃xff1a;

insert into table bt1 select columns from pt1;

insert overwrite table bt1 select columns from pt1;

这里我使用第二种&＃xff1a;&＃xff08;把上面创建的分区表的数据导入这个分通表&＃xff09;

INSERT OVERWRITE TABLE bt1 SELECT id,name,hobby,address from pt1;

导入数据后查看WEB UI:

可以看到的确分了四个桶&＃xff0c;每个桶对应一个文件

查看这四个文件&＃xff1a;

[root&＃64;unisk01 ~]# hadoop fs -cat /user/hive/warehouse/htest.db/bt1/000000_1000

4,赵六,抽烟-喝酒-烫头发,哈尔滨:沈阳

[root&＃64;unisk01 ~]# hadoop fs -cat /user/hive/warehouse/htest.db/bt1/000001_1001

1,张三,篮球-足球-音乐,北京:上海

[root&＃64;unisk01 ~]# hadoop fs -cat /user/hive/warehouse/htest.db/bt1/000002_1000

2,李四,看书-旅游-爬山,西安:成都

[root&＃64;unisk01 ~]# hadoop fs -cat /user/hive/warehouse/htest.db/bt1/000003_1000

3,王五,钢琴-小提琴-古筝,重庆:杭州

[root&＃64;unisk01 ~]#