Hive文件格式与压缩

Hive文件格式与压缩

Hive支持的存储数据格式主要有&＃xff1a;文本格式&＃xff08;TEXTFILE &＃xff09;、二进制序列化文件&＃xff08;SEQUENCEFILE&＃xff09;、行列式文件&＃xff08;RCFile&＃xff09;、优化的行列式文件&＃xff08;ORC&＃xff09;、PARQUET。其中优化的行列式文件&＃xff08;ORC&＃xff09;、PARQUET以其高效的数据存储和数据处理性能得以在实际的生产环境中大量运用。

注&＃xff1a; TEXTFILE和SEQUENCEFILE的存储格式都是基于行式存储的&＃xff1b;ORC和PARQUET是基于列式存储的。

1.前置准备

实验环境

1&＃xff09;Oracle Linux 7.4

2&＃xff09;Java1.8.0_144

3&＃xff09;Hadoop2.7.4

4&＃xff09;Hive2.3.3

数据准备

查看股票交易信息的实验数据文件big_stocks.csv内容&＃xff0c;共计207万5347行,数据以逗号“,”分隔&＃xff0c;依次记录股票交易所编码、股票代码、股票交易日期、股票开盘价、股票开盘价、股票最低价、股票收盘价、股票交易量和股票成交价

2.实验流程

2.1 创建表stocks_txt

默认格式&＃xff0c;数据不做压缩&＃xff0c;磁盘开销大&＃xff0c;数据解析开销大。可结合Gzip、Bzip2使用&＃xff0c;但使用Gzip这种方式&＃xff0c;hive不会对数据进行切分&＃xff0c;从而无法对数据进行并行操作。

创建表&＃xff0c;存储数据格式为TEXTFILE

create table stocks_txt(exchanger string,symbol string,ymd string,price_open float,price_high float,proce_low float,price_close float,volume int,price_adj_close float
) ROW FORMAT DELIMITED FIELDS TERMINATED BY &＃39;,&＃39;
STORED AS textfile;


加载big_stocks.csv文件内容至表stocks_txt中

LOAD DATA LOCAL INPATH &＃39;/root/experiment/datas/hive/big_stocks.csv&＃39; OVERWRITE INTO TABLE stocks_txt;


查看数据文件为.csv文本格式

命令端查看

dfs -lsr /data/hive/warehouse/stocks_txt;


Web端查看

2.2 创建表stocks_orc

Orc (Optimized Row Columnar)是Hive 0.11版引入的新的存储格式。ORC存储的文件是一种带有模式描述的行列式存储文件&＃xff0c;有别于传统的数据存储文件&＃xff0c;它会将数据先按照行组进行切分&＃xff0c;一个行组内部包含若干行&＃xff0c;每一行再按列进行存储。例如&＃xff1a;每个Orc文件由1个或多个stripe组成&＃xff0c;每个stripe250MB大小&＃xff0c;这个Stripe实际相当于RowGroup概念。

ORC文件结构由三部分组成&＃xff1a;

条带&＃xff08;Stripe&＃xff09;&＃xff1a;ORC文件存储数据的地方。
文件脚注&＃xff08;File Footer&＃xff09;&＃xff1a;包含文件中stripe的列表&＃xff0c;每个stripe的行数&＃xff0c;以及每个列的数据类型。它还包含了每个列的最小值、最大值、行计数、求和等聚合信息。
Postscript&＃xff1a;记录整个文件的压缩类型&＃xff0c;含有压缩参数和压缩大小相关的信息。

Stripe结构也可以分为三个部分&＃xff1a;

Index Data&＃xff1a;它保存了所在条带的一些统计信息&＃xff0c;以及数据在stripe中的位置索引信息。它是一个轻量级的索引&＃xff0c;默认是每隔1W行做一个索引。这里做的索引应该只是记录某行的各字段在Row Data中的offset。
Row Data&＃xff1a;存的是具体的数据&＃xff0c;先取部分行&＃xff0c;然后对这些行按列进行存储。对每个列进行了编码&＃xff0c;分成多个Stream来存储。
Stripe Footer&＃xff1a;存的是各个Stream的类型&＃xff0c;长度等信息。
Row Data主要存储两部分的数据&＃xff0c;即metadata stream和data stream&＃xff1a;
metadata stream&＃xff1a;用于描述每个行组的元数据信息&＃xff1b;
data stream&＃xff1a;存储数据的地方&＃xff1b;

从上面的ORC文件结构可知ORC在每个文件中提供了3个级别的索引&＃xff1a;

文件级&＃xff1a;这一级的索引信息记录文件中所有stripe的位置信息&＃xff0c;以及文件中所存储的每列数据的统计信息。 File Footer
条带级&＃xff1a;该级别索引记录每个strpe所存储数据的统计信息。 Index Data
行组级&＃xff1a;在stripe中&＃xff0c;每隔10000行构成一个行组&＃xff0c;该级别的索引信息就是记录这个行组中存储的数据的统计信息。 metadata stream
程序在查询ORC文件类型的表时&＃xff0c;会先读取每一列的索引信息&＃xff0c;将查找数据的条件和索引信息进行比较&＃xff0c;找到满足查找条件的文件。接着根据文件中的索引信息&＃xff0c;找到存储对应的查询条件数据stripe&＃xff0c;再借助stripe的索引信息读取文件中满足查询条件的所有行组。之后再根据stripe中每个行组的索引信息和查询条件比对的结果&＃xff0c;找到满足要求的列。

create table stocks_orc(exchanger string,symbol string,ymd string,price_open float,price_high float,proce_low float,price_close float,volume int,price_adj_close float
) ROW FORMAT DELIMITED FIELDS TERMINATED BY &＃39;,&＃39;
STORED AS orc;


加载big_stocks.csv文件内容至表stocks_orc中

INSERT INTO stocks_orc SELECT * FROM stocks_txt;


2.3 创建表stocks_parquet

Parquet是面向分析型业务的列式存储格式&＃xff0c;由Twitter和Cloudera合作开发&＃xff0c;2015年5月从Apache的孵化器里毕业成为Apache顶级项目。

在一个Parquet类型的Hive表文件中&＃xff0c;数据被分成多个行组&＃xff08;Row Group&＃xff09;&＃xff0c;一个行组包含这个行组对应的区间内的所有列的列块&＃xff08;column chunk&＃xff09;。一个列块负责存储某一列的数据&＃xff0c;一个列块由page组成&＃xff0c;page是压缩和编码的单元。Row Group是数据读写时的缓存单元。

Parquet文件是以二进制方式存储的&＃xff0c;所以是不可以直接读取的&＃xff0c;文件中包括该文件的数据和元数据&＃xff0c;因此Parquet格式文件是自解析的。

通常情况下&＃xff0c;在存储Parquet数据的时候会按照Block大小设置行组的大小&＃xff0c;由于一般情况下每一个Mapper任务处理数据的最小单位是一个Block&＃xff0c;这样可以把每一个行组由一个Mapper任务处理&＃xff0c;增大任务执行并行度。

在Parquet中&＃xff0c;有三种类型的页&＃xff1a;数据页、字典页和索引页。

数据页用于存储当前行组中该列的值&＃xff0c;字典页存储该列值的编码字典&＃xff0c;每一个列块中最多包含一个字典页&＃xff0c;索引页用来存储当前行组下该列的索引&＃xff0c;目前Parquet中还不支持索引页。

创建存储数据格式为parquet的表stocks_parquet

create table stocks_parquet(exchanger string,symbol string,ymd string,price_open float,price_high float,proce_low float,price_close float,volume int,price_adj_close float
) ROW FORMAT DELIMITED FIELDS TERMINATED BY &＃39;,&＃39;
STORED AS parquet;


加载big_stocks.csv文件内容至表parquet_stocks中

INSERT INTO stocks_parquet SELECT * FROM stocks_txt;


2.4 创建表stocks_sequence

设置块压缩格式

SET io.seqfile.compression.type&＃61;BLOCK;


创建存储数据格式为parquet的表stocks_sequence

create table stocks_sequence(exchanger string,symbol string,ymd string,price_open float,price_high float,proce_low float,price_close float,volume int,price_adj_close float
) ROW FORMAT DELIMITED FIELDS TERMINATED BY &＃39;,&＃39;
STORED AS sequencefile;


加载big_stocks.csv文件内容至表parquet_stocks中

INSERT INTO stocks_sequence SELECT * FROM stocks_txt;


2.5 存储数据格式查询比较

文本格式存储表的统计查询

SELECT count(*) FROM stocks_txt;


orc存储表的统计查询

parquet格式存储表的统计查询

sequence格式存储表的统计查询

SELECT count(*) FROM stocks_sequence;


3. 实验总结

存储文件的压缩比&＃xff1a;

ORC > Sequence >Parquet > textFile

综上所述&＃xff0c;涉及到的4个查询经比较可知&＃xff0c;在进行文本格式存储表查询时会调用MR任务&＃xff0c;在实训开发中&＃xff0c;我们应尽可能避免调用MR程序&＃xff0c;降低时间成本消耗。

申明:文章仅做记录&＃xff0c;涉及侵权内容请联系删除