Hive文件存储格式（TEXTFILE、ORC、PARQUET三者的存储格式的压缩对比和查询速度对比）

综述&＃xff1a;

HIve的文件存储格式有四种&＃xff1a;TEXTFILE 、SEQUENCEFILE、ORC、PARQUET&＃xff0c;前面两种是行式存储&＃xff0c;后面两种是列式存储&＃xff1b;所谓的存储格式就是在Hive建表的时候指定的将表中的数据按照什么样子的存储方式&＃xff0c;如果指定了A方式&＃xff0c;那么在向表中插入数据的时候&＃xff0c;将会使用该方式向HDFS中添加相应的数据类型&＃xff0c;关于行列存优劣势可以查看设计数据密集型应用(一)

ORC 是Rcfile的优化版&＃xff0c;即Optimize Rcfile&＃xff0c;Rcfile基于Lazy Decompression

如果为textfile的文件格式&＃xff0c;直接load就OK&＃xff0c;不需要走MapReduce&＃xff1b;如果是其他的类型就需要走MapReduce了&＃xff0c;因为其他的类型都涉及到了文件的压缩&＃xff0c;这需要借助MapReduce的压缩方式来实现

总结&＃xff1a;

 比对三种主流的文件存储格式TEXTFILE 、ORC、PARQUET

压缩比&＃xff1a;ORC >  Parquet >  textFile&＃xff08;textfile没有进行压缩&＃xff09;

查询速度&＃xff1a;三者几乎一致

案例证明&＃xff1a;

1&＃xff0c;textfile&＃xff0c;创建表&＃xff0c;存储数据格式为TEXTFILE
create table log_text (
track_time string,
url string,
session_id string,
referer string,
ip string,
end_user_id string,
city_id string
)
row format delimited fields terminated by &＃39;\t&＃39;
stored as textfile ;向表中加载数据load data local inpath &＃39;/opt/module/datas/log.data&＃39; into table log_text ;
查看表中数据大小这个过程不会走MapReduce&＃xff0c;而是直接将文件上传到了HDFS&＃xff0c;在HDFS上文件的名字还叫log.data
dfs -du -h /user/hive/warehouse/db_hive.db/log_text;
18.1 M /user/hive/warehouse/db_hive.db/log_text/log.data2,ORC,创建表&＃xff0c;存储数据格式为ORC
create table log_orc(
track_time string,
url string,
session_id string,
referer string,
ip string,
end_user_id string,
city_id string
)
row format delimited fields terminated by &＃39;\t&＃39;
stored as orc ;向表中加载数据
insert into table log_orc select * from log_text ;查看表中数据大小
这个过程要走MapReduce&＃xff0c;而且文件是按照列式存储的&＃xff0c;还会对文件进行压缩&＃xff0c;Orc默认使用的压缩方式是
zlib因此会更加节省空间&＃xff0c;hadfs上是新的文件名&＃xff0c;hive (db_hive)> dfs -du -h /user/hive/warehouse/db_hive.db/log_orc;
2.8 M /user/hive/warehouse/db_hive.db/log_orc/000000_03,Parquet,创建表&＃xff0c;存储数据格式为parquet
create table log_parquet(
track_time string,
url string,
session_id string,
referer string,
ip string,
end_user_id string,
city_id string
)
row format delimited fields terminated by &＃39;\t&＃39;
stored as parquet ; 向表中加载数据
insert into table log_parquet select * from log_text ;查看表中数据大小这个过程要走MapReduce&＃xff0c;而且文件是按照列式存储的&＃xff0c;因此会更加节省空间&＃xff0c;
hadfs上是新的文件名&＃xff0c;
hive (db_hive)> dfs -du -h /user/hive/warehouse/db_hive.db/log_parquet;
13.1 M /user/hive/warehouse/db_hive.db/log_parquet/000000_0存储文件的压缩比总结&＃xff1a;
ORC > Parquet > textFileselect count(*) from log_text;select count(*) from log_orc;select count(*) from log_parquet;存储文件的查询速度总结&＃xff1a;查询速度相近。

压缩和存储的结合&＃xff1a;

在建表的时候&＃xff0c;如果我们指定了列式存储的方式&＃xff0c;他会默认使用对于的压缩方式将我们的数据进行压缩&＃xff0c;与此同时我们能够自己定制在文件存储的时候使用什么样子的压缩方式&＃xff0c;例子如下&＃xff1a;

1&＃xff0e;创建一个非压缩的的ORC存储方式
create table log_orc_none(
track_time string,
url string,
session_id string,
referer string,
ip string,
end_user_id string,
city_id string
)
row format delimited fields terminated by &＃39;\t&＃39;
stored as orc tblproperties ("orc.compress"&＃61;"NONE");
插入数据
hive (default)> insert into table log_orc_none select * from log_text ;2&＃xff0e;创建一个SNAPPY压缩的ORC存储方式
create table log_orc_snappy(
track_time string,
url string,
session_id string,
referer string,
ip string,
end_user_id string,
city_id string
)
row format delimited fields terminated by &＃39;\t&＃39;
stored as orc tblproperties ("orc.compress"&＃61;"SNAPPY");
插入数据
hive (default)> insert into table log_orc_snappy select * from log_text ;3&＃xff0e;创建一个默认压缩的ORC存储方式
create table log_orc(
track_time string,
url string,
session_id string,
referer string,
ip string,
end_user_id string,
city_id string
)
row format delimited fields terminated by &＃39;\t&＃39;
stored as orc ;向表中加载数据
insert into table log_orc select * from log_text ;对比三者的压缩比&＃xff1a;hive (db_hive)> dfs -du -h /user/hive/warehouse/db_hive.db/log_orc_none;
18.1 M /user/hive/warehouse/db_hive.db/log_orc_none/log.datahive (db_hive)> dfs -du -h /user/hive/warehouse/db_hive.db/log_orc_snappy;
3.8 M /user/hive/warehouse/db_hive.db/log_orc_snappy/000000_0hive (db_hive)> dfs -du -h /user/hive/warehouse/db_hive.db/log_orc;
2.8 M /user/hive/warehouse/db_hive.db/log_orc/000000_0总结&＃xff1a;
没有压缩的orc格式相当于textfile&＃xff0c;默认的压缩格式压缩比最大&＃xff0c;snappy对数据进行了压缩
orc存储文件默认采用ZLIB压缩&＃xff0c;ZLIB采用的是deflate压缩算法。因此比snappy压缩的小。
文件没有压缩的话&＃xff0c;HDFS上显示的是原来的文件名&＃xff0c;如果压缩的话&＃xff0c;使用类似于000000_0的文件名

总结&＃xff1a;

比对三种主流的文件存储格式TEXTFILE 、ORC、PARQUET

压缩比&＃xff1a;ORC(ZLIB压缩) >  Parquet (Uncompress即默认不压缩)>  textFile&＃xff08;textfile不压缩&＃xff09;

查询速度&＃xff1a;三者几乎一致

HDFS上显示的是原来的文件名&＃xff0c;如果压缩的话&＃xff0c;使用类似于000000_0的文件名

更多高质文章欢迎大家关注博主的公众号&＃xff1a;stackoverflow