在当前的基于Hadoop系统的数据仓库中&＃xff0c;数据存储格式是影响数据仓库性能的一个重要因素。Facebook于是提出了集行存储和列存储的优点于一身的RCFile文件存储格式&＃xff0c;据说当前在Facebook公司内部&＃xff0c;其数据仓库的文件存储格式都是RCFile&＃xff0c;另外盛大内部的数据仓库使用的也是RCFile文件存储格式。
我们现在正在进入一个大数据时代&＃xff0c;何为“大数据”&＃xff1f;它不仅仅就是指海量的数据&＃xff0c;也包括如何高效的存储、管理和使用这写数据。在Hadoop运行环境中&＃xff0c;数据的存储格式要满足以下几个特点&＃xff1a; 1)、数据加载数据要快&＃xff1b; 2)、数据查询处理要快&＃xff1b; 3)、高效的数据存储空间利用率&＃xff1b; 4)、适应高强度的动态负载模式。 在之前的Hadoop ecosystem中&＃xff0c;我们已经知道了基于行存储结构的TextFile和SequenceFile的文件格式&＃xff0c;也学习过Hbase的面向列存储的文件格式&＃xff0c;对于Hive数据仓库来说&＃xff0c;他们都有各自的有点个缺点&＃xff0c;今天我们来学习一个新的文件存储格式——RCFile。 首先&＃xff0c;我们先来探讨一下基于行的存储和面向列的存储的优缺点&＃xff1a; 基于行存储的数据结构&＃xff1a;优点是具备快速数据加载和动态负载的高适应能力&＃xff0c;因为行存储保证了相同记录的所有域都在同一个集群节点&＃xff1b;但是它不太满足快速的查询响应时间的要求&＃xff0c;特别是在当查询仅仅针对所有列中的少数几列时&＃xff0c;它就不能直接定位到所需列而跳过不需要的列&＃xff0c;由于混合着不同数据值的列&＃xff0c;行存储不易获得一个极高的压缩比&＃xff0c;行存储不易获得一个较高的压缩比。 
Hadoop block中的基于行存储的示例图 面向列存储的数据结构&＃xff1a;我们先看一下Hadoop block中面向列存储的示例&＃xff1a; 
Hadoop block中的面向列存储的示例图 在面向列的文件存储结构中&＃xff0c;列A和列B存储在同一列组&＃xff0c;而列C和列D分别存储在单独的列组。这种结构使得在查询时能够直接读取需要的列而避免不必要列的读取&＃xff0c;并且对于相似数据也可以有一个更好的压缩比。但是他的缺点也想但明显&＃xff0c;那就是由于元组重构的较高开销&＃xff0c;它并不能提供基于Hadoop系统的快速查询处理&＃xff0c;也不能保证不能保证同一记录的所有列都存储在同一集群节点之上&＃xff0c;也适应高度动态的数据负载模式。 RCFile&＃xff1a; 结合列存储和行存储的优缺点&＃xff0c;Facebook于是提出了基于行列混合存储的RCFile&＃xff0c;它是基于SEQUENCEFILE实现的列存储格式&＃xff0c;它即满足快速数据加载和动态负载高适应的需求外&＃xff0c;也解决了SEQUENCEFILE的一些瓶颈。该存储结构遵循的是“先水平划分&＃xff0c;再垂直划分”的设计理念。先将数据按行水平划分为行组&＃xff0c;这样一行的数据就可以保证存储在同一个集群节点&＃xff1b;然后在对行进行垂直划分。 我们再来看一下HDFS块内RCFile方式存储的示例图&＃xff1a; 
Hadoop block中的RCFile存储的示例图 RCFile是在Hadoop HDFS之上的存储结构&＃xff0c;该结构强调&＃xff1a; 1&＃xff09;、RCFile存储的表是水平划分的&＃xff0c;分为多个行组&＃xff0c;每个行组再被垂直划分&＃xff0c;以便每列单独存储&＃xff1b; 2&＃xff09;、RCFile在每个行组中利用一个列维度的数据压缩&＃xff0c;并提供一种Lazy解压&＃xff08;decompression&＃xff09;技术来在查询执行时避免不必要的列解压&＃xff1b; 3&＃xff09;、RCFile支持弹性的行组大小&＃xff0c;行组大小需要权衡数据压缩性能和查询性能两方面。 每个HDFS block块中&＃xff0c;RCFile以行组为基本单位来组织记录。也就是说&＃xff0c;存储在一个HDFS块中的所有记录被划分为多个行组&＃xff1b;对于一张表所有行组大小都相同&＃xff0c;一个HDFS块会有一个或多个行组。 一个行组包括三个部分&＃xff1a; 1&＃xff09;、第一部分是行组头部的同步标识&＃xff0c;主要用于分隔HDFS块中的两个连续行组&＃xff1b; 2&＃xff09;、第二部分是行组的元数据头部&＃xff0c;用于存储行组单元的信息&＃xff0c;包括行组中的记录数、每个列的字节数、列中每个域的字节数&＃xff1b; 3&＃xff09;、第三部分是表格数据段&＃xff0c;即实际的列存储数据。在该部分中&＃xff0c;同一列的所有域顺序存储。从上图可以看出&＃xff0c;首先存储了列A的所有域&＃xff0c;然后存储列B的所有域等。 RCFile的每个行组中&＃xff0c;元数据头部和表格数据段&＃xff08;每个列被独立压缩&＃xff09;分别进行压缩&＃xff0c;RCFile使用重量级的Gzip压缩算法&＃xff0c;是为了获得较好的压缩比。另外在由于Lazy压缩策略&＃xff0c;当处理一个行组时&＃xff0c;RCFile只需要解压使用到的列&＃xff0c;因此相对较高的Gzip解压开销可以减少。 RCFile具备相当于行存储的数据加载速度和负载适应能力&＃xff0c;在读数据时可以在扫描表格时避免不必要的列读取&＃xff0c;它比其他结构拥有更好的性能&＃xff0c;使用列维度的压缩能够有效提升存储空间利用率。
如何将文件转化为rcfile文件格式&＃xff1a;
&＃xff08;1&＃xff09;hive 中直接 通过textfil e表进行insert转换
例如&＃xff1a;
insert overwrite table http_RCTable partition(dt&＃61;&＃39;2013-09-30&＃39;) select p_id,tm,idate,phone from tmp_testp where dt&＃61;&＃39;2013-09-30&＃39;; &＃xff08;2&＃xff09;使用mapreduce将普通的文件压缩成RCFile&＃xff0c;并且在读取RCFile文件。
京公网安备 11010802041100号