HBaseBulkLoading

   将数据导入到HBase有三种方式&＃xff1a;&＃xff08;1&＃xff09; Mapreduce&＃xff0c;输出为TableOutputFormat.(2) 用HBase API .(3)Bulk Loading。对于大量的数据入库&＃xff0c;第三种数据是最为有效的。

  下图描述了Bulk Loading的过程&＃xff1a;先将数据&＃xff08;MySQL ,Oracle &＃xff0c;文本文件等&＃xff09;加载到HDFS,通过MapReduce 将数据做成HFile (HFileOutPutForm)。然后使用HBase提供的CompleteBulkLoad(LoadIncrementalHFiles)工具加载到HBase中&＃xff0c;这个过程很快&＃xff0c;而且不很耗内存&＃xff0c;不影响在线的Hbase 集群的正常操作。因为这个过程不需要结果WAL 和Memstore.

注意事项&＃xff1a;

&＃xff08;1&＃xff09;配置一个total order partitioner。

&＃xff08;2&＃xff09;reduce 个数要和表的region 数目匹配。

&＃xff08;3&＃xff09;MR 输出的Key/Value 类型要和HFileOutPutFormat的匹配。

&＃xff08;4&＃xff09;reduce 采用KeyValueSortReducer 或者PutSortReducer。

应用场景&＃xff1a;

&＃xff08;1&＃xff09;集群上线&＃xff0c;原始数据集加载。

&＃xff08;2&＃xff09;数据增量。需要定期将MySql(Oracle) 的数据导入HBase。

&＃xff08;3&＃xff09;经常性的大批量入库。

对于CSV文件的加载&＃xff1a;

hadoop jar /usr/lib/hbase/hbase-0.94.6-cdh4.3.0-
security.jar importtsv
-Dimporttsv.separator&＃61;,
-Dimporttsv.bulk.output&＃61;output
-Dimporttsv.columns&＃61;HBASE_ROW_KEY,f:count wordcount word_count.csv

  该文件的数据格式为---> rowkey,列&＃xff1a;值 。

  导入到的表名为wordcount ,数据文件为word_count.csv

  这样做&＃xff0c;不会生成wordcount表。

 执行

hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles output wordcount
 入库完成。

hadoop jar /usr/lib/hbase/hbase-0.94.6-cdh4.3.0-
security.jar importtsv
-Dimporttsv.separator&＃61;,
-Dimporttsv.columns&＃61;HBASE_ROW_KEY,f:count wordcount word_count.csv
 这样做一步到位&＃xff0c;直接入库。

 或者用

HADOOP_CLASSPATH&＃61;&＃96;${HBASE_HOME}/bin/hbase classpath&＃96; ${HADOOP_HOME}/bin/hadoop jar ${HBASE_HOME}/hbase-VERSION.jar completebulkload
同样 一步到位&＃xff0c;直接入库。

下面是一个MR生成HFile的例子&＃xff1a;