Hbase如何批量删除指定数据

一、背景&＃xff1a;

　　Hbase是一个列式存储&＃xff0c;nosql类型的数据库&＃xff0c;类似mongodb。

        我们都知道Hbase是一个Nosql的分布式存储数据引擎,它可以支持千万级别的QPS写入,但是有时候我们需要批量的删除他的数据, 目前似乎没有提供批量删除的方法&＃xff0c;只有一个单行删除的命令&＃xff1a;deleteall &＃39;tablename&＃39;, rowkey

二、删除方法&＃xff1a;

　　方法一&＃xff1a;通过写 shell 脚本&＃xff0c;从 hbase shell 查出需要删除的 rowkey &＃xff0c;拼成删除命令&＃xff08;deleteall &＃39;tablename&＃39;, rowkey&＃xff09;&＃xff0c;写到文本 del_temp.txt &＃xff1b;然后执行 hbase shell del_temp.txt 

　　方法二&＃xff1a;通过建映射表&＃xff0c;比如在 hive 建一个映射表&＃xff0c;然后写 hql 查出需要删除的 rowkey &＃xff0c;拼成删除命令&＃xff08;deleteall &＃39;tablename&＃39;, rowkey&＃xff09;&＃xff0c;写到文本 del_temp.txt &＃xff1b;然后执行 hbase shell del_temp.txt 

　　方法三&＃xff1a;通过python/ java 代码&＃xff0c;调用 hbase 的单行删除方法&＃xff0c;写个循环删除 

　　方法四&＃xff1a;通过建映射表&＃xff0c;比如在 hive 建一个映射表&＃xff0c;将 需要保留的数据 通过 hql 查询出来&＃xff0c;备份到 hive 的一张临时表 &＃xff1b;然后 在hbase shell 里面 执行 truncate &＃39;tablename&＃39; &＃xff0c;清空 hbase 的数据&＃xff1b; 最后 在将数据 从 hive 的备份表 读出来&＃xff0c;插入 映射表&＃xff0c;写回 hbase&＃xff1b;

　　总结&＃xff1a;

　　前面3种方法&＃xff0c;本质上都是在 hbase 中逐行删除&＃xff1b;而第4种方法&＃xff0c;是利用hive的map reduce倒数据。对于不熟悉 hbase 和 java 语法的开发人员而言&＃xff0c;使用2/4方法&＃xff0c;是灵活性最好的。

以第二种删除方法为例&＃xff1a;

　　1、hive 建映射表&＃xff1a;

CREATE EXTERNAL TABLE edw.test_turboway_hbase(&＃96;keyid&＃96; string COMMENT &＃39;from deserializer&＃39;,&＃96;title&＃96; string COMMENT &＃39;from deserializer&＃39;,&＃96;bizdate&＃96; string COMMENT &＃39;from deserializer&＃39;,&＃96;loginid&＃96; string COMMENT &＃39;from deserializer&＃39;)
ROW FORMAT SERDE&＃39;org.apache.hadoop.hive.hbase.HBaseSerDe&＃39;
STORED BY&＃39;org.apache.hadoop.hive.hbase.HBaseStorageHandler&＃39;
WITH SERDEPROPERTIES (&＃39;hbase.columns.mapping&＃39;&＃61;&＃39;:key,cf:title,cf:bizdate,cf:loginid&＃39;,&＃39;serialization.format&＃39;&＃61;&＃39;1&＃39;)
TBLPROPERTIES (&＃39;COLUMN_STATS_ACCURATE&＃39;&＃61;&＃39;false&＃39;,&＃39;hbase.table.name&＃39;&＃61;&＃39;test_turboway&＃39;,&＃39;numFiles&＃39;&＃61;&＃39;0&＃39;,&＃39;numRows&＃39;&＃61;&＃39;-1&＃39;,&＃39;rawDataSize&＃39;&＃61;&＃39;-1&＃39;,&＃39;totalSize&＃39;&＃61;&＃39;0&＃39;,&＃39;transient_lastDdlTime&＃39;&＃61;&＃39;1543297130&＃39;)

　　2、记录hive查询要删除的数据&＃xff0c;拼成命令&＃xff1a;

hive -e
"select concat(&＃39;deleteall \&＃39;test_turboway\&＃39;,\&＃39;&＃39;,keyid,&＃39;\&＃39;&＃39;)
from edw.test_turboway_hbase
where loginid &＃61; &＃39;20181122&＃39;"> del_temp.txt && echo &＃39;exit&＃39; >> del_temp.txt

　　3、hbase shell 执行删除命令

hbase shell del_temp.txt > del.log

二、

   由于从kafka消费过来写入hbase的数据量有点大&＃xff0c;导致关联的外部hive表使用性能有点差&＃xff0c;因此决定把已经导入hive的dwd层后的数据进行删除&＃xff0c;删除脚本如下&＃xff1a;

del_date&＃61;$1
filename&＃61;$(pwd)/rowkey.csvbeeline  
--incremental&＃61;true
--showHeader&＃61;false
--outputformat&＃61;dsv
--delimiterForDSV&＃61;$&＃39;\t&＃39;  
-e
"select  concat(&＃39;deleteall \&＃39;default:monitorData\&＃39;,\&＃39;&＃39;,row_key,&＃39;\&＃39;&＃39;)  
from  dw_ods.ods_api_msp_plan_point
where row_key like &＃39;%${del_date}&＃39;
">${filename}sed -i &＃39;$d&＃39; ${filename}
hbase shell ${filename} > del.log

        以上脚本删除的逻辑是首先通过外部关联表查询出需要删除的rowkey&＃xff0c;由于这个表的rowkey后缀是日期&＃xff0c;因此通过模糊日期查询出需要删除的rowkey写入一个文件&＃xff0c;由于写入文件后最后一行是无关的信息&＃xff0c;因此这里需要用sed命令进行删除。

        脚本编辑好后&＃xff0c;写入del_hbase.sh文件&＃xff0c;最后执行sh del_hbase.sh yyyyMMdd进行删除指定日期的数据 

三、方法三&＃xff1a;比如我们要删除10号到13号的数据

我们可以利用Hbase的API先scan一定时间戳范围内的数据,然后在批量的删除,具体实现的代码如下:

/*** 根据时间戳范围删除hbase的数据;*/
object HbaseUtil {def main(args: Array[String]): Unit &＃61; {val s &＃61; System.currentTimeMillis()val conf &＃61; HBaseConfiguration.create()conf.set("hbase.zookeeper.quorum", PropertiesScalaUtils.loadProperties("zk_hbase")) //zk的地址;conf.set("hbase.zookeeper.property.clientPort", PropertiesScalaUtils.loadProperties("zk_port"))conf.set("hbase.master", PropertiesScalaUtils.loadProperties("hbase_master"))conf.set("hbase.defaults.for.version.skip", "true")conf.set("hhbase.rootdir", PropertiesScalaUtils.loadProperties("hbase_rootdir"))conf.set("zookeeper.znode.parent", PropertiesScalaUtils.loadProperties("zookeeper_znode_parent"))val connection &＃61; ConnectionFactory.createConnection(conf)val table &＃61; connection.getTable(TableName.valueOf(PropertiesScalaUtils.loadProperties("hbase_table")))val scan &＃61; new Scan()scan.setTimeRange(args(0).toLong,args(1).toLong)val rs &＃61; table.getScanner(scan)val it &＃61; rs.iterator()val list &＃61; new util.ArrayList[Delete]()while (it.hasNext){val delete &＃61; it.next()val d &＃61; new Delete(delete.getRow)list.add(d)}if(list.size()>0){println("一共有多少条数据:"&＃43;list.size())println("开始删除--------------------")table.delete(list)println("删除完成--------------------")}else{println("没有数据--------------------")}table.close()connection.close()val e &＃61; System.currentTimeMillis()println("总共用时:"&＃43; (e-s) &＃43;"毫秒")}
}

这么写虽然能实现对指定时间戳范围内的数据进行删除,但是这么写就没有问题吗,是有问题的,这样删除的效率是非常低的,因为需要先把需要删除的查出来放到一个list里面,然后在进行批量的删除,这个方法对于数据量小的时候是可以的,数据量大的话,就会非常的慢,一定要根据自己的实际情况而定

这两种方法还是推荐使用第一张设置TTL,让其自动过期,如果非要删除段时间范围内的,可以用第二种但是要考虑性能问题.
————————————————