HBaseRegion自动拆分策略

原文地址&＃xff1a;https://cloud.tencent.com/developer/article/1374592

HBase自定义拆分策略

自定义拆分策略

您可以使用自定义RegionSplitPolicy&＃xff08;HBase 0.94&＃43;&＃xff09;重写默认拆分策略。通常&＃xff0c;自定义拆分策略应该扩展HBase的默认拆分策略&＃xff1a; IncreasingToUpperBoundRegionSplitPolicy。

该策略可以通过HBase配置或者也可以基于每个表在全局范围内进行设置。

在hbase-site.xml中全局配置拆分策略&＃xff1a;

hbase.regionserver.region.split.policyorg.apache.hadoop.hbase.regionserver.IncreasingToUpperBoundRegionSplitPolicy



使用Java API在表上配置拆分策略&＃xff1a;

HTableDescriptor tableDesc &＃61; new HTableDescriptor("test");
tableDesc.setValue(HTableDescriptor.SPLIT_POLICY, ConstantSizeRegionSplitPolicy.class.getName());
tableDesc.addFamily(new HColumnDescriptor(Bytes.toBytes("cf1")));
admin.createTable(tableDesc);
----


使用HBase Shell在表上配置拆分策略&＃xff1a;

hbase> create &＃39;test&＃39;, {METADATA &＃61;> {&＃39;SPLIT_POLICY&＃39; &＃61;> &＃39;org.apache.hadoop.hbase.regionserver.ConstantSizeRegionSplitPolicy&＃39;}},{NAME &＃61;> &＃39;cf1&＃39;}


该策略可以通过使用的HBaseConfiguration或按表进行全局设置&＃xff1a;

HTableDescriptor myHtd &＃61; ...;
myHtd.setValue(HTableDescriptor.SPLIT_POLICY, MyCustomSplitPolicy.class.getName());


该DisabledRegionSplitPolicy策略阻止手动区域拆分。

HBase-2.x支持7种Region自动拆分Region的策略&＃xff0c;类图如下:

其中BusyRegionSplitPolicy是HBase-2.x新增的策略&＃xff0c;其他6种在HBase-1.2.x中也可以使用。

设置自动拆分策略的关键配置如下:

hbase.regionserver.region.split.policy
description: Region自动拆分的策略
default: HBase-1.2.x: org.apache.hadoop.hbase.regionserver.IncreasingToUpperBoundRegionSplitPolicyHBase-2.x: org.apache.hadoop.hbase.regionserver.SteppingSplitPolicy
option: org.apache.hadoop.hbase.regionserver.DisabledRegionSplitPolicyorg.apache.hadoop.hbase.regionserver.ConstantSizeRegionSplitPolicyorg.apache.hadoop.hbase.regionserver.IncreasingToUpperBoundRegionSplitPolicyorg.apache.hadoop.hbase.regionserver.SteppingSplitPolicyorg.apache.hadoop.hbase.regionserver.KeyPrefixRegionSplitPolicyorg.apache.hadoop.hbase.regionserver.DelimitedKeyPrefixRegionSplitPolicyorg.apache.hadoop.hbase.regionserver.BusyRegionSplitPolicy (HBase-2.x Only)


配置方法&＃xff1a;

• 在hbase-site.xml中配置&＃xff0c;例如&＃xff1a;

hbase.regionserver.region.split.policy org.apache.hadoop.hbase.regionserver.IncreasingToUpperBoundRegionSplitPolicy



• 在HBase Configuration中配置

private static Configuration conf &＃61; HBaseConfiguration.create();
conf.set("hbase.regionserver.region.split.policy", "org.apache.hadoop.hbase.regionserver.SteppingSplitPolicy");


• 在创建表的时候配置 Region的拆分策略需要根据表的属性来合理的配置&＃xff0c;所以建议不要使用前两种方法来配置拆分策略&＃xff0c;关于在建表的时候怎么配置&＃xff0c;会在下面解释每种策略的时候说明。

接下来将详细介绍这7种Region自动拆分的策略。

1. ConstantSizeRegionSplitPolicy

策略描述

这种策略非常简单&＃xff0c;只要Region的大小达到了hbase.hregion.max.filesize所定义的大小&＃xff0c;就进行拆分。

相关参数

hbase.hregion.max.filesize
default: 10737418240 (10GB)
description: 当一个Region的容量达到这个配置定义的大小后,就会拆分Regionhbase.server.thread.wakefrequency
default: 10000 (10s)
description: 检测Region的大小是否超过限制的时间间隔


拆分效果

经过这种策略的拆分后&＃xff0c;Region的大小是均匀的&＃xff0c;例如一个10G的Region&＃xff0c;拆分为两个Region后&＃xff0c;这两个新的Region的大小是相差不大的&＃xff0c;理想状态是每个都是5G。

设置方法

HTableDescriptor tableDesc &＃61; new HTableDescriptor(TableName.valueOf("tableName"));tableDesc.setRegionSplitPolicyClassName("org.apache.hadoop.hbase.regionserver.ConstantSizeRegionSplitPolicy");
// 以下配置根据需要配置或者不配置
tableDesc.setMaxFileSize(1048576000);tableDesc.addFamily(...)
admin.createTable(tableDesc);


2. IncreasingToUpperBoundRegionSplitPolicy

策略描述

这种拆分策略是HBase-1.2.x的默认使用的拆分策略&＃xff0c;Region的前几次拆分的阈值不是固定的数值&＃xff0c;是需要进行计算得到&＃xff0c;计算过程在源码中说明。

相关配置

hbase.hregion.memstore.flush.size
default: 134217728 (128MB)
description: 如果Memstore的大小超过这个字节数,它将被刷新到磁盘.hbase.increasing.policy.initial.size
default: none
description: IncreasingToUpperBoundRegionSplitPolicy拆分策略下用于计算Region阈值的一个初始值


设置方法

HTableDescriptor tableDesc &＃61; new HTableDescriptor(TableName.valueOf("tableName"));tableDesc.setRegionSplitPolicyClassName("org.apache.hadoop.hbase.regionserver.IncreasingToUpperBoundRegionSplitPolicy");
// 以下配置根据需要配置或者不配置
tableDesc.setValue("hbase.increasing.policy.initial.size", "1048576000");
tableDesc.setMaxFileSize(1048576000);
tableDesc.setMemStoreFlushSize(1048576000);tableDesc.addFamily(...)
admin.createTable(tableDesc);


拆分效果

均匀拆分

3. KeyPrefixRegionSplitPolicy

策略描述

除了简单粗暴地根据大小来拆分&＃xff0c;我们还可以自己定义拆分点。KeyPrefixRegionSplitPolicy是IncreasingToUpperBoundRegionSplitPolicy的子类&＃xff0c;在前者的基础上增加了对拆分点(splitPoint&＃xff0c;拆分点就是Region被拆分处的rowkey)的定义。它保证了有相同前缀的rowkey不会被拆分到两个不同的Region里面。

相关配置

KeyPrefixRegionSplitPolicy.prefix_length# 注意&＃xff0c;有的博客中这个配置是
# prefix_split_key_policy.prefix_length
# 这个配置在HBase-1.2.x版本中已经标志为 Deprecated


以上参数指定了在rowkey中&＃xff0c;取前几个字符作为前缀&＃xff0c;例如这个设置这个值为5&＃xff0c;那么在rowkey中&＃xff0c;如果前5个字符是相同的&＃xff0c;拆分后也一定会在一个Region中。

拆分效果

• 普通的拆分
  

• 按照Rowkey前缀拆分
  
  设置方法

HTableDescriptor tableDesc &＃61; new HTableDescriptor(TableName.valueOf(tableNameStr));
tableDesc.setRegionSplitPolicyClassName("org.apache.hadoop.hbase.regionserver.KeyPrefixRegionSplitPolicy");
tableDesc.setValue("KeyPrefixRegionSplitPolicy.prefix_length", "5");// 以下配置根据需要配置或者不配置
tableDesc.setValue("hbase.increasing.policy.initial.size", "1048576000");
tableDesc.setMaxFileSize(1048576000);
tableDesc.setMemStoreFlushSize(1048576000);tableDesc.addFamily(...)
admin.createTable(tableDesc);


说明

KeyPrefixRegionSplitPolicy是IncreasingToUpperBoundRegionSplitPolicy类的子类&＃xff0c;就是按照rowkey的前缀去拆分Region&＃xff0c;但是什么时候拆分&＃xff0c;原Region容量的最大值是多少还是需要使用IncreasingToUpperBoundRegionSplitPolicy的方法去计算。SteppingSplitPolicy、DelimitedKeyPrefixRegionSplitPolicy、BusyRegionSplitPolicy (HBase-2.x Only)&＃xff0c;他们获取Region的拆分阈值的方式都是继承自IncreasingToUpperBoundRegionSplitPolicy。

适用场景

如果你的所有数据都只有一两个前缀&＃xff0c;那么采用默认的策略较好。 如果你的前缀划分的比较细&＃xff0c;你的查询就比较容易发生跨Region查询的情况&＃xff0c;此时采用KeyPrefixRegionSplitPolicy较好。 所以这个策略适用的场景是&＃xff1a;

• 数据有多种前缀。
• 查询多是针对前缀&＃xff0c;较少跨越多个前缀来查询数据。

4. DelimitedKeyPrefixRegionSplitPolicy

拆分策略

该策略也是继承自IncreasingToUpperBoundRegionSplitPolicy&＃xff0c;它也是根据你的rowkey前缀来进行拆分的。唯一的不同就是&＃xff1a;KeyPrefixRegionSplitPolicy是根据rowkey的固定前几位字符来进行判断&＃xff0c;而DelimitedKeyPrefixRegionSplitPolicy是根据分隔符来判断的。

在有些系统中rowkey的前缀可能不一定都是定长的&＃xff0c;比如你拿服务器的名字来当前缀&＃xff0c;有的服务器叫host12有的叫host1。这些场景下严格地要求所有前缀都定长可能比较难&＃xff0c;而且这个定长如果未来想改也不容易。DelimitedKeyPrefixRegionSplitPolicy就给了你一个定义长度字符前缀的自由。

相关配置

DelimitedKeyPrefixRegionSplitPolicy.delimiter


使用该参数定义的分隔符分隔rowkey&＃xff0c;分隔后的前部分相同的rowkey拆分后一定会在一个Region中。

配置方法

HTableDescriptor tableDesc &＃61; new HTableDescriptor(TableName.valueOf(tableNameStr));
tableDesc.setRegionSplitPolicyClassName("org.apache.hadoop.hbase.regionserver.DelimitedKeyPrefixRegionSplitPolicy");
tableDesc.setValue("DelimitedKeyPrefixRegionSplitPolicy.delimiter", "_");
...


拆分效果

5. SteppingSplitPolicy

策略描述

这种策略和IncreasingToUpperBoundRegionSplitPolicy策略很相似&＃xff0c;但更简单&＃xff0c;第一个Region容量的上限为256M&＃xff0c;之后都是10G&＃xff0c;这个策略考虑到IncreasingToUpperBoundRegionSplitPolicy会多拆分几个Region(256M -> 2G -> 6.75G -> 10G)&＃xff0c;所以进行了简化&＃xff0c;它的源码只有一个方法&＃xff0c;其他都是继承自IncreasingToUpperBoundRegionSplitPolicy类

设置方法

HTableDescriptor tableDesc &＃61; new HTableDescriptor(TableName.valueOf(tableNameStr));
tableDesc.setRegionSplitPolicyClassName("org.apache.hadoop.hbase.regionserver.SteppingSplitPolicy");


6. BusyRegionSplitPolicy (HBase-2.x Only)

策略描述

此前的拆分策略都没有考虑热点问题。所谓热点问题就是数据库中的Region被访问的频率并不一样&＃xff0c;某些Region在短时间内被访问的很频繁&＃xff0c;承载了很大的压力&＃xff0c;这些Region就是热点Region。

相关配置

hbase.busy.policy.blockedRequests
default: 0.2f
description: 请求阻塞率&＃xff0c;即请求被阻塞的严重程度。
取值范围是[0.0, 1.0]&＃xff0c;默认是0.2&＃xff0c;即20%的请求被阻塞的意思。hbase.busy.policy.minAge
default: 600000 (10min)
description: 拆分最小年龄。
当Region的年龄比这个小的时候不拆分&＃xff0c;这是为了防止在判断是否要拆分的时候出现了短时间的访问频率波峰&＃xff0c;结果没必要拆分的Region被拆分了&＃xff0c;因为短时间的波峰会很快地降回到正常水平。单位毫秒&＃xff0c;默认值是600000&＃xff0c;即10分钟。hbase.busy.policy.aggWindow
default: 300000 (5min)
description: 计算是否繁忙的时间窗口&＃xff0c;单位毫秒&＃xff0c;默认值是300000&＃xff0c;即5分钟。
用以控制计算的频率。


如何确定为热点Region(Busy Region)

如果"当前时间 – 上次检测时间" >&＃61; hbase.busy.policy.aggWindow&＃xff0c;则进行如下计算&＃xff1a;

请求的被阻塞率(aggBlockedRate) &＃61; 这段时间被阻塞的请求 / 这段时间的总请求

如果 aggBlockedRate > hbase.busy.policy.blockedRequests 且该Region的 hbase.busy.policy.minAge > 10min&＃xff0c;则判断该Region为Busy Region

当Region被判定为Busy Region&＃xff0c;就会被拆分。

设置方法

HTableDescriptor tableDesc &＃61; new HTableDescriptor(TableName.valueOf(tableNameStr));
tableDesc.setRegionSplitPolicyClassName("org.apache.hadoop.hbase.regionserver.BusyRegionSplitPolicy");# 以下配置根据需要适当修改
tableDesc.setValue("hbase.busy.policy.blockedRequests", "0.2");
tableDesc.setValue("hbase.busy.policy.minAge", "600000");
tableDesc.setValue("hbase.busy.policy.aggWindow", "300000");


适用场景

如果你的系统常常会出现热点Region&＃xff0c;而你对性能有很高的追求&＃xff0c;那么这种策略可能会比较适合你。它会通过拆分热点Region来缓解热点Region的压力&＃xff0c;但是根据热点来拆分Region也会带来很多不确定性因素&＃xff0c;因为你也不知道下一个被拆分的Region是哪个。

7. DisabledRegionSplitPolicy

策略描述

禁止Region拆分&＃xff0c;这个策略是极少使用的&＃xff0c;因为就算是你按照自己数据的特性在建表的时候合理的进行了预拆分&＃xff08;即还没有写入的数据的时候就已经手动分好了Region&＃xff09;&＃xff0c;但是后续随着数据的持续写入&＃xff0c;我们自己预先分好的Region的大小也一定会达到阈值&＃xff0c;那时候还是要依靠HBase的自动拆分策略去拆分Region。

当然&＃xff0c;这种策略也有它的用途&＃xff1a;

假如我们有一批数据&＃xff0c;根据它的用途我们知道它分为几个Region或者在什么时候拆分最合适&＃xff0c;例如有一批数据&＃xff0c;rowkey是手机号&＃xff0c;而且每个手机号码前缀下&＃xff08;手机号码前三位&＃xff09;的数据量都差不多&＃xff0c;而且这批数据主要是用于查询&＃xff0c;要求查询的性能好一些&＃xff0c;而且这批数据是一批静态数据&＃xff0c;即一次存入后以后不会再加入新数据&＃xff0c;而且这批数据的量很大&＃xff0c;那么此时预先设置好拆分点&＃xff08;比如每个相同的手机号前缀一定要分到一个Region下&＃xff09;&＃xff0c;设置拆分策略为禁止拆分&＃xff0c;然后导入数据即可。

在使用禁止自动拆分策略的诸多条件中&＃xff0c;数据量大是很重要的一点&＃xff0c;因为当使用自动拆分时&＃xff0c;无论你设置了哪种拆分策略&＃xff0c;一开始数据进入HBase的时候都只会往一个Region塞数据。必须要等到一个Region的大小膨胀到某个阀值的时候才会根据拆分策略来进行拆分。但是当大量的数据涌入的时候&＃xff0c;可能会出现一边拆分一边写入大量数据的情况&＃xff0c;由于拆分要占用大量IO&＃xff0c;此时HBase数据库的压力是很大的。

设置方法

HTableDescriptor tableDesc &＃61; new HTableDescriptor(TableName.valueOf(tableNameStr));
tableDesc.setRegionSplitPolicyClassName("org.apache.hadoop.hbase.regionserver.DisabledRegionSplitPolicy");


关于Region的预拆分&＃xff0c;HBase Region 预拆分(还没有写…)一文中将会详细说明。