当前位置: 开发笔记 > 编程语言 > 正文

HBase性能优化方法总结（3）：写表操作

作者：曼珠沙華的朦朧_759 | 来源：互联网 | 2023-06-19 17:12

本文主要是从HBase应用程序设计与开发的角度，总结几种常用的性能优化方法。有关HBase系统配置级别的优化，可参考：淘宝KenWu同学的

本文主要是从HBase应用程序设计与开发的角度&＃xff0c;总结几种常用的性能优化方法。有关HBase系统配置级别的优化&＃xff0c;可参考&＃xff1a;淘宝Ken Wu同学的博客。

下面是本文总结的第二部分内容&＃xff1a;写表操作相关的优化方法。

2. 写表操作

2.1 多HTable并发写

创建多个HTable客户端用于写操作&＃xff0c;提高写数据的吞吐量&＃xff0c;一个例子&＃xff1a;

[java] view plaincopy

static final Configuration conf &＃61; HBaseConfiguration.create();
static final String table_log_name &＃61; “user_log”;
wTableLog &＃61; new HTable[tableN];
for (int i &＃61; 0; i < tableN; i&＃43;&＃43;) {
wTableLog[i] &＃61; new HTable(conf, table_log_name);
wTableLog[i].setWriteBufferSize(5 * 1024 * 1024); //5MB
wTableLog[i].setAutoFlush(false);
}

2.2 HTable参数设置

2.2.1 Auto Flush

通过调用HTable.setAutoFlush(false)方法可以将HTable写客户端的自动flush关闭&＃xff0c;这样可以批量写入数据到HBase&＃xff0c;而不是有一条put就执行一次更新&＃xff0c;只有当put填满客户端写缓存时&＃xff0c;才实际向HBase服务端发起写请求。默认情况下auto flush是开启的。

2.2.2 Write Buffer

通过调用HTable.setWriteBufferSize(writeBufferSize)方法可以设置HTable客户端的写buffer大小&＃xff0c;如果新设置的buffer小于当前写buffer中的数据时&＃xff0c;buffer将会被flush到服务端。其中&＃xff0c;writeBufferSize的单位是byte字节数&＃xff0c;可以根据实际写入数据量的多少来设置该值。

2.2.3 WAL Flag

在HBae中&＃xff0c;客户端向集群中的RegionServer提交数据时&＃xff08;Put/Delete操作&＃xff09;&＃xff0c;首先会先写WAL&＃xff08;Write Ahead Log&＃xff09;日志&＃xff08;即HLog&＃xff0c;一个RegionServer上的所有Region共享一个HLog&＃xff09;&＃xff0c;只有当WAL日志写成功后&＃xff0c;再接着写MemStore&＃xff0c;然后客户端被通知提交数据成功&＃xff1b;如果写WAL日志失败&＃xff0c;客户端则被通知提交失败。这样做的好处是可以做到RegionServer宕机后的数据恢复。

因此&＃xff0c;对于相对不太重要的数据&＃xff0c;可以在Put/Delete操作时&＃xff0c;通过调用Put.setWriteToWAL(false)或Delete.setWriteToWAL(false)函数&＃xff0c;放弃写WAL日志&＃xff0c;从而提高数据写入的性能。

值得注意的是&＃xff1a;谨慎选择关闭WAL日志&＃xff0c;因为这样的话&＃xff0c;一旦RegionServer宕机&＃xff0c;Put/Delete的数据将会无法根据WAL日志进行恢复。

2.3 批量写

通过调用HTable.put(Put)方法可以将一个指定的row key记录写入HBase&＃xff0c;同样HBase提供了另一个方法&＃xff1a;通过调用HTable.put(List)方法可以将指定的row key列表&＃xff0c;批量写入多行记录&＃xff0c;这样做的好处是批量执行&＃xff0c;只需要一次网络I/O开销&＃xff0c;这对于对数据实时性要求高&＃xff0c;网络传输RTT高的情景下可能带来明显的性能提升。

2.4 多线程并发写

在客户端开启多个HTable写线程&＃xff0c;每个写线程负责一个HTable对象的flush操作&＃xff0c;这样结合定时flush和写buffer&＃xff08;writeBufferSize&＃xff09;&＃xff0c;可以既保证在数据量小的时候&＃xff0c;数据可以在较短时间内被flush&＃xff08;如1秒内&＃xff09;&＃xff0c;同时又保证在数据量大的时候&＃xff0c;写buffer一满就及时进行flush。下面给个具体的例子&＃xff1a;

[java] view plaincopy

for (int i &＃61; 0; i < threadN; i&＃43;&＃43;) {
Thread th &＃61; new Thread() {
public void run() {
while (true) {
try {
sleep(1000); //1 second
} catch (InterruptedException e) {
e.printStackTrace();
}
synchronized (wTableLog[i]) {
try {
wTableLog[i].flushCommits();
} catch (IOException e) {
e.printStackTrace();
}
}
}
}
};
th.setDaemon(true);
th.start();
}

转载自&＃xff1a;http://www.cnblogs.com/panfeng412/archive/2012/03/08/hbase-performance-tuning-section2.html

static final Configuration conf &＃61; HBaseConfiguration.create();
static final String table_log_name &＃61; “user_log”;
wTableLog &＃61; new HTable[tableN];
for (int i &＃61; 0; i
wTableLog[i] &＃61; new HTable(conf, table_log_name);
wTableLog[i].setWriteBufferSize(5 * 1024 * 1024); //5MB
wTableLog[i].setAutoFlush(false);
}

2.2 HTable参数设置

2.2.1 Auto Flush

2.2.2 Write Buffer

2.2.3 WAL Flag

值得注意的是&＃xff1a;谨慎选择关闭WAL日志&＃xff0c;因为这样的话&＃xff0c;一旦RegionServer宕机&＃xff0c;Put/Delete的数据将会无法根据WAL日志进行恢复。

2.3 批量写

2.4 多线程并发写

[java] view plaincopy

for (int i &＃61; 0; i
Thread th &＃61; new Thread() {
public void run() {
while (true) {
try {
sleep(1000); //1 second
} catch (InterruptedException e) {
e.printStackTrace();
}
synchronized (wTableLog[i]) {
try {
wTableLog[i].flushCommits();
} catch (IOException e) {
e.printStackTrace();
}
}
}
}
};
th.setDaemon(true);
th.start();
}

转载自&＃xff1a;http://www.cnblogs.com/panfeng412/archive/2012/03/08/hbase-performance-tuning-section2.html

推荐阅读

main
flash代码_正点原子【STM32F407探索者】第三十九章 FLASH 模拟 EEPROM 实验

1)资料下载:点击资料即可下载2)对正点原子Linux感兴趣的同学可以加群讨论：9354467413）关注正点原子公众号，获取最新资料更新 ... [详细]

蜡笔小新 2024-09-30 15:58:28
byte
Android中如何获取网页源码？

技术点：1、通过已知的网页路径获得流2、把流转换成字节数组3、把字节数组转换成String字符串显示在TextView控件中一、获得流publicstaticSt ... [详细]

蜡笔小新 2024-09-29 11:56:16
byte
再看ibatis Order By注入问题

接上文http:blog.itpub.net29254281viewspace-1318239领导让开发同学鼓捣一个可配置化的后台.又回到了原来的问题如果要灵活,很多参数要 ... [详细]

蜡笔小新 2024-09-27 19:50:41
heap
【JVM技术专题】深入分析CG管理和原理查缺补漏「番外篇」

前提概要本文主要针对HotspotVM中“CMSParNew”组合的一些使用场景进行总结。自Sun发布Java语言以来，开始使用GC技术来进行内存自动管理࿰ ... [详细]

蜡笔小新 2024-09-26 17:30:39
heap
自定义RecyclerView添加EmptyView

你知道RecyclerView里没有Em ... [详细]

蜡笔小新 2024-09-30 15:31:47
web
nginx基础整理

目录结构如下：Nginx基础知识NginxHTTP服务器的特色及优点Nginx的主要企业功能Nginx作为web服务器的主要应用场景包括：Nginx的安装安装环境 ... [详细]

蜡笔小新 2024-09-29 12:48:54
web
一个对话框中的Android日期选择器 - Android Date Time picker in one dialog

IamusingmaterialDateTimepickerformyAndroidapp.ButIwanttocombinetheDateandTimepic ... [详细]

蜡笔小新 2024-09-28 10:23:29
byte
【Modbus 】Modbus 协议

Modbus协议简介Modbus协议是一项应用层报文传输协议，包括ASCII、RTU、TCP三种报文类型。标准的Modbus协议物理层接口有RS232、RS422 ... [详细]

蜡笔小新 2024-09-27 19:09:44
buffer
Jeecg中的<t:datagrid treegrid="true">实现

eecg的代码生成器很不错，但是可能有的时候不是那么符合我们实际项目的功能需求，这里会首先介绍jeecg原生生成的样子，以及根据需求进行的改造。Jeecg中的 ... [详细]

蜡笔小新 2024-09-27 12:46:12
buffer
Node.js[3] Buffer

JavaScript语言自身只有字符串数据类型，没有二进制数据类型。但在处理像TCP流或文件流时，必须使用到二进制数据。因此在Node.js中&#x ... [详细]

蜡笔小新 2024-09-26 18:44:26
web
百度_音频转文字

手机49kbps转换比特率256Kpbs{‘corpus_no’:‘7045177033217452815’,‘err_msg’:‘success.’,‘err_no’:0,‘re ... [详细]

蜡笔小新 2024-09-26 17:35:21
main
找出字符串中重复字符

2019独角兽企业重金招聘Python工程师标准packagejavaBasic;importjava.util.HashMap;importjava.util.Map; ... [详细]

蜡笔小新 2024-09-30 11:23:11
main
《Effective Java》阅读笔记9 覆盖equals时总要覆盖hashCode

1.什么是hashcode方法？hashcode方法返回对象的哈希码值在应用程序的执行期间，只要对象的equals方法的比较操作所用到的信息没有改变& ... [详细]

蜡笔小新 2024-09-29 14:43:29
main
AsyncDisplayKit2.0教程(下)

AsyncDisplayKit2.0Tutorial:AutomaticLayout原文：AsyncDisplayKit2.0Tutorial:Automatic ... [详细]

蜡笔小新 2024-09-28 16:16:36
数组
AndroidlistView 点击事件

Adapter相当于C（Controller，控制器），listView相当于V(View,视图)用于显示数据为ListView提供数据的List,数组或数据库相当于MVC模式中的 ... [详细]

蜡笔小新 2024-09-28 15:24:54

曼珠沙華的朦朧_759

这个家伙很懒，什么也没留下！

Tags | 热门标签

RankList | 热门文章