热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

HbaseJava客户端连接Hbase运行后长时间卡住,最后报错,这该怎么解决呢

火山日常啰嗦运行hbasejava客户端程序,运行后就一直卡着,经过很长一段时间后就报错了,那时候有点懵,不过幸好后来解决了。问题描述:HbaseJava客户端连接Hbase运行后

火山日常啰嗦
运行hbase java客户端程序,运行后就一直卡着,经过很长一段时间后就报错了,那时候有点懵,不过幸好后来解决了。

问题描述:
Hbase Java客户端连接Hbase运行后长时间卡住,没有其他任何的提示了?到底是出了什么问题了呢?
代码如下:

package mapreduceHbase;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.KeyValue;
import org.apache.hadoop.hbase.client.Delete;
import org.apache.hadoop.hbase.client.Get;
import org.apache.hadoop.hbase.client.HTable;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.ResultScanner;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.util.Bytes;
public class HbaseClient2 { public static void Hput(HTable table , String rowKey) throws IOException {

Put put = new Put(Bytes.toBytes(rowKey));
put.add(Bytes.toBytes("f1"), Bytes.toBytes("name"), Bytes.toBytes("a"));
put.add(Bytes.toBytes("f1"), Bytes.toBytes("age"), Bytes.toBytes("21"));
table.put(put);
}
public static void Hget(HTable table , String rowKey) throws IOException {

Get get = new Get(Bytes.toBytes(rowKey));
//取出该rowkey对应的所有列
Result result = table.get(get);
System.out.println("结果:"+result.toString());

//通过addColumn(family, qualifier)方法指定只选出该rowkey对应的具体哪一列,如果想具体选出若干列,
//只需要多次调用addColumn(family, qualifier)方法即可
Get get1=get.addColumn(Bytes.toBytes("f1"), Bytes.toBytes("name"));
Result result1 = table.get(get1);
System.out.println("结果:"+result1.toString());

}
public static void Hdelete(HTable table, String rowKey) throws IOException {

Delete delete = new Delete(Bytes.toBytes(rowKey));

//这样是指定删除哪一列且删除的是最新版本的值
//table.delete(delete);//这样就是删除该rowkey对应的整行
table.delete(delete.addColumn(Bytes.toBytes("f1"), Bytes.toBytes("name")));
} public static void Hscan(HTable table) throws IOException {

Scan scan = new Scan();

ResultScanner scanner = table.getScanner(scan);

for(Result result : scanner) {
for(KeyValue kv : result.raw()) {

System.out.println("结果:"+ new String(kv.getRow())+" "+new String(kv.getFamily())+":"+new String(kv.getQualifier())+"=>"+new String(kv.getValue()));
}
}

scanner.close();
}public static void writeToNextTable(HTable table1,HTable table2) throws IOException {

Scan scan = new Scan();

ResultScanner scanner = table1.getScanner(scan);

List list = new ArrayList();

for(Result result : scanner) {
list.clear();
for(KeyValue kv : result.raw()) {

Put put = new Put(kv.getRow());

put.add(kv.getFamily(), kv.getQualifier(), kv.getValue());

list.add(put);
}

table2.put(list);
}

scanner.close();

} public static void main(String[] args) { try {
Configuration cOnf= HBaseConfiguration.create();
conf.set("hbase.zookeeper.quorum", "volcano01.cc.com,volcano02.cc.com,volcano03.cc.com");
HTable table = new HTable(conf, Bytes.toBytes("t1"));

HTable new_table = new HTable(conf, Bytes.toBytes("new_t12"));
Hput(table,"3");
Hget(table,"20180611");
Hdelete(table,"20180611");
Hscan(table);
System.out.println("结束了");
writeToNextTable(table, new_table);
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
}

运行图如下:
《Hbase Java客户端连接Hbase运行后长时间卡住,最后报错,这该怎么解决呢》 clipboard.png

原因:
之所以运行后一直卡在这里不动,是因为客户端无法定位集群,导致无法连接上,所以会不断在尝试重新连接,所以我们看到的就是页面卡住不动了。既然客户端都没连接上服务器,那又谈何后续的运行操作呢。
查看log日志,你就可以发现客户端确实是在不断尝试重连,当达到最大重连次数后就会报错结束了,客户端的运行才会结束,当然你也可以手动结束它。

解决办法:
上面说到,连接不上是因为无法定位集群,而hbase集群是由zookeeper管理的,所以,我们必须在代码中设置:

conf.set("hbase.zookeeper.quorum","volcano01.cc.com,volcano02.cc.com,volcano03.cc.com");

代码中为配置对象 configuration添加了这一个设置项后,才能定位服务器,才能正确连接上服务器。


推荐阅读
author-avatar
qwer
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有