开发笔记:HBase的java客户端测试DDL操作

1 package com.mmzs.bigdata.hbase.ddl;
2
3 import java.io.IOException;
4 import java.util.Map;
5 import java.util.Map.Entry;
6 import java.util.Set;
7
8 import org.apache.hadoop.conf.Configuration;
9 import org.apache.hadoop.hbase.HBaseConfiguration;
10 import org.apache.hadoop.hbase.HColumnDescriptor;
11 import org.apache.hadoop.hbase.HTableDescriptor;
12 import org.apache.hadoop.hbase.NamespaceDescriptor;
13 import org.apache.hadoop.hbase.TableName;
14 import org.apache.hadoop.hbase.TableNotFoundException;
15 import org.apache.hadoop.hbase.client.Admin;
16 import org.apache.hadoop.hbase.client.Connection;
17 import org.apache.hadoop.hbase.client.ConnectionFactory;
18 import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
19
20 /**
21 * DDL:
22 * createTable|disableTable|deleteTable|modifyTable|modifyColumn|getTableDescriptor
23 *
24 * 表空间——>表——>列族——>列(字段)——>列值(字段值)
25 *
26 * @author hadoop
27 *
28 */
29 public class DDLMain {
30 /**
31 * 操作HBase集群的客户端
32 */
33 private static Admin admin;//操作HBase集群的客户端
34
35 static{
36 //创建HBase配置
37 Configuration cOnf= HBaseConfiguration.create();
38 //要和hbase-site.xml中configuration配置的一样
39 conf.set("hbase.zookeeper.quorum", "slave01:2181,slave02:2181,slave03:2181");
40 //根据HBase配置获取集群路径
41 Connection conn;
42 try {
43 cOnn= ConnectionFactory.createConnection(conf);
44 admin = conn.getAdmin();
45 } catch (IOException e) {
46 e.printStackTrace();
47 }
48 }
49
50 public static void main(String[] args) {
51 // createNamespace("mmzs02");
52 // try {
53 // createHTable("mmzs:myuser");
54 // } catch (IOException e) {
55 // e.printStackTrace();
56 // }
57 existHTable("mmzs:myuser");
58 // modifyHTableByAddFamily("mmzs:myuser","attach00");
59 // modifyHTableByDelFamily("mmzs:myuser","attach00");
60 // modifyHTableByModFamily("mmzs:myuser","base",5);
61 //deleteHTable("mmzs:myuser");
62 // iterateNameSpace();
63
64
65
66 }
67
68 /**
69 * 创建表空间
70 * @param namespaceNameStr
71 * @throws IOException
72 */
73 public static void createNamespace(String namespaceNameStr){
74 NamespaceDescriptor.Builder builder=NamespaceDescriptor.create(namespaceNameStr);
75 NamespaceDescriptor nd=builder.build();
76 try {
77 admin.createNamespace(nd);
78 } catch (IOException e) {
79 e.printStackTrace();
80 }
81
82 }
83
84 //删除表空间
85 public static void deleteNamespace(String namespaceNameStr){
86 try {
87 admin.deleteNamespace(namespaceNameStr);
88 } catch (IOException e) {
89 e.printStackTrace();
90 }
91 }
92
93
94 //创建HBase表
95 public static void createHTable(String tabNameStr) throws IOException{
96 //转化为表名
97 TableName tabname=TableName.valueOf(tabNameStr);
98 //根据表名创建表结构
99 HTableDescriptor htd = new HTableDescriptor(tabname);
100 //定义列族名字“base”
101 HColumnDescriptor base = new HColumnDescriptor("base");
102 base.setMaxVersions(3);
103 // 定义列族名字为”extra“
104 HColumnDescriptor extra = new HColumnDescriptor("extra");
105 extra.setMaxVersions(3);
106
107 htd.addFamily(base);
108 htd.addFamily(extra);
109 try {
110 admin.createTable(htd);
111
112 } catch (IOException e) {
113 e.printStackTrace();
114 }
115 }
116
117 /**
118 * 判断某表是否存在
119 * @param tabNameStr
120 */
121 public static void existHTable(String tabNameStr){
122 TableName tabName=TableName.valueOf(tabNameStr);
123 Boolean flag = null;
124 try {
125 flag = admin.tableExists(tabName);
126 } catch (IOException e) {
127 e.printStackTrace();
128 }
129 if (flag) {
130 System.out.println(tabName+"存在");
131 } else {
132 System.out.println(tabName+"不存在");
133 }
134 }
135
136 //增加一个列族
137 public static void modifyHTableByAddFamily(String tabNameStr,String familyName){
138 //转化为表名
139 TableName tabname=TableName.valueOf(tabNameStr);
140 try {
141 //根据表名得到表
142 HTableDescriptor htd = admin.getTableDescriptor(tabname);
143 //新建一个列族
144 HColumnDescriptor attach = new HColumnDescriptor(familyName);
145 attach.setMaxVersions(3);
146 //将新建的列族添加到表中
147 htd.addFamily(attach);
148
149 //修改指定的表
150 admin.modifyTable(tabname, htd);
151 } catch (TableNotFoundException e) {
152 e.printStackTrace();
153 } catch (IOException e) {
154 e.printStackTrace();
155 }
156 }
157
158 //修改列族
159 public static void modifyHTableByModFamily(String tabNameStr,String familyName,Integer max){
160 //转化为表名
161 TableName tabname=TableName.valueOf(tabNameStr);
162 try {
163 //根据表名得到表
164 HTableDescriptor htd = admin.getTableDescriptor(tabname);
165 //得到指定的列族
166 HColumnDescriptor hcd =htd.getFamily(familyName.getBytes());
167 hcd.setMaxVersions(max);
168
169 //修改表中的指定列族
170 admin.modifyColumn(tabname, hcd);
171 } catch (TableNotFoundException e) {
172 e.printStackTrace();
173 } catch (IOException e) {
174 e.printStackTrace();
175 }
176 }
177
178 //删除列族
179 public static void modifyHTableByDelFamily(String tabNameStr,String familyName){
180 TableName tabname=TableName.valueOf(tabNameStr);
181 try {
182 HTableDescriptor htd = admin.getTableDescriptor(tabname);
183 htd.removeFamily(familyName.getBytes());
184
185 //删除表中的指定列族
186 admin.modifyTable(tabname, htd);
187 } catch (TableNotFoundException e) {
188 e.printStackTrace();
189 } catch (IOException e) {
190 e.printStackTrace();
191 }
192 }
193
194
195 //遍历所有的表空间
196 public static void iterateNameSpace(){
197 try {
198 //取出所有的表空间的结构
199 NamespaceDescriptor[] nds=admin.listNamespaceDescriptors();
200 for(NamespaceDescriptor nd:nds){
201 //获取表空间的名字
202 String namespaceName=nd.getName();
203 //获取表空间下所有的表的结构
204 HTableDescriptor[] htds=admin.listTableDescriptorsByNamespace(namespaceName);
205 for(HTableDescriptor htd:htds){
206 //获取表的名字
207 String tabName=htd.getTableName().getNameAsString();
208 //获取表下的所有的列族的结构
209 HColumnDescriptor[] hcds=htd.getColumnFamilies();
210 for(HColumnDescriptor hcd:hcds){
211 //获取列族的名字
212 String familyName=hcd.getNameAsString();
213 //获取列族下的所有键值对
214 Map keyVals=hcd.getValues();
215 //遍历当前列族下的所有键值对
216 Set> entrys=keyVals.entrySet();
217 for(Entry entry:entrys){
218 String key=new String(entry.getKey().get());
219 String value=new String(entry.getValue().get());
220 String info=new StringBuilder(namespaceName)
221 .append("\\t")
222 .append(tabName)
223 .append("\\t")
224 .append(familyName)
225 .append("\\t")
226 .append(key)
227 .append(":")
228 .append(value)
229 .toString();
230
231 //输出结果
232 System.out.println(info);
233 }
234 }
235 }
236 }
237 } catch (IOException e) {
238 e.printStackTrace();
239 }
240
241 }
242
243 //删除HBase表
244 public static void deleteHTable(String tabNameStr) {
245 TableName tableName = TableName.valueOf(tabNameStr);
246
247 try {
248 //先禁用表
249 admin.disableTable(tableName);
250 //在删除表
251 admin.deleteTables(tabNameStr);
252 } catch (IOException e) {
253 e.printStackTrace();
254 }
255 }
256
257 }