hbase安装包_HBase集成Phoenix构建二级索引实践

Phoenix 在 HBase 生态系统中占据了非常重要的地位&＃xff0c;本文主要包括以下几方面内容&＃xff1a;

• Phoenix 介绍

• CDH HBase 集成 Phoenix

• 使用 Phoenix 创建 HBase 二级索引

• Phoenix 索引类型介绍

Phoenix 介绍

Phoenix 是构建在 HBase 之上的高效的 SQL 引擎&＃xff0c;同时具备 OLTP 和 OLAP 能力&＃xff0c;作为 HBase 生态系统中非常重要的组件&＃xff0c;重点的特性包括&＃xff1a;

• 底层存储基于 HBase&＃xff0c;并提供一套标准的 JDBC API 作为 HBase SQL 层&＃xff1b;

• 支持标准 SQL&＃xff0c;以及完整 ACID 事务特性&＃xff1b;

• 为 HBase 提供了二级索引解决方案&＃xff1b;

此外&＃xff0c;Phoenix 还和很多其他组件做了集成&＃xff0c;比如 Spark、Hive、Flume 等。Phoenix 与 HBase 集成&＃xff0c;其最大的特点就是为 HBase 提供了二级索引&＃xff0c;后文会重点介绍。下图是 Phoenix 的基本架构&＃xff1a;

CDH HBase 集成 Phoenix

版本说明

• http://phoenix.apache.org/download.html&＃xff1b;

• 高版本 CDH 安装 Phoenix 可以参考&＃xff1a;产品 | Cloudera正式宣布在CDH中支持Apache Phoenix

• http://archive.cloudera.com/cloudera-labs/phoenix/parcels/

• 此外&＃xff0c;用户还可以自行编译适合自己的Phoenix版本。

安装

首先到官网下载适合自己环境的 Parcel 安装包&＃xff0c;并发布到 httpd 服务&＃xff1a;

[root&＃64;hadoop-01 /var/www/html/phoenix/4.14.0]$ ll
total 300524
-rw-r--r-- 1 root root 307722240 Feb 3 19:30 APACHE_PHOENIX-4.14.0-cdh5.11.2.p0.3-el7.parcel
-rw-r--r-- 1 root root 178 Feb 3 19:28 APACHE_PHOENIX-4.14.0-cdh5.11.2.p0.3-el7.parcel.sha512
-rw-r--r-- 1 root root 5081 Feb 3 19:30 manifest.json


(可左右滑动)

配置

安装完 Phoenix 后&＃xff0c;需要做一些必要配置才能使用 Phoenix&＃xff0c;CDH HBase 配置界面配置如下两处&＃xff1a;

1. hbase-site.xml 的 HBase 服务高级配置代码段(安全阀)

2. hbase-site.xml 的 HBase 客户端高级配置代码段(安全阀)

添加如下参数配置&＃xff1a;


hbase.regionserver.wal.codecorg.apache.hadoop.hbase.regionserver.wal.IndexedWALEditCodec


phoenix.schema.isNamespaceMappingEnabledtrue
phoenix.schema.mapSystemTablesToNamespacetrue


(可左右滑动)

然后&＃xff0c;按照提示重启HBase服务并重新部署客户端配置即可。

命令行使用

CDH 安装后环境变量都已经配置好了&＃xff0c;可以直接使用 phoenix-sqlline.py&＃xff0c;如下&＃xff1a;

[root&＃64;hadoop-01 ~]$ phoenix-
phoenix-performance.py phoenix-psql.py phoenix-sqlline.py phoenix-utils.py

(可左右滑动)

执行 phoenix-sqlline.py 初始化使用 Phoenix&＃xff1a;

然后我们查看下 HBase 中 Phoenix 的系统表&＃xff1a;

hbase(main):003:0> list
SYSTEM:CATALOG
SYSTEM:FUNCTION
SYSTEM:LOG
SYSTEM:MUTEX
SYSTEM:SEQUENCE
SYSTEM:STATS

(可左右滑动)

接下来看一下如何在 Phoenix 中创建 HBase 表的二级索引。

使用 Phoenix 创建 HBase 二级索引

映射已存在的 HBase 表

当前 HBase 中存在一张操作日志表 ns1000:operate_log&＃xff0c;数据量近280w&＃xff0c;包括14个字段&＃xff0c;如下&＃xff1a;

hbase(main):017:0> count &＃39;ns1000:operate_log&＃39;, INTERVAL &＃61;> 100000
...
2799827 row(s) in 173.4200 seconds

&＃61;> 2799827
hbase(main):018:0> scan &＃39;ns1000:operate_log&＃39;, LIMIT &＃61;> 1
ROW COLUMN&＃43;CELL
x00x00x12x12x00x00x00x0D1538216707720 column&＃61;f:appVersion, timestamp&＃61;1538216707892, value&＃61;2.22.0
x00x00x12x12x00x00x00x0D1538216707720 column&＃61;f:area, timestamp&＃61;1538216707892, value&＃61;xE6xB1x9FxE5x8Cx97xE5x8CxBA
x00x00x12x12x00x00x00x0D1538216707720 column&＃61;f:authId, timestamp&＃61;1538216707892, value&＃61;
x00x00x12x12x00x00x00x0D1538216707720 column&＃61;f:city, timestamp&＃61;1538216707892, value&＃61;xE9x87x8DxE5xBAx86xE5xB8x82
x00x00x12x12x00x00x00x0D1538216707720 column&＃61;f:imei, timestamp&＃61;1538216707892, value&＃61;AF36147F-8106-47F0-B58F-A3FB75DBE325
x00x00x12x12x00x00x00x0D1538216707720 column&＃61;f:lat, timestamp&＃61;1538216707892, value&＃61;29.577587127685547
x00x00x12x12x00x00x00x0D1538216707720 column&＃61;f:lon, timestamp&＃61;1538216707892, value&＃61;106.50493621826172
x00x00x12x12x00x00x00x0D1538216707720 column&＃61;f:memberType, timestamp&＃61;1538216707892, value&＃61;0
x00x00x12x12x00x00x00x0D1538216707720 column&＃61;f:mobileManufacturer, timestamp&＃61;1538216707892, value&＃61;iPhone
x00x00x12x12x00x00x00x0D1538216707720 column&＃61;f:mobileModel, timestamp&＃61;1538216707892, value&＃61;iPhone 6 Plus
x00x00x12x12x00x00x00x0D1538216707720 column&＃61;f:province, timestamp&＃61;1538216707892, value&＃61;xE9x87x8DxE5xBAx86xE5xB8x82
x00x00x12x12x00x00x00x0D1538216707720 column&＃61;f:systemType, timestamp&＃61;1538216707892, value&＃61;1
x00x00x12x12x00x00x00x0D1538216707720 column&＃61;f:systemVersion, timestamp&＃61;1538216707892, value&＃61;12.0
x00x00x12x12x00x00x00x0D1538216707720 column&＃61;f:time, timestamp&＃61;1538216707892, value&＃61;1538216707720
1 row(s) in 0.0460 seconds

(可左右滑动)

2. Phoenix 中创建与 namespace 名称一致的 schema

0: jdbc:phoenix:> create schema if not exists "ns1000";
No rows affected (0.012 seconds)

(可左右滑动)

3. Phoenix 中创建视图&＃xff0c;并查询数据及条数

0: jdbc:phoenix:> use "ns1000";
No rows affected (0.021 seconds)
0: jdbc:phoenix:> create view "operate_log"(
. . . . . . . . > "pk" varchar primary key,
. . . . . . . . > "f"."appVersion" varchar,
. . . . . . . . > "f"."city" varchar,
. . . . . . . . > "f"."lat" varchar,
. . . . . . . . > "f"."lon" varchar,
. . . . . . . . > "f"."memberType" varchar,
. . . . . . . . > "f"."time" varchar);
No rows affected (6.555 seconds)
0: jdbc:phoenix:> !tables
&＃43;------------&＃43;--------------&＃43;--------------&＃43;---------------&＃43;----------&＃43;------------&＃43;----------------------------&＃43;-----------------&＃43;--------------&＃43;-----------------&＃43;---------------&＃43;---------------&＃43;-----------------&＃43;------------&＃43;--------&＃43;
| TABLE_CAT | TABLE_SCHEM | TABLE_NAME | TABLE_TYPE | REMARKS | TYPE_NAME | SELF_REFERENCING_COL_NAME | REF_GENERATION | INDEX_STATE | IMMUTABLE_ROWS | SALT_BUCKETS | MULTI_TENANT | VIEW_STATEMENT | VIEW_TYPE | INDEX_ |
&＃43;------------&＃43;--------------&＃43;--------------&＃43;---------------&＃43;----------&＃43;------------&＃43;----------------------------&＃43;-----------------&＃43;--------------&＃43;-----------------&＃43;---------------&＃43;---------------&＃43;-----------------&＃43;------------&＃43;--------&＃43;
| | SYSTEM | CATALOG | SYSTEM TABLE | | | | | | false | | false | | | |
| | SYSTEM | FUNCTION | SYSTEM TABLE | | | | | | false | | false | | | |
| | SYSTEM | LOG | SYSTEM TABLE | | | | | | true | 32 | false | | | |
| | SYSTEM | SEQUENCE | SYSTEM TABLE | | | | | | false | | false | | | |
| | SYSTEM | STATS | SYSTEM TABLE | | | | | | false | | false | | | |
| | ns1000 | operate_log | VIEW | | | | | | false | | false | | MAPPED | |
&＃43;------------&＃43;--------------&＃43;--------------&＃43;---------------&＃43;----------&＃43;------------&＃43;----------------------------&＃43;-----------------&＃43;--------------&＃43;-----------------&＃43;---------------&＃43;---------------&＃43;-----------------&＃43;------------&＃43;--------&＃43;
0: jdbc:phoenix:> !columns "operate_log";
&＃43;------------&＃43;--------------&＃43;--------------&＃43;--------------&＃43;------------&＃43;------------&＃43;--------------&＃43;----------------&＃43;-----------------&＃43;-----------------&＃43;-----------&＃43;----------&＃43;-------------&＃43;----------------&＃43;-------------------&＃43;--------&＃43;
| TABLE_CAT | TABLE_SCHEM | TABLE_NAME | COLUMN_NAME | DATA_TYPE | TYPE_NAME | COLUMN_SIZE | BUFFER_LENGTH | DECIMAL_DIGITS | NUM_PREC_RADIX | ABLE | REMARKS | COLUMN_DEF | SQL_DATA_TYPE | SQL_DATETIME_SUB | CHAR_O |
&＃43;------------&＃43;--------------&＃43;--------------&＃43;--------------&＃43;------------&＃43;------------&＃43;--------------&＃43;----------------&＃43;-----------------&＃43;-----------------&＃43;-----------&＃43;----------&＃43;-------------&＃43;----------------&＃43;-------------------&＃43;--------&＃43;
| | ns1000 | operate_log | pk | 12 | VARCHAR | | | | | 0 | | | | | |
| | ns1000 | operate_log | appVersion | 12 | VARCHAR | | | | | 1 | | | | | |
| | ns1000 | operate_log | city | 12 | VARCHAR | | | | | 1 | | | | | |
| | ns1000 | operate_log | lat | 12 | VARCHAR | | | | | 1 | | | | | |
| | ns1000 | operate_log | lon | 12 | VARCHAR | | | | | 1 | | | | | |
| | ns1000 | operate_log | memberType | 12 | VARCHAR | | | | | 1 | | | | | |
| | ns1000 | operate_log | time | 12 | VARCHAR | | | | | 1 | | | | | |
&＃43;------------&＃43;--------------&＃43;--------------&＃43;--------------&＃43;------------&＃43;------------&＃43;--------------&＃43;----------------&＃43;-----------------&＃43;-----------------&＃43;-----------&＃43;----------&＃43;-------------&＃43;----------------&＃43;-------------------&＃43;--------&＃43;
0: jdbc:phoenix:> select * from "operate_log" limit 1;
&＃43;------------------------&＃43;-------------&＃43;-------&＃43;---------------------&＃43;---------------------&＃43;-------------&＃43;----------------&＃43;
| pk | appVersion | city | lat | lon | memberType | time |
&＃43;------------------------&＃43;-------------&＃43;-------&＃43;---------------------&＃43;---------------------&＃43;-------------&＃43;----------------&＃43;
1538216707720 | 2.22.0 | 重庆市 | 29.577587127685547 | 106.50493621826172 | 0 | 1538216707720 |
&＃43;------------------------&＃43;-------------&＃43;-------&＃43;---------------------&＃43;---------------------&＃43;-------------&＃43;----------------&＃43;
1 row selected (0.115 seconds)
0: jdbc:phoenix:> select count(*) from "operate_log";
&＃43;-----------&＃43;
| COUNT(1) |
&＃43;-----------&＃43;
| 2799827 |
&＃43;-----------&＃43;
1 row selected (3.848 seconds)

(可左右滑动)

0: jdbc:phoenix:> select count(*) from "operate_log" where "f"."time" between &＃39;1538216707720&＃39; and &＃39;1538223834000&＃39;;
&＃43;-----------&＃43;
| COUNT(1) |
&＃43;-----------&＃43;
| 5883 |
&＃43;-----------&＃43;
1 row selected (5.241 seconds)

(可左右滑动)

这种情况下&＃xff0c;基本上查询都在 5s 左右。

这里还要有两点说明&＃xff1a;

• Phoenix 会自动将表名、字段名都转成大写&＃xff0c;如果要区分大小写使用双引号括起来即可。

• 这里我们创建的是视图&＃xff0c;相当于外部表&＃xff0c;也可以 create table 创建表&＃xff0c;视图的特点是删除时不会删除 HBase 表&＃xff0c;但是视图创建的二级索引不会自动更新&＃xff0c;如果要实时更新的话&＃xff0c;只能使用 create table&＃xff0c;然后通过 Phoenix jdbc 的方式写入数据&＃xff0c;只有通过 Phoenix 写&＃xff0c;然后用 Phoenix 实现的协处理器才能实现实时更新的索引。

使用 Phoenix 创建二级索引

0: jdbc:phoenix:> create index index_operate_log_time on "operate_log" ("f"."time");
2,799,827 rows affected (95.814 seconds)

(可左右滑动)

2. 再次根据 time 字段做范围查询

00: jdbc:phoenix:> select count(*) from "operate_log" where "f"."time" between &＃39;1538216707720&＃39; and &＃39;1538223834000&＃39;;
&＃43;-----------&＃43;
| COUNT(1) |
&＃43;-----------&＃43;
| 5883 |
&＃43;-----------&＃43;
1 row selected (0.049 seconds)

(可左右滑动)

这里基本上查询都在 50 ms 左右。这就是通过 Phoenix 的二级索引带来的性能提升。

Phoenix 索引类型介绍

Phoenix 提供了多种索引类型&＃xff0c;包括覆盖索引、函数索引&＃xff0c;以及全局索引与本地索引等&＃xff0c;具体介绍如下。

Covered Indexes(覆盖索引)

覆盖索引是在索引表中直接存储某些常用字段&＃xff0c;当查询时所有字段仅涉及索引表中包含的字段时&＃xff0c;则无需再在基于 rowkey 索引的数据表中查询&＃xff0c;提高了查询的效率。

比如&＃xff0c;我们在operate_log 表 "f"."time" 列上创建一个索引&＃xff0c;并在索引中包含 "f"."lat