HBase全面解读

HBase简介及其在大数据生态圈的位置

HBase简介

HBase是一个分布式的、面向列的开源数据库

来源于google的Bigtable
HBase在Hadoop之上提供了类似于Bigtable的能力&＃xff08;是基于Hadoop的HDFS进行存储&＃xff09;

HBase不同于一般的关系数据库&＃xff0c;它适合非结构化数据存储

Bigtable是什么
Bigtable是压缩的、高性能的、高可扩展性的、基于Google GFS文件系统的数据库
用于存储大规模的结构化数据
在扩展性和性能方面有很大的优势

什么是面向列的数据库
即列式数据库&＃xff0c;就是把每一列中的数据值放在一起进行存储
对应的就是行式数据库&＃xff08;常见的有关系型数据库&＃xff09;&＃xff1a;把每一行的数据放在一起存储&＃xff0c;存储完了之后就存储下一行的数据
如下图&＃xff1a;

那么列式存储有什么好处呢&＃xff1f;

假如我们使用的是关系型数据库&＃xff0c;现在要去存一堆数据&＃xff0c;这时候我们需要去建立表结构&＃xff0c;然后去维护相关的索引&＃xff0c;如果当数据量过大的时候&＃xff0c;查询起来可能就很慢了。
而列式存储&＃xff0c;每一列都是单独进行存放的&＃xff0c;在读取某列数据的时候速度更快&＃xff0c;降低了IO&＃xff1b;而且每一列的数据类型都是统一的&＃xff0c;这样就易于压缩&＃xff1b;行式存储擅长随机读取的操作&＃xff0c;列式存储擅长于大批量的数据查询。
对于行式和列式的使用&＃xff0c;还是得需要看具体的需求。

为什么HBase适合非结构化数据存储

结构化数据与非结构化数据的概念
结构化数据&＃xff1a;可以用二维表格形式存储的数据
非结构化数据&＃xff1a;图片、文档这些可以认为为非结构化数据
我们可以将这些非结构化数据以二进制的方式存到HBase里面&＃xff0c;这样无论是存储还是查询都是比较方便快捷的&＃xff0c;而且很容易进行扩展

HBase在大数据生态圈中的位置

HBase是Apache基金会顶级项目

HBase基于Hadoop的核心HDFS系统进行数据存储&＃xff0c;类似于Hive
Hive是基于Hadoop的数据仓库工具&＃xff0c;用来对于一段时间内的数据进行分析查询&＃xff0c;而不是进行实时的数据查询

HBase可以存储超大数据并适合用来进行大数据的实时查询

HBase与HDFS

HBase建立在Hadoop文件系统之上&＃xff0c;利用了Hadoop的文件系统的容错能力

HBase提供了对数据的随机实时读/写访问功能

HBase内部使用哈希表&＃xff0c;并存储索引&＃xff0c;可将在HDFS文件中的数据进行快速查找

HBase使用场景

瞬间写入量很大&＃xff0c;常用数据库不好支撑或需要很高成本支撑的场景

数据需要长久保存&＃xff0c;且量会持久增长到比较大的场景

HBase不适用于有join&＃xff0c;多级索引&＃xff0c;表关系复杂的数据模型

HBase数据存储模型

CAP定理

CAP定理就是对于一个分布式计算系统不可能同时满足以下三点&＃xff1a;

一致性&＃xff08;所有节点在同一时间具有相同的数据&＃xff09;
可用性&＃xff08;保证每个请求不管成功或者失败都有响应&＃xff0c;但不保证获取的数据为正确的据&＃xff09;
分区容错性&＃xff08;系统中任意信息的丢失或失败不会影响系统的继续运作&＃xff0c;系统如果不能在某一个时限内达成数据一致性&＃xff0c;就必须在上面两个操作之间做出选择&＃xff09;

那么对于分布式数据系统&＃xff0c;分区容错性是最基本的要求&＃xff0c;否则就失去了存在的意义&＃xff0c;因此需要在一致性和可用性上做出取舍&＃xff1a;在很多情况下会牺牲一致性从而来换取可用性&＃xff0c;比如&＃xff1a;Cassandra就是AP类型的&＃xff0c;当然&＃xff0c;牺牲一致性&＃xff0c;只是要求不像关系型数据库一样&＃xff0c;要求强一致性&＃xff0c;而是要求系统能达到最终一致性。而HBase属于CP类型的&＃xff0c;是强一致性的&＃xff0c;它的每一行有regionserver、rowkey、版本标签等来组合&＃xff0c;从而保证行的一致性

ACID定义

数据库事务正确执行的4个基本要素

原子性&＃xff08;一个事务要么全部执行&＃xff0c;要么全部不执行。如果执行过程中发生了错误&＃xff0c;系统会回滚到最初的状态&＃xff09;

一致性&＃xff08;事务的运行&＃xff0c;不会改变数据库中数据的一致性&＃xff09;

隔离性&＃xff08;2个以上的事务在执行的过程中&＃xff0c;不会出现交错执行的状态&＃xff08;因为这样的话可能会导致数据的不一致&＃xff09;&＃xff09;

持久性&＃xff08;一个事务执行成功之后&＃xff0c;该事务对数据库的更改&＃xff0c;要持久性的保存在数据库当中&＃xff09;

一个支持事务的数据库系统中必须得有这4个特性&＃xff0c;否则在事务的过程当中就无法保证事务的正确性

HBase作为一个NoSQL数据库&＃xff0c;为了性能不支持严格的ACID&＃xff0c;只支持到单个的行

HBase概念

NameSpace&＃xff1a;可以把NameSpace理解为RDBMS的“数据库”
1个NameSpace包含一组表

Table&＃xff1a;表名必须是能用在文件路径里的合法名字
这样做是因为HBase的表是映射成HDFS上相应的文件的&＃xff0c;因此表名必须是合法的路径

Row&＃xff1a;在表里面&＃xff0c;每一行代表着一个数据对象&＃xff0c;每一行都是以一个Row Key来进行唯一标识的&＃xff0c;Row Key并没有什么特定的数据类型&＃xff0c;以二进制的字节来存储

Column&＃xff1a;HBase的列由Column family和Column qualifier组成&＃xff0c;由冒号&＃xff08;:&＃xff09;进行间隔&＃xff1b;比如 family:qualifier

RowKey&＃xff1a;可以唯一标识一行记录&＃xff0c;不可被改变&＃xff1b;改变的唯一方式是删除这个RowKey&＃xff0c;再重新插入

Column Family&＃xff1a;是一些Column的集合&＃xff0c;1个Column Family所包含的所有的Column成员是有着相同的前缀&＃xff1b;在物理上1个Column Family所有的成员是存储在一起的&＃xff0c;存储的优化都是针对Column Family级别的&＃xff1b;这就意味着1个- Column Family的成员都是用相同的方式进行访问的&＃xff1b;在定义HBase表的时候需要提前设置好列族&＃xff0c;表中所有的列都需要组织在列族里面&＃xff1b;列族一旦定义好之后&＃xff0c;就不能轻易的更改了&＃xff0c;因为它会影响到HBase真实的物理存储结构

Column Qualifier&＃xff1a;列族中的数据通过列标识&＃xff08;Column Qualifier&＃xff09;来进行映射&＃xff0c;可以理解为一个键值对&＃xff0c;Column Qualifier就是key

Cell&＃xff1a;每一个RowKey、Column Family、Column Qualifier共同组成的一个单元&＃xff1b;存储在Cell里面就是我们想要保存的数据&＃xff1b;Cell存储的数据没有特定的数据类型&＃xff0c;以二进制字节来进行存储

Timestamp&＃xff1a;每个值都会有一个timestamp&＃xff0c;作为该值特定版本的标识符&＃xff1b;默认HBase中每次插入数据的时候&＃xff0c;都会用timestamp来进行版本标识&＃xff1b;读取数据时&＃xff0c;如果这个时间戳没有被指定&＃xff0c;就默认返回最新的数据&＃xff1b;写入数据时&＃xff0c;如果没有设置时间戳&＃xff0c;默认使用当前的时间戳&＃xff1b;每一个列族的数据的版本都由HBase单独维护&＃xff1b;默认情况下&＃xff0c;HBase会保留3个版本的数据

HBase与传统关系型数据的区别

查询的时候只嫩通过API去查询&＃xff0c;不支持SQL&＃xff0c;所以也默认支持通过RowKey去进行查询
两者的数据排布方式有很大的区别&＃xff1a;

传统的数据库就是行列的组织

而对于HBase这种NoSQL数据库我们可以理解为稀疏的多维的map

每一行都是一个文件&＃xff0c;每一列都是相关的属性

关系型数据库&＃xff1a;

HBase&＃xff1a;

HBase数据模型

我们可以将HBase的存储模型想象成一个大的map

如果想去访问具体的值是层级递进的&＃xff0c;从而最终得到我们想要的值

HBase基础架构

HBase依托于HDFS之上&＃xff1b;整体上又划分为HMaster和RegionServer&＃xff0c;在上层通过Java API提供查询的功能&＃xff1b;通过Zookeeper进行管理

通过上图我们可以发现&＃xff0c;HBase工作的三大模块&＃xff1a;

HMaster

HMaster是HBase主/从集群架构中的中央节点

HMaster用于协调多个RegionServer、检测各个RegionServer的状态、并且平RegionServer之间的负载、同时还负责分配region到RegionServer

region&＃xff1a;region是HBase中存储的最小的单元、是HBase表格的基本单位

HMaster维护表和Region的元数据&＃xff0c;不参与数据的输入/输出过程

HBase本身是支持HA的&＃xff0c;也就是说同时可以有多个HMaster进行运行&＃xff0c;但是只有1个处active状态&＃xff1b;如果处于active的节点失效了&＃xff0c;挂掉了&＃xff0c;其它的HMaster节点就会选举出一个active节点来接管整个HBase集群

RegionServer

维护HMaster分配给他的region&＃xff0c;处理堆这些region的io请求

当用户需要读取数据的时候会连接到对应的RegionServer&＃xff0c;从相关的region中去获取数据负责切分正在运行过程中变的过大的region&＃xff0c;从而保证查询的效率

Zookeeer

Zookeeper是HBase HA的解决方案&＃xff0c;是整个集群的协调器
通过Zookeeper保证了至少有一个HMaster处于active状态

HMaster并不直接参与数据的读写操作&＃xff0c;当我们使用HBase的API的时候&＃xff0c;当我们想HBase的API去读取数据的时候&＃xff0c;我们并不需要知道HMaster的地址、也不需要知道RegionServer的地址&＃xff0c;我们只需要知道Zookeeper集群的地址就可以了

HMaster启动将系统加载到Zookeeper
Zookeeper保存了HBase集群region的信息、meta的信息等等

维护着RegionServer的状态信息&＃xff0c;知道哪些数据需要从哪些RegionServer去读取

HBase伪分布式环境部署

hadoop&＃64;hadoop001:~ $ cd ~/softewarehadoop&＃64;hadoop001:~/software $ tar -zxvf hbase-1.2.4-bin.tar.gz –C ../apphadoop&＃64;hadoop001:~/software $ cd ../apphadoop&＃64;hadoop001:~/app $ cd hbase-1.2.4/confhadoop&＃64;hadoop001:~/app/hbase-1.2.4/conf $ cp ~/app/hadoop-2.7.3/etc/hadoop/hdfs-site.xml .hadoop&＃64;hadoop001:~/app/hbase-1.2.4/conf $ cp ~/app/hadoop-2.7.3/etc/hadoop/core-site.xml .hadoop&＃64;hadoop001:~/app/hbase-1.2.4/conf $ vi hbase-env.sh
export JAVA_HOME&＃61;~/app/jdk1.8.0_161
# export HBASE_MASTER_OPTS&＃61;”$HBASE_MASTER_OPTS –XX:PermSize&＃61;128m –XX:MaxPermSize&＃61;128m”
# export HBASE_REGIONSERVER_OPTS&＃61;”$HBASE_REGIONSERVER_OPTS –XX:PermSize&＃61;128m –XX:
MaxPermSize&＃61;128m”
hadoop&＃64;hadoop001:~/app/hbase-1.2.4/conf $ vi hbase-site.xml
hbase.root.dir hdfs://localhost:9000/hbasehbase.zookeeper.property.dataDir/home/hadoop/hadoop_data/zookeeper hbase.cluster.distributedtrue

hadoop&＃64;hadoop001:~/app/hbase-1.2.4/conf $ cd ../bin
hadoop&＃64;hadoop001:~/app/hbase-1.2.4/bin $ ./start-hbase.sh
hadoop&＃64;hadoop001:~/app/hbase-1.2.4/bin $ jps
13792 HQuorumPeer
13968 HRegionServer
13864 HMaster
12156 NameNode
12556 SecondaryNameNode
14317 Jps
12335 DataNode
hadoop&＃64;hadoop001:~/app/hbase-1.2.4/bin $ ./hbase shell
hbase(main):001:0> status
1 active master, 0 backup master, 1 servers, 0 dead, 2.0000 average load
hadoop&＃64;hadoop001:~/app/hbase-1.2.4/bin $ cd ~/app/hadoop-2.7.3/bin
hadoop&＃64;hadoop001: ~/app/hadoop-2.7.3/bin $ ./hdfs dfs –ls /
Found 2 items
drwxr-xr-x - hadoop supergroup 0 2018-07-15 17:23 /hbase
drwxr-xr-x - hadoop supergroup 0 2018-07-15 17:08 /test