大数据之HBase理论知识

——HBase 简介

定义

HBase 是一种 分布式、可扩展、支持海量数据存储的 NoSQL 数据库

数据模型

逻辑上&＃xff0c;HBase 的数据模型同关系型数据库很类似&＃xff0c;数据存储在一张表中&＃xff0c;有行有列。但从底层物理存储结构&＃xff08;K-V&＃xff09;来看&＃xff0c;HBase 更像是一个 multi-dimensional-map&＃xff08;多维 map&＃xff09;

• 逻辑结构
  
• 物理存储结构
  - 名词解释
  • Name Space&＃xff1a;命名空间&＃xff0c;类似于关系型数据库的 database 概念&＃xff0c;每个命名空间下有多个表。HBase 有两个自带的命名空间&＃xff0c;分别是 hbase 和 default&＃xff0c;hbase 中存放的是 HBase 内置的表&＃xff0c;default 表是用户默认使用的命名空间
  • Region&＃xff1a;类似于关系型数据库的表概念。不同的是&＃xff0c;HBase 定义代表时只需要声明列族即可&＃xff0c;不需要声明具体的列。这意味着&＃xff0c;往 HBase 写入数据时&＃xff0c;字段可以动态、按需指定。因此&＃xff0c;和关系型数据库相比&＃xff0c;HBase 能够轻松应对字段变更的场景
  • Row&＃xff1a;HBase 表中的每行数据都由一个 RowKey 和多个 Column 组成&＃xff0c;数据是按照 RowKey 的字典顺序存储的&＃xff0c;并且查询数据时只能根据 RowKey 进行检索&＃xff0c;所有 RowKey 的设计十分重要
  • Column&＃xff1a;HBase 中的每个列都由 Column Family 列族 和 Column Qualifier 列限定符 进行限定&＃xff0c;例如info:name&＃xff0c;info:age。建表时&＃xff0c;只需指明列族&＃xff0c;而列限定符无需预先定义
  • Time Stamp&＃xff1a;用于标识数据的不同版本&＃xff0c;每条数据写入时&＃xff0c;如果不指定时间戳&＃xff0c;系统会自动为其加上该字段&＃xff0c;其值为写入 HBase 的时间
  • Cell&＃xff1a;由 {rowkey,column Family:column Qualifier,time Stamp} 唯一确定的单元。cell中的数据是没有类型的&＃xff0c;全部是字节码形式存储

基本架构

Zookeeper的作用&＃xff1a; HBase 通过 Zookeeper 来做 master 的高可用、RegionServer 的监控、元数据的入口以及集群配置的维护等工作

——HBase进阶

详细架构图

• StoreFile&＃xff1a;保存实际数据的物理文件&＃xff0c;StoreFile 以 HFile 的形式存储在 HDFS 上。每个 Store 会有一个或者多个 StoreFile&＃xff08;HFile&＃xff09;&＃xff0c;数据在每个 StoreFile 中都是有序的
• MemStore&＃xff1a;写缓存&＃xff0c;由于 HFile 中的数据要求是有序的&＃xff0c;所以数据是先存储在 MemStore 中&＃xff0c;排好序后&＃xff0c;等到达刷写时机才会刷写到 HFile&＃xff0c;每次刷写都会形成一个新的 HFile
• WAL&＃xff1a;由于数据要经 MemStore 排序后才能刷写到 HFile&＃xff0c;但把数据保存在内存中会有很高的概率导致数据丢失&＃xff0c;为了解决这个问题&＃xff0c;数据会先写在一个叫做 Write-Ahead logfile 的文件中&＃xff0c;然后再写入 MemStore 中。所以在系统出现故障的时候&＃xff0c;数据可以通过这个日志文件重建

写数据流程

1. Client 先访问zookeeper &＃xff0c;获取 hbase:meta 表位于哪个 Region server
2. 访问对应的 Region server &＃xff0c;获取 hbase:meta 表&＃xff0c;根据读请求的 namespace:table/rowkey&＃xff0c;查询出目标数据位于哪个 Region server 中的哪个 Region 中。并将该 table 的 region 信息以及 meta 表的位置信息缓存在客户端的 meta cache 中&＃xff0c;方便下次访问
3. 与目标 Region server 进行通讯
4. 将数据顺序写入&＃xff08;追加&＃xff09;到 WAL
5. 将数据写入对应的 MemStore&＃xff0c;数据会在 MemStore 进行排序
6. 向客户端发送 ack
7. 等达到 MemStore 的刷写时机后&＃xff0c;将数据写到 HFile

MemStore Flush

刷写时机

1. 当某个 memstore 的大小达到了 hbase.hregion.memstore.flush.size&＃xff08;默认值128M&＃xff09;&＃xff0c;其所在 region 的所有 memstore 都会刷写。当 memstore 的大小达到了 hbase.hregion.memstore.flush.size * hbase.hregion.memstore.block.multiplire&＃xff08;默认值4&＃xff09;时&＃xff0c;会阻止继续往该 memstore 写数据
2. 当 regionserver 中 memstore 的总大小达到 java_heapsize * hbase.regionserver.global.memstrore.size&＃xff08;默认值0.4&＃xff09;* hbase.regionserver.global.memstore.size.lower.limit&＃xff08;默认值0.95&＃xff09;&＃xff0c;region 会按照其所有 memstore 的大小顺序&＃xff08;由大到小&＃xff09;依次进行刷写&＃xff0c;直到 regionserver 中所有memstore 的总大小的减小到上述值以下。当 regionserver 中 memstore 的总大小达到 java_heapsize * hbase.regionserver.global.memstrore.size&＃xff08;默认值0.4&＃xff09;时&＃xff0c;会阻止继续往所有的 memstore 写数据
3. 到达自动刷写的时间&＃xff0c;也会触发 memstore flush 。自动刷新的时间间隔由该属性进行配置 hbase.regionserver.optionalcacheflushinterval&＃xff08;默认1小时&＃xff09;
4. 当 WAL 文件的数量超过 hbase.regionserver.max.logs&＃xff0c;region 会按照时间顺序依次进行刷写&＃xff0c;直到 WAL 文件数量减少到 hbase.regionserver.max.log 以下&＃xff08;该属性名已经废弃&＃xff0c;现无需手动设置&＃xff0c;最大值为32&＃xff09;

读数据流程

1. Client 先访问zookeeper &＃xff0c;获取 hbase:meta 表位于哪个 Region server
2. 访问对应的 Region server &＃xff0c;获取 hbase:meta 表&＃xff0c;根据读请求的 namespace:table/rowkey&＃xff0c;查询出目标数据位于哪个 Region server 中的哪个 Region 中。并将该 table 的 region 信息以及 meta 表的位置信息缓存在客户端的 meta cache 中&＃xff0c;方便下次访问
3. 与目标 Region server 进行通讯
4. 分别在 Block Cache&＃xff08;读缓存&＃xff09;&＃xff0c;MemStore 和 StoreFile&＃xff08;HFile&＃xff09;中查询目标数据&＃xff0c;并将查询到的所有数据进行合并&＃xff0c;此处所有数据是指同一条的数据的不同版本或者不同的类型
5. 将从文件中查询到的数据块&＃xff08;Block&＃xff0c;HFile 数据存储单元&＃xff0c;默认大小为64KB&＃xff09;缓存到 Block Cache
6. 将合并后的最终结果返回给客户端

StoreFile Compaction

• 由于 memstore 每次刷写都会生成一个新的 HFile&＃xff0c;且同一个字段的不同版本和不同类型有可能会分布在不同的 HFile 中&＃xff0c;因此查询时需要遍历所有的 HFile&＃xff0c;为了减少 HFile 的个数&＃xff0c;以及清理掉过期和删除的数据&＃xff0c;会进行 StoreFile Compaction
• Compaction 分为两种&＃xff0c;分别是 Minor Compaction 和 Major Compaction。Minor Compaction 会将临近的若干个较小的 HFile 合并成一个大的的 HFile &＃xff0c;但不会清理过期和删除的数据。Major Compaction 会将一个 Store 下的所有的 HFile 合并成一个大的 HFile&＃xff0c;并且会清理掉过期和删除的数据

Region Split

默认情况下&＃xff0c;每个 Table 起初只有一个 Region&＃xff0c;随着数据的不断写入&＃xff0c;Region 会自动进行拆分。刚拆分时&＃xff0c;两个子 Region 都位于当前的 Region Server&＃xff0c;但处于负载均衡的考虑&＃xff0c;HMaster 有可能会将某个 Region 转移给其他的 Region Server。

Region Split 时机&＃xff1a;

1. 当1个 Region 中的某个 Store 下所有 StoreFile 的总大小超过 Min(R^2 * hbase.hregion.memstrore.flush.size,hbase.hregion.max.fileszize)&＃xff0c;该 Region 就会进行拆分&＃xff0c;其中 R 为当前 Region Server 中属于该 Table 的个数&＃xff08;0.94版本之后&＃xff09;
2. 刚1个 Region 中的某个 Store 下的所有 StoreFile 的总大小超过 hbase.hregion.max.filesize&＃xff0c;该 Region 就会进行拆分&＃xff08;0.94版本之前&＃xff09;

——HBase & Hive

两者之间对比

Hive

1. 数据仓库&＃xff1a;Hive 的本质其实就是相当于将 HDFS 中已经存储的文件在 Mysql 中做了一个双射关系&＃xff0c;以方便使用 HQL 去管理查询
2. 用于数据分析、清晰&＃xff1a;Hive 适用于离线的数据分析和清洗&＃xff0c;延迟较高
3. 基于 HDFS、MapReduce&＃xff1a;Hive 存储的数据依旧在 DataNode 上&＃xff0c;编写 HQL 语句终将是转换为 MapReduce 代码执行

HBase

1. 数据库&＃xff1a;是一种面向列族存储的非关系型数据库
2. 用于存储结构化和非结构化的数据&＃xff1a;适用于单表非关系型数据的存储&＃xff0c;不适合做关联查询&＃xff0c;类似于JOIN等操作
3. 基于 HDFS&＃xff1a;数据持久化存储的体现形式是 HFile&＃xff0c;存放在 DataNode 中&＃xff0c;被 RegionServer 以 region 的形式进行管理
4. 延迟较低&＃xff0c;接入在线业务使用&＃xff1a;面对大量的企业数据&＃xff0c;HBase 可以直线单表大量数据的存储&＃xff0c;同时提供了高效的数据访问速度