大数据什么是hbase？hbase的行存储及列存储关系数据库和非关系型数据库的优劣

一、什么是HBASE&＃xff1f;

1. HBASE是Apache提供的基于Hadoop的、分布式的、可扩展的、能够存储大量数据的非关系型数据库
2. 基于Google的论文《BigTable》设计实现
3. 区别于传统数据库的行存储&＃xff0c;HBASE是面向列进行存储&＃xff0c;底层基于Key-Value结构存储
4. HBASE能够提供低延迟的数据查询能力&＃xff0c;其原因是底层充分利用了缓存机制以及复杂的数据结构和算法来实现

二、HBASE的行存储和列存储

1. 行存储在磁盘上的存储是连续的&＃xff1b;列存储在磁盘上的存储是不连续的
2. 从写入性能上对比&＃xff0c;写入次数越少性能越高。因为针对磁盘的每一次写入&＃xff0c;都要发生磁头调度&＃xff0c;产生寻道时间。因为行存储是只写一次而列存储要写多次&＃xff0c;所以行存储在写入性能上更有优势
3. 从读取性能上对比&＃xff1a;
   1. 如果读取的是整表&＃xff0c;则行存储性能较高
   2. 如果是读取指定的列&＃xff0c;则行存储会产生冗余列&＃xff0c;而冗余列的消除是在内存中发生。而列存储则不会存在冗余列
4. 在存储数据的时候&＃xff0c;如果基于行存储&＃xff0c;由于一行数据的字段类型可能不同&＃xff0c;所以会产生频繁的数据类型转换&＃xff1b;如果是基于列存储&＃xff0c;由于同一列数据的类型一般一致&＃xff0c;则可以避免频繁的数据类型转换&＃xff0c;同时可以考虑一些更好的压缩算法对一列数据进行压缩

三、HBASE的特点

1. 分布式架构&＃xff1a;HBASE是通过集群来存储数据&＃xff0c;数据最终要落地到HDFS上
2. 是一种NoSQL的非关系型数据库&＃xff0c;不符合关系型数据库的范式
3. 面向列存储&＃xff0c;底层基于key-value结构
4. 适合存储半结构化、非结构化的数据
5. 适合存储稀疏的数据&＃xff0c;空的数据不占用空间
6. 提供实时的增删改查的能力&＃xff0c;但是不提供严格的事务机制&＃xff0c;只能在行级别提供事务

四、关系型和非关系性数据库优劣

1. 传统关系型数据库的缺陷&＃xff1a;
   1. 高并发读写的瓶颈&＃xff1a;Web 2.0网站要根据用户个性化信息来实时生成动态页面和提供动态信息&＃xff0c;所以基本上无法使用静态化技术&＃xff0c;因此数据库并发负载非常高&＃xff0c;可能峰值会达到每秒上万次读写请求。关系型数据库应付上万次SQL查询还勉强顶得住&＃xff0c;但是应付上万次SQL写数据请求&＃xff0c;硬盘I/O却无法承受。其实对于普通的BBS网站&＃xff0c;往往也存在相对高并发写请求的需求&＃xff0c;例如&＃xff0c;人人网的实时统计在线用户状态&＃xff0c;记录热门帖子的点击次数&＃xff0c;投票计数等&＃xff0c;这是一个相当普遍的业务需求
   2. 可扩展性的限制&＃xff1a;在基于Web的架构中&＃xff0c;数据库是最难以进行横向扩展的&＃xff0c;当应用系统的用户量和访问量与日俱增时&＃xff0c;数据库系统却无法像Web Server和App Server那样简单地通过添加更多的硬件和服务节点来扩展性能和负载能力。对于很多需要提供24小时不间断服务的网站来说&＃xff0c;对数据库系统进行升级和扩展是非常痛苦的事情&＃xff0c;往往需要停机维护和数据迁移&＃xff0c;而不能通过横向添加节点的方式实现无缝扩展
   3. 事务一致性的负面影响&＃xff1a;事务执行的结果必须是使数据库从一个一致性状态变到另一个一致性状态。保证数据库一致性是指当事务完成时&＃xff0c;必须使所有数据都具有一致的状态。在关系型数据库中&＃xff0c;所有的规则必须应用到事务的修改上&＃xff0c;以便维护所有数据的完整性&＃xff0c;这随之而来的是性能的大幅度下降。很多Web系统并不需要严格的数据库事务&＃xff0c;对读一致性的要求很低&＃xff0c;有些场合对写一致性要求也不高。因此数据库事务管理成了高负载下的一个沉重负担
   4. 复杂SQL查询的弱化&＃xff1a;任何大数据量的Web系统都非常忌讳几个大表间的关联查询&＃xff0c;以及复杂的数据分析类型的SQL查询&＃xff0c;特别是SNS类型的网站&＃xff0c;从需求以及产品设计角度就避免了这种情况的产生。更多的情况往往只是单表的主键查询&＃xff0c;以及单表的简单条件分页查询&＃xff0c;SQL的功能被极大地弱化了&＃xff0c;所以这部分功能不能得到充分发挥
2. NoSQL数据库的优势:
   1. 扩展性强&＃xff1a;NoSQL数据库种类繁多&＃xff0c;但是一个共同的特点就是去掉关系型数据库的关系特性&＃xff0c;数据之间是弱关系&＃xff0c;非常容易扩展。一般来说&＃xff0c;NoSql数据库的数据结构都是Key-Value字典式存储结构。例如&＃xff0c;HBase、Cassandra等系统的水平扩展性能非常优越&＃xff0c;非常容易实现支撑数据从TB到PB级别的过渡
   2. 并发性能好&＃xff1a;NoSQL数据库具有非常良好的读写性能&＃xff0c;尤其在大数据量下&＃xff0c;同样表现优秀。当然这需要有优秀的数据结构和算法做支撑
   3. 数据模型灵活&＃xff1a;NoSQL无须事先为要存储的数据建立字段&＃xff0c;随时可以存储自定义的数据格式。而在关系型数据库中&＃xff0c;增删字段是一件非常麻烦的事情。对于数据量非常大的表&＃xff0c;增加字段简直就是一场噩梦。NoSQL允许使用者随时随地添加字段&＃xff0c;并且字段类型可以是任意格式。