HBase和Hive的区别和适用场景

一、区别&＃xff1a;

1. Hbase&＃xff1a; Hadoop database 的简称&＃xff0c;也就是基于Hadoop数据库&＃xff0c;是一种NoSQL数据库&＃xff0c;主要适用于海量明细数据&＃xff08;十亿、百亿&＃xff09;的随机实时查询&＃xff0c;如日志明细、交易清单、轨迹行为等。
2. Hive&＃xff1a;Hive是Hadoop数据仓库&＃xff0c;严格来说&＃xff0c;不是数据库&＃xff0c;主要是让开发人员能够通过SQL来计算和处理HDFS上的结构化数据&＃xff0c;适用于离线的批量数据计算。

• 通过元数据来描述Hdfs上的结构化文本数据&＃xff0c;通俗点来说&＃xff0c;就是定义一张表来描述HDFS上的结构化文本&＃xff0c;包括各列数据名称&＃xff0c;数据类型是什么等&＃xff0c;方便我们处理数据&＃xff0c;当前很多SQL ON Hadoop的计算引擎均用的是hive的元数据&＃xff0c;如Spark SQL、Impala等&＃xff1b;
• 基于第一点&＃xff0c;通过SQL来处理和计算HDFS的数据&＃xff0c;Hive会将SQL翻译为Mapreduce来处理数据&＃xff1b;

二、关系

在大数据架构中&＃xff0c;Hive和HBase是协作关系&＃xff0c;数据流一般如下图&＃xff1a;

1. 通过ETL工具将数据源抽取到HDFS存储&＃xff1b;
2. 通过Hive清洗、处理和计算原始数据&＃xff1b;
3. HIve清洗处理后的结果&＃xff0c;如果是面向海量数据随机查询场景的可存入Hbase
4. 数据应用从HBase查询数据&＃xff1b;

更为细致的区别如下&＃xff1a;

• Hive中的表是纯逻辑表&＃xff0c;就只是表的定义等&＃xff0c;即表的元数据。Hive本身不存储数据&＃xff0c;它完全依赖HDFS和MapReduce。这样就可以将结构化的数据文件映射为为一张数据库表&＃xff0c;并提供完整的SQL查询功能&＃xff0c;并将SQL语句最终转换为MapReduce任务进行运行。而HBase表是物理表&＃xff0c;适合存放非结构化的数据。
• Hive是基于MapReduce来处理数据,而MapReduce处理数据是基于行的模式&＃xff1b;HBase处理数据是基于列的而不是基于行的模式&＃xff0c;适合海量数据的随机访问。
• HBase的表是疏松的存储的&＃xff0c;因此用户可以给行定义各种不同的列&＃xff1b;而Hive表是稠密型&＃xff0c;即定义多少列&＃xff0c;每一行有存储固定列数的数据。
• Hive使用Hadoop来分析处理数据&＃xff0c;而Hadoop系统是批处理系统&＃xff0c;因此不能保证处理的低迟延问题&＃xff1b;而HBase是近实时系统&＃xff0c;支持实时查询。
• Hive不提供row-level的更新&＃xff0c;它适用于大量append-only数据集&＃xff08;如日志&＃xff09;的批任务处理。而基于HBase的查询&＃xff0c;支持和row-level的更新。
• Hive提供完整的SQL实现&＃xff0c;通常被用来做一些基于历史数据的挖掘、分析。而HBase不适用与有join&＃xff0c;多级索引&＃xff0c;表关系复杂的应用场景。