hbase查询语句_Hive与HBase的区别及应用场景

定义

       Hive是基于Hadoop的一个数据仓库工具&＃xff0c;可以将结构化的数据文件映射为一张数据库表&＃xff0c;并提供简单的sql查询功能&＃xff0c;默认情况下可以将sql语句转换为MapReduce任务进行运行

       HBase是Hadoop的数据库&＃xff0c;一个分布式、可扩展、大数据的存储

区别

      HiveSql默认情况下会转换成MapReduce进行计算&＃xff0c;所以比较慢&＃xff0c;只能做离线数据分析&＃xff0c;不能做实时查询

      HBase是NoSql数据库&＃xff0c;是物理表&＃xff0c;不是逻辑表&＃xff0c;虽然数据是存储在hdfs&＃xff0c;但是读写速度非常快&＃xff0c;适合做大数据量的即时查询

联系

       这两种大数据框架在整个ETL过程中所处的位置及承载的作用是不一样的&＃xff0c;一般来说&＃xff0c;Hive清洗处理后的数据有可能会被写入HBase&＃xff0c;供需求方实时查询&＃xff0c;所以很多时候&＃xff0c;这两种框架是需要同时使用的&＃xff0c;发挥各自的价值。如下图&＃xff1a;

应用场景

Hive一般是做大数据量的离线数据分析&＃xff0c;比如日志数据分析&＃xff0c;但是不能做实时查询&＃xff0c;因为需要很长时间才能返回结果。

HBase适合用来对数据量很大的明细数据进行实时查询,如订单数据&＃xff0c;用户画像数据

2020大数据面试题真题总结(附答案)

数据建模知多少&＃xff1f;

如何写好一篇数据部门规范文档

如何优化整个数仓的执行时长(比如7点所有任务跑完&＃xff0c;如何优化到5点)

从0-1建设数仓遇到什么问题&＃xff1f;怎么解决的&＃xff1f;

多值维度及交叉维度最佳解决方案

深入探究order by,sort by,distribute by,cluster by

Hive调优&＃xff0c;数据工程师成神之路

数据质量那点事

简述元数据管理

你真的了解全量表,增量表及拉链表吗&＃xff1f;

缓慢变化维(SCD)常见解决方案

全方位解读星型模型,雪花模型及星座模型

Sqoop or Datax

left join(on&where)

ID-Mapping

你们公司还在用SparkOnYan吗&＃xff1f;

大厂高频面试题-连续登录问题

朋友面试数据研发岗遇到的面试题

数据仓库分层架构

简单聊一聊大数据学习之路

朋友面试数据专家岗遇到的面试题

HADOOP快速入门

数仓工程师的利器-HIVE详解