Hive概述学习笔记

数据仓库&＃xff1a;

数据仓库&＃xff08;Data Warehouse&＃xff09;是一个面向主题的&＃xff08;Subject Oriented&＃xff09;、集成的&＃xff08;Integrated&＃xff09;、相对稳定的&＃xff08;Non-Volatile&＃xff09;、反映历史变化&＃xff08;Time Variant&＃xff09;的数据集合&＃xff0c;用于支持管理决策。

&＃xff08;水平&＃xff09;横向扩展&＃xff1a;增加节点&＃xff1b;

&＃xff08;垂直&＃xff09;纵向扩展&＃xff1a;增加节点能力&＃xff1b;

Hive是一个构建于Hadoop顶层的数据仓库工具
支持大规模数据存储、分析&＃xff0c;具有良好的可扩展性
某种程度上可以看作是用户编程接口&＃xff0c;本身不存储和处理数据
依赖分布式文件系统HDFS存储数据
依赖分布式并行计算模型MapReduce处理数据
定义了简单的类似SQL 的查询语言——HiveQL
用户可以通过编写的HiveQL语句运行MapReduce任务
可以很容易把原来构建在关系数据库上的数据仓库应用程序移植到Hadoop平台上

是一个可以提供有效、合理、直观组织和使用数据的分析工具

特点&＃xff1a;

批处理海量数据&＃xff1a;

Hive需要把HiveQL语句转换成MapReduce任务进行运行
数据仓库存储的是静态数据&＃xff0c;对静态数据的分析适合采用批处理方式&＃xff0c;不需要快速响应给出结果&＃xff0c;而且数据本身也不会频繁变化

提供适合数据仓库操作的工具&＃xff1a;

Hive本身提供了一系列对数据进行提取、转换、加载&＃xff08;ETL&＃xff09;的工具&＃xff0c;可以存储、查询和分析存储在Hadoop中的大规模数据

这些工具能够很好地满足数据仓库各种应用场景

以上为课件截图和自己注释&＃xff1b;