hive入门（一）什么是hive

1、Hive 基本概念

Hive是基于Hadoop的一个 数据仓库工具&＃xff0c;可以将结构化的数据文件映射
成一张表&＃xff0c;并提供类SQL查询功能&＃xff1b;

Hive是构建在Hadoop 之上的数据仓库&＃xff1b;

使用HQL作为查询接口&＃xff1b;
使用HDFS存储&＃xff1b;
使用MapReduce计算&＃xff1b;

简单来说&＃xff0c;Hive就是在Hadoop上架了一层SQL接口&＃xff0c;可以将SQL翻译成MapReduce去Hadoop上执行&＃xff0c;这样就使得数据开发和分析人员很方便的使用SQL来完成海量数据的统计和分析&＃xff0c;而不必使用编程语言开发MapReduce那么麻烦。

2、hive优缺点

优点&＃xff1a; 入门简单&＃xff0c;避免了去写MapReduce&＃xff0c;减少开发人员的学习成本&＃xff1b;

            统一的元数据管理&＃xff0c;可与impala/spark等共享元数据&＃xff1b;

            灵活性和扩展性比较好&＃xff1a;支持UDF&＃xff0c;自定义存储格式等&＃xff1b;

            适合离线数据处理

缺点&＃xff1a;  Hive的效率比较低&＃xff0c;由于hive是基于hadoop&＃xff0c;Hadoop本身是一个批处理&＃xff0c;高延迟的计算框架

             其计算是通过MapReduce来作业&＃xff0c;具有高延迟性

Hive适合对非实时的、离线的、对响应及时性要求不高的海量数据批量计算&＃xff0c;即查询&＃xff0c;统计分析

3、Hive 架构

  用户接口: Client
   CLI(hive shell)、JDBC/ODBC(java访问hive)&＃xff0c;WEBUI(浏览器访问hive)
  元数据: Metastore
   元数据包括&＃xff1a;表名、表所属的数据库&＃xff08;默认是default&＃xff09;、表的拥有者、列/
   分区字段、表的类型&＃xff08;是否是外部表&＃xff09;、表的数据所在目录等&＃xff1b;
   默认存储在自带的derby数据库中&＃xff0c;推荐使用采用MySQL存储Metastore&＃xff1b;
   Hadoop
   使用HDFS进行存储&＃xff0c;使用MapReduce进行计算&＃xff1b;