deletehive_Hive的基本概念和常用命令

一、概念&＃xff1a;

1、结构化和非结构化数据

结构化数据&＃xff1a;固有的键值对

非结构数据&＃xff1a;没有固定的键值对&＃xff0c;没有明确的映射关系

所以就可以理解下面这句话&＃xff1a;hive是由facebook开源用于解决海量结构化日志的数据统计项目。

2、Hive是基于Hadoop文件系统上的数据仓库架构&＃xff0c;它为数据仓库的管理提供了许多功能&＃xff1a;数据ETL(抽取、转换和加载)、数据存储管理和大型数据集的查询和分析能力。

RDBMS(关系型数据库)

OLTP(联机事务处理过程)&＃xff1a;一组事务同时去执行&＃xff0c;低延迟&＃xff0c;查询为主。

ACID(原子性、一致性、隔离性、持久性)

OLAP(联机分析处理过程)&＃xff1a;以数据仓库为基础&＃xff0c;高延迟&＃xff0c;分析为主。

3、Hive定义了类SQL语言-Hive QL(HQL),允许用户进行和SQL相似的操作&＃xff0c;它可以将结构化的数据文件映射为一张数据表&＃xff0c;并提供简单的SQL查询功能&＃xff0c;同时允许开发人员方便的使用MR操作&＃xff0c;可以将SQL语言转换为MR任务运行。

二、官网&＃xff1a;

三、ETL

E&＃xff1a;Extract 数据抽取

T&＃xff1a;Transform 数据转换

L&＃xff1a;Load数据装载

ETL是将业务系统的数据经过抽取、清洗转换之后&＃xff0c;装载到数据仓库的过程。目的是将分散、零乱、标准不统一的数据整合到一起。例如项目日志信息、数据爬虫信息等。就可以提供决策分析依据了。

数据抽取&＃xff1a;把不同的数据源数据抓取过来&＃xff0c;存到某个地方。

数据清洗&＃xff1a;过滤哪些不符合要求的数据或修正数据之后再进行抽取。不完整数据&＃xff1a;比如信息缺失。错误数据&＃xff1a;日期格式不正确、日期越界、字符串出现空格等重复数据&＃xff1a;需要去重等

数据转换&＃xff1a;不一致的数据进行转换&＃xff0c;比如一个职工有职工号和人事号&＃xff0c;学生有身份证号和学号等

常见ETL工具&＃xff1a;Oracle的OWB、SQL Server的DTS、SSIS服务、Informatic等等&＃xff0c;工具可以快速建立起ETL工程&＃xff0c;屏蔽了复杂的编码任务、提高了速度&＃xff0c;降低了难度&＃xff0c;但是缺少灵活性。

SQL方法优点是灵活&＃xff0c;提高了ETL效率&＃xff0c;但是编码复杂&＃xff0c;对技术要求高。

Hive结合了前面两种的优点。

四、安装Hive

可参考之前安装Hive的文档教程《CentOS6.5安装Hive-1.2.2》。

也可以进入官网参考

找到Getting Started Guide

选择Running Hive

五、常用命令

安装完成后我们进入hive

在官网上有命令使用的文档

文档内容

我们使用一些命令&＃xff1a;

查看数据库show databases;

创建数据库show database 库名

可以查看HDFS上

使用数据库use 库名

创建表的数据类型&＃xff0c;我们可以查看官网

就可以找到所有的数据类型了

创建表的时候&＃xff0c;如果字段是关键字&＃xff0c;则需要加反飘号&＃96;(Tab键上面)。

那关键字有哪些&＃xff1f;

比如

报错

FAILED: ParseException line 2:0 Failed to recognize predicate &＃39;date&＃39;. Failed rule: &＃39;identifier&＃39; in column specification

所以我们改为&＃xff1a;

但是我们依然不建议使用关键字&＃xff0c;尽量去避免&＃xff0c;不要使用。我们修改下字段名

这其中有两个小细节&＃xff1a;第一CTRL&＃43;L清屏 第二从记事本复制表语句的时候前面不要有空格,否则会报错&＃xff0c;Display all 528 possibilities? (y or n)。

我们再看数据加载

我们尽量不要使用insert、update、delete&＃xff0c;我们可以使用load,所以我们点击load

LOAD DATA [LOCAL] INPATH &＃39;filepath&＃39; [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1&＃61;val1, partcol2&＃61;val2 ...)]

如果加Local表示Linux本地的数据文件

如果不加Local,表示HDFS上的数据文件

我们在Linux上准备一个数据文件

我们先加载数据

load data local inpath &＃39;/data/hivetest/stu_info_local&＃39; into table gjz_error;

我们查看数据&＃xff0c;数据全部是NULL&＃xff0c;因为hive默认的分隔符是^A&＃xff0c;也就是001&＃xff0c;而我们的分隔符是一个tab键。

我们把分隔符改为^A(先按Ctrl&＃43;V&＃xff0c;再按Ctrl&＃43;A)

然后我们重新导入数据&＃xff0c;发现数据已经导入了

我们再将数据文件上传到HDFS上

创建数据表

我们导入数据

此时我们查看HDFS上&＃xff0c;发现原来的数据也不在了

但是数据已经加载到hive了

另外数据文件已经在新的目录下了

所以不加local是剪切移动的过程&＃xff0c;而加local是复制的过程。

前面的问题&＃xff1a;如果我们的数据不是默认的分隔符&＃xff0c;即不是^A该怎么办呢&＃xff1f;

我们准备文件

准备数据&＃xff0c;将数据分隔符改为

我们看官网上这个部分

我们重新建表&＃xff0c;加入数据

create table hive_table_local_format(

id int,

name string

)row format delimited fields terminated by &＃39;&＃39;

Hive在HDFS文件系统上的结构

我们在test库下面创建表

导入数据

我们查看

/user/hive/warehouse/test.db/hive_table_local_format

我们可以得到

元数据库开始是derby&＃xff0c;只能开启一个客户端&＃xff0c;再开启一个会话启动会报错&＃xff0c;所以我们改变了元数据库为Mysql,其中可选的是&＃xff1a;

我们创建一个数据库

create database stu_test

使用数据库并创建表

我们准备一个数据文件

将文件上传到HDFS上

我们先创建两个目录

我们把数据上传

我们加载数据到hive中

在加载之前我们可以看到&＃xff0c;我们看到stu_test中没有数据

我们加载数据

我们再加载第二个数据

注&＃xff1a;我们会发现&＃xff0c;自动重命名了。

我们查看我们表的信息&＃xff1a;

1. show create table
2. desc [extended][formatted] table
3. 元数据库

或者

或者

或者

我们查看Tals

修改表名

官网

我们修改一个表试一下

给表添加一个列

alter table table_name add columns (age int);

添加注释也在这个部分

清除数据

Truncate table table_name

注意不会删除元数据

Hive的日志文件配置文件

目录修改为hive.log.dir&＃61;/opt/bigdata/hive/logs

我们可以在hive-site.xml.template找到下面两个属性&＃xff0c;这两个属性可以帮助我们在日志中显示数据和列名&＃xff0c;将属性添加到hive-site.xml中

hive.cli.print.current.db

false

Whether to include the current database in the Hive prompt.

hive.cli.print.header

false

Whether to print the names of the columns in query output.

我们添加到配置中&＃xff0c;下次重启进入就可以看到日志了

一些常用的命令

官网的位置

就可以看到命令了

比如&＃xff1a;

quit exit 退出客户端

set 临时设置属性 可以参考Mysql中设置编码等方式去理解。另外set也可以用户查看参数的属性。

显示所有函数show functions;

我们可以查询函数的使用比如max

Desc function max;

Desc function extended case;

Hive可以用java写成函数&＃xff0c;使用add jar就可以添加使用

也可以将python脚本添加进来&＃xff0c;使用add file

!感叹号的方式可以查看Linux上的文件

dfs方式可以查看HDFS上的文件