热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

Hive中MetaServer与HiveServer2的应用

在hive中有metaServer与hiveServer2两种服务,看了好多文章说这两个的区别,文章内容有对有错,不够全面,

在hive中有metaServer与hiveServer2两种服务,看了好多文章说这两个的区别,文章内容有对有错,不够全面,故在这里好好总结一下。

首先,下面这个hive构架图,我们一定不陌生,它反应出hive有哪些组件结构

当然下面的图是hadoop1的部分,现在JobTracker是Yarn了
上面的部分是访问Hive的三个入口,

1:直接Cli
2: 通过JDBC
3: webUI

当我们要连接Hive进行操作时,首先必须是安装了,安装hive很简单,直接在conf/hive-site配置存放Hive元数据的连接信息,通常是用mysql,如下:

javax.jdo.option.ConnectionURLjdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true

javax.jdo.option.ConnectionDriverNamecom.mysql.jdbc.Driver

javax.jdo.option.ConnectionUserNameroot

javax.jdo.option.ConnectionPasswordroot

这样配置好后,在hive的lib里加入Mysql JDBC 驱动后,我们就可以通过 bin/hive的方式进行hive客户端,请求数据。如下图:

这样在大多数公司,特别是小公司小集群里基本是这样操作的,当然我们公司也是这样的,这样本身没有错误.
但我们看一下上面的配置,这样是不是把连接数据库的信息全泄露了,你可能会说,大家都是同公司的大数据部分,还有各种权限,泄露也无所谓,但我们想一下,在一个大的公司里,大数据平台是几个部门共用的,这样会有多台hive cli连接mysql,这样泄露mysql的信息的风险还是挺大的.
另一方面,比如我们元数据Mysql库无法启动,我们要替换从库时,或者我们要移植元数据到另一台机器上时,那么我们这么多的hive cli是不是全要修改一遍....

那么这时我们Hive的另一个组件出场了,它就是MetaStoreServer

启动:nohup $HIVE_HOME/bin/hive –metastore &

如图,我们在Hive cli与mysql中间是不是启动一个MetaStoreServer,
这样我们的Hive cli就不需要连接Mysql,直接连接这个MetaStoreServer不就行了吗,
在hive-site.xml只要简单的配置一下:

hive.metastore.uristhrift://xxxxxx:9083<description

这样我就通过metaserver取得了元数据的信息对吧
当然上面的图只是一个MetaStoreServer&#xff0c;存在单点问题&#xff0c;但我们完全可以配置两个或者多个MetaStoreServer&#xff0c;就实现了负载均衡与容错的功能了&#xff0c;如下面的配置

hive.metastore.uristhrift://dw1:9083,thrift://dw2:9083A comma separated list of metastore uris on which metastore service is running

接下来我们就要谈谈另一个有用的组件HiveServer2了


转:https://www.cnblogs.com/itboys/p/10621564.html



推荐阅读
author-avatar
0Hey0ne
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有