在hive中有metaServer与hiveServer2两种服务&＃xff0c;看了好多文章说这两个的区别&＃xff0c;文章内容有对有错&＃xff0c;不够全面&＃xff0c;故在这里好好总结一下。
首先&＃xff0c;下面这个hive构架图&＃xff0c;我们一定不陌生&＃xff0c;它反应出hive有哪些组件结构
当然下面的图是hadoop1的部分&＃xff0c;现在JobTracker是Yarn了
上面的部分是访问Hive的三个入口&＃xff0c;
1&＃xff1a;直接Cli
2: 通过JDBC
3&＃xff1a; webUI
当我们要连接Hive进行操作时&＃xff0c;首先必须是安装了&＃xff0c;安装hive很简单&＃xff0c;直接在conf/hive-site配置存放Hive元数据的连接信息&＃xff0c;通常是用mysql&＃xff0c;如下&＃xff1a;
这样配置好后&＃xff0c;在hive的lib里加入Mysql JDBC 驱动后&＃xff0c;我们就可以通过 bin/hive的方式进行hive客户端&＃xff0c;请求数据。如下图&＃xff1a;
这样在大多数公司&＃xff0c;特别是小公司小集群里基本是这样操作的&＃xff0c;当然我们公司也是这样的&＃xff0c;这样本身没有错误.
但我们看一下上面的配置&＃xff0c;这样是不是把连接数据库的信息全泄露了&＃xff0c;你可能会说&＃xff0c;大家都是同公司的大数据部分&＃xff0c;还有各种权限&＃xff0c;泄露也无所谓&＃xff0c;但我们想一下&＃xff0c;在一个大的公司里&＃xff0c;大数据平台是几个部门共用的&＃xff0c;这样会有多台hive cli连接mysql&＃xff0c;这样泄露mysql的信息的风险还是挺大的.
另一方面&＃xff0c;比如我们元数据Mysql库无法启动&＃xff0c;我们要替换从库时&＃xff0c;或者我们要移植元数据到另一台机器上时&＃xff0c;那么我们这么多的hive cli是不是全要修改一遍....
那么这时我们Hive的另一个组件出场了&＃xff0c;它就是MetaStoreServer
启动&＃xff1a;nohup $HIVE_HOME/bin/hive –metastore &
如图&＃xff0c;我们在Hive cli与mysql中间是不是启动一个MetaStoreServer&＃xff0c;
这样我们的Hive cli就不需要连接Mysql&＃xff0c;直接连接这个MetaStoreServer不就行了吗&＃xff0c;
在hive-site.xml只要简单的配置一下&＃xff1a;
这样我就通过metaserver取得了元数据的信息对吧
当然上面的图只是一个MetaStoreServer&＃xff0c;存在单点问题&＃xff0c;但我们完全可以配置两个或者多个MetaStoreServer&＃xff0c;就实现了负载均衡与容错的功能了&＃xff0c;如下面的配置
接下来我们就要谈谈另一个有用的组件HiveServer2了
京公网安备 11010802041100号