Hadoop笔记整理（三）：Zookeeper

[TOC]

为了方便知识的管理&＃xff0c;把zk归到hadoop知识中来进行整理。

zookeeper基础知识

zookeeper概述

ZooKeeper是一个分布式的&＃xff0c;开放源码的分布式应用程序协调服务&＃xff0c;是Google的Chubby一个开源的实现&＃xff0c;是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件&＃xff0c;提供的功能包括&＃xff1a;配置维护、域名服务、分布式同步、组服务等。一言以蔽之&＃xff0c;ZooKeeper是分布式系统中的协调系统。有如下特点&＃xff1a;简单ZooKeeper的核心是一个精简的文件系统&＃xff0c;它支持一些简单的操作和一些抽象操作&＃xff0c;例如&＃xff0c;排序和通知。丰富ZooKeeper的操作是很丰富的&＃xff0c;可实现一些协调数据结构和协议。例如&＃xff0c;分布式队列、分布式锁和一组同级别节点中的“领导者选举”。高可靠ZooKeeper支持集群模式&＃xff0c;可以很容易的解决单点故障问题。松耦合交互不同进程间的交互不需要了解彼此&＃xff0c;甚至可以不必同时存在&＃xff0c;某进程在ZooKeeper中留下消息后&＃xff0c;该进程结束后其它进程还可以读这条消息。资源库ZooKeeper实现了一个关于通用协调模式的开源共享存储库&＃xff0c;能使开发者免于编写这类通用协议。

zookeeper的角色

领导者(leader)&＃xff1a;负责进行投票的发起和决议&＃xff0c;更新系统状态。学习者(learner)&＃xff1a;包括跟随者(follower)和观察者(observer)follower&＃xff1a;用于接受客户端请求并向客户端返回结果&＃xff0c;在选举过程中参与投票。Observer&＃xff1a;可以接受客户端连接&＃xff0c;将写请求转发给leader&＃xff0c;但observer不参与投票过程&＃xff0c;只同步leader的状态&＃xff0c;observer的目的是为了扩展系统&＃xff0c;提高读取速度。客户端(client)&＃xff1a;请求发起方。

zookeeper的数据模型

层次化的目录结构&＃xff0c;命名符合常规文件系统规范每个节点在zookeeper中叫做znode,并且其有一个唯一的路径标识节点znode可以包含数据和子节点&＃xff0c;但是EPHEMERAL类型的节点不能有子节点znode中的数据可以有多个版本&＃xff0c;比如某一个路径下存有多个数据版本&＃xff0c;那么查询这个路径下的数据就需要带上版本客户端应用可以在节点上设置监视器节点不支持部分读写&＃xff0c;而是一次性完整读写

zookeeper的节点类型

ZooKeeper节点znode有两种类型&＃xff0c;临时节点(ephemeral)和持久节(persistent)。znode的类型在创建时确定并且之后不能再修改。ephemeral节点在客户端会话结束时&＃xff0c;将会被zookeeper删除&＃xff0c;并且ephemeral节点不可以有子节点。persistent节点不依赖与客户端会话&＃xff0c;只有当客户端明确要删除该persistent节点时才会被删除。目前znode有四种形式的目录节点&＃xff0c;PERSISTENT、PERSISTENT_SEQUENTIAL、EPHEMERAL、EPHEMERAL_SEQUENTIALznode可以是临时节点&＃xff0c;一旦创建这个znode的客户端与服务器失去联系&＃xff0c;这个znode也将自动删除&＃xff0c;ZooKeeper的客户端和服务器通信采用长连接方式&＃xff0c;每个客户端和服务器通过心跳来保持连接&＃xff0c;这个连接状态称之为session&＃xff0c;如果znode是临时节点&＃xff0c;这个seesion失效&＃xff0c;znode也就删除了&＃xff1b;持久化目录节点&＃xff0c;这个目录节点存储的数据不会丢失&＃xff1b;顺序自动编号的目录节点&＃xff0c;这种目录节点会更具当前已经存放在的节点数自动加1&＃xff0c;然后返回给客户端已经成功创建的目录节点名&＃xff1b;临时目录节点&＃xff0c;一旦创建这个节点的客户端和服务器端口也就是session超时&＃xff0c;这种节点会被自动删除。33

zookeeper的安装与操作

约定&＃xff1a;安装在/opt目录下面http://zookeeper.apache.org/releases.html单节点安装解压&＃xff1a;tar -zxvf /opt/soft/zookeeper-3.4.6.jar -C /opt/重命名&＃xff1a;mv /opt/soft/zookeeper-3.4.6 /opt/soft/zookeeper添加到环境变量中vim /etc/profile.d/hadoop-eco.sh&＃xff0c;添加一下内容&＃xff1a;export ZOOKEEPER_HOME&＃61;/opt/zookeeperexport PATH&＃61;$PATH:$ZOOKEEPER_HOME/bin让配置生效source /etc/profile.d/hadoop-eco.sh配置zookeeper$ZOOKEEPER_HOME/confcp zoo_sample.cfg zoo.cfgvim zoo.cfg只需要修改一个地方dataDir&＃61;/opt/zookeeper/data在$ZOOOKEEPER创建一个目录data即可启动&＃xff1a;$ZOOKEEPER_HOME/bin/zkServer.sh start关于zk的日志文件存储修改$ZOOKEEPER_HOME/bin/zkServer.sh,94行添加ZOO_LOG_DIR&＃61;$ZOOKEEPER_HOME/log客户端连接&＃xff1a;$ZOOKEEPER_HOME/bin/zkCli.sh基本的命令行操作&＃xff1a;[zk: localhost:2181(CONNECTED) 10] helpZooKeeper -server host:port cmd argsstat path [watch]set path data [version]ls path [watch]delquota [-n|-b] pathls2 path [watch]setAcl path aclsetquota -n|-b val pathhistory redo cmdnoprintwatches on|offdelete path [version]sync pathlistquota pathrmr pathget path [watch]create [-s] [-e] path data acladdauth scheme authquit getAcl pathclose connect host:portJava API的方式来访问ZooKeeper// 创建一个目录节点String path &＃61; "/zk";byte data[] &＃61; "this is my first zk node".getBytes();
// String ret &＃61; zooKeeper.create(path, data, ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL);
// System.out.println("创建临时节点返回值&＃xff1a;" &＃43; ret);String zk &＃61; zooKeeper.create(path, data, ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);System.out.println("创建持久节点返回值&＃xff1a;" &＃43; zk);// 创建一个子目录节点path &＃61; "/zk/childone";data &＃61; "child one node".getBytes();zooKeeper.create(path, data, ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);// 取出子目录节点列表List cList &＃61; zooKeeper.getChildren("/zk", true);for (String child : cList) {System.out.println(child);}// 修改子目录节点数据data &＃61; "child one node last information".getBytes();zooKeeper.setData(path, data, -1);// 创建另外一个子目录节点path &＃61; "/zk/childtwo";data &＃61; "child two node".getBytes();zooKeeper.create(path, data, ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);List cList &＃61; zooKeeper.getChildren("/zk", true);for (String child : cList) {System.out.println(child);}// 删除子目录节点zooKeeper.delete("/zk/childtwo", -1);zooKeeper.delete("/zk/childone", -1);// 删除父目录节点/*** 这里没有提供一个递归删除的API*/zooKeeper.delete("/zk", -1); 分布式安装uplooking01 zkuplooking02 zkuplooking03 zk解压&＃xff1a;tar -zxvf /opt/soft/zookeeper-3.4.6.tar.gz -C /opt/重命名&＃xff1a;mv /opt/soft/zookeeper-3.4.6 /opt/soft/zookeeper添加到环境变量中vim /etc/profile.d/hadoop-etc.sh&＃xff0c;添加一下内容&＃xff1a;export ZOOKEEPER_HOME&＃61;/opt/zookeeperexport PATH&＃61;$PATH:$ZOOKEEPER_HOME/binexport ZOO_LOG_DIR&＃61;/opt/zookeeper/logs ##zookeeper的日志目录让配置生效source /etc/profile.d/hadoop-eco.sh配置zookeeper$ZOOOKEEPER/confcp zoo_sample.cfg zoo.cfgvim zoo.cfgdataDir&＃61;/opt/zookeeper/data在$ZOOOKEEPER创建一个目录data即可添加集群中的三台机器server.100&＃61;uplooking01:2888:3888server.101&＃61;uplooking02:2888:3888server.102&＃61;uplooking03:2888:3888 端口2181--->zookeeper服务器开放给client连接的端口2888--->zookeeper服务器之间进行通信的端口3888--->zookeeper和外部进程进行通信的端口拷贝zookeeper安装目录和环境变量文件到其它两台机器上scp -r /opt/zookeeper root&＃64;uplooking02:/opt/scp -r /opt/zookeeper root&＃64;uplooking03:/opt/scp /etc/profile.d/hadoop-eco.sh root&＃64;uplooking02:/etc/profile.d/scp /etc/profile.d/hadoop-eco.sh root&＃64;uplooking03:/etc/profile.d/启动&＃xff1a;到每一台机器上执行脚本zkServer.sh start查看zk的角色&＃xff1a;zkServer.sh status其中有一台是leader&＃xff0c;另外两台是follower为了保障zookeeper在为其它进程服务的时候&＃xff0c;能够做出决策&＃xff0c;进行投票&＃xff0c;有结果&＃xff0c;所以需要配置zookeeper机器的个数&＃xff0c;一般都要是2N&＃43;1(N是正整数)