zookeeper入门及原理

一.zookeeper是干什么的&＃xff1f;

zookeeper是一个分布式协调框架&＃xff0c;其内部主要提供了两个功能

1. 文件系统
2. 通知机制

通过以上两个功能&＃xff0c;zookeeper可以为我们的分布式服务提供一下几个功能

1. 命名服务
2. 配置管理
3. 队列管理
4. 分布式锁
5. 集群管理
   换句话说就是说zookeeper通过文件系统与通知机制为我们的分布式系统实现了以上五个功能

二.zookeeper的文件系统

zookeeper的文件系统我们可以理解为在自己电脑上创建文件夹&＃xff0c;与电脑上创建的文件夹不同的是&＃xff0c;zookeeper的文件夹是可以存储数据的&＃xff08;最多可以存储1M大小的数据&＃xff09; 每个文件夹我们称之为znode 这种节点是不可以重复的;

znode 也就是zookeeper的节点一共有四种类型的节点

1. 临时有序
2. 临时无序
3. 持久有序
4. 持久无序
   解释1&＃xff1a;临时与持久
   首先我们要知道zookeeper总体上分为两个部分&＃xff0c;服务端与客户端&＃xff0c;建立节点的命令是客户端与服务端连接&＃xff0c;然后在服务端中建立节点&＃xff0c;我们上面所说的功能都是服务端的功能&＃xff0c;客户端的作用可以理解为向服务端发送命令的作用。

理解了上面的话&＃xff0c;我们应该知道 客户端需要与服务端建立连接&＃xff0c;所谓临时节点 就是说我们客户端与服务端创建连接的时候 调用创建临时节点的方法 当客户端与服务端的连接断开的时候&＃xff0c;这个客户端创建的临时节点就会消失&＃xff0c;反之持久节点就是当客户端与服务端断开连接后&＃xff0c;节点还存在。

解释2&＃xff1a;有序与无序
假设现在zookeeper现存的目录的结构如下

root->p1->p2->p3->p4->pa1->pa2

如果我们现在先建立一个无序节点&＃xff08;有序无序均可&＃xff09;,路径是root/p1/t
那么现在zookeeper的节点的结构就是

root->p1->t->p2->p3->p4->pa1->pa2

因为我们是创建的无序节点&＃xff0c;这时候如果在创建路径是root/p1/t的节点&＃xff0c;就会创建失败&＃xff0c;反之如果创建的有序节点&＃xff0c;那么即使路径是root/p1/t 我们仍然可以创建成功&＃xff0c;这时候zookeeper会自动为我们创建的节点后面追加编号 先创建的节点的名字就是root/p1/t00001 后创建的是root/p1/t00002(00001与00002是为了便于理解而我自己加的 实际上不一定是这个数字 但是理论是一样的)

客户端创建节点额构造函数的参数&＃xff1a;路径&＃xff0c;数据&＃xff0c;权限&＃xff0c;节点类型&＃xff08;上面的四个&＃xff09;

至此zookeeper的文件系统的基本原理就基本完毕了

三.通知机制

客户端注册监听自己关心的目录节点&＃xff0c;当注册的节点发生变化的时候&＃xff08;数据变动&＃xff0c;子目录节点增加 删除等&＃xff09;客户端就会收到通知&＃xff0c;客户端可以获取变动的详细信息&＃xff0c;所以就可以进行相应的处理了

四.zookeeper在分布式系统中的应用

4.1 命名服务

因为zookeeper的目录的路径是唯一的&＃xff0c;所以就可以保证命名是不会冲突的&＃xff0c;即可以做服务发现

4.2 配置管理

因为zookeeper的节点可以存储数据&＃xff0c;所以我们可以把配置相关的数据存储在zookeeper的节点中&＃xff0c;然后客户端利用zookeeper的通知机制首次启动时获取节点中的数据&＃xff0c;其次如果节点中的配置信息变动&＃xff0c;就会通知监听这个节点的客户端&＃xff0c;客户端就会获取最新的配置

4.3 集群管理

集群管理主要有两点&＃xff0c;一是否有机器加入或者退出&＃xff0c;而master选举

对于1 我们可以让机器连接后就创建临时节点&＃xff0c;当机器断开连接的时候&＃xff0c;临时节点就会被删除&＃xff0c;这样其他的机器监听这个临时节点的父节点&＃xff0c;有变化的时候就会通知。

4.4 队列管理

队列管理主要有两点&＃xff1a;一个是同步队列怎么实现&＃xff0c;另一个是如何实现先进先出&＃xff08;FIFO&＃xff09;
同步队列&＃xff1a;只有当全部成员都到齐是&＃xff0c;队列才可以用

zookeeper 对于同步队列的实现就是在目录下创建临时节点&＃xff0c;然后监听节点数目是否满足要求&＃xff0c;当满足要求的时候才可以用

对于第二点我们只需要给节点编号&＃xff0c;然后取节点编号最小的数据

总上所述&＃xff1a;在目录下创建临时有序节点然后客户端监听这个目录中节点的数目&＃xff0c;节点编号最小的开始出队即可实现队列管理

4.5 分布式锁

分布式锁主要有两种&＃xff0c;排他锁与共享锁

对于排他锁&＃xff1a;所有客户端都去创建临时无序节点a,创建成功的获取共享锁&＃xff1b;
对于共享锁&＃xff1a;所有客户端都去创建临时有序节点a,编号最小的获取锁&＃xff1b;其他的节点监听前一个编号的节点是否存在&＃xff0c;不存在的时候本节点即获取锁

五.zookeeper集群的角色

上面所说的都是单服务器的例子&＃xff0c;加入我们的服务器很多&＃xff0c;就不可能仅仅使用一台zookeeper服务器&＃xff0c;这时候就需要搭建zookeeper服务器集群
zookeeper的角色一共有三种

1. leader:负责投票的发起和决议 更新
2. follower&＃xff1a;接受客户端的请求并返回结果&＃xff0c;参与leader选举过程
3. observer&＃xff1a;不参与leader选举过程&＃xff0c;不参与过半写成功策略&＃xff0c;为了提高读取效率&＃xff08;话句话说只可以读数据&＃xff09;

大概了解以上信息接下来我们讲讲分布式与数据复制&＃xff08;上面一些术语会在下面解释&＃xff09;

六.分布式与数据复制

6.1 数据复制的好处

1. 容错&＃xff1a;一个zookeeper服务器挂掉&＃xff0c;其他的服务器还可以用
2. 可扩展&＃xff1a;可以动态的增加节点&＃xff0c;提高整体的负载能力
3. 提高性能&＃xff1a;可以直接访问距离客户端租最近的节点

6.2 数据复制的方式

一般来说数据复制有两种方式&＃xff1a;

1. 写主&＃xff1a;写特定的节点
2. 写任意&＃xff1a;数据的修改可以任意的节点
   zookeeper采用写任意的策略&＃xff1a;原因 可扩展性和吞吐率特别高&＃xff0c;机器增加的时候吞吐量不会下降&＃xff1b;

6.3 zookeeper的同步流程

1. leader选举成功后开始进行同步流程
2. leader与follwer连接&＃xff0c;各个follower向leader发送自己最大的事务id zxid
3. leader根据zxid确定同步点
4. 完成同步后&＃xff0c;会通知follower&＃xff0c;状态变为uptodata了
5. follower收到uptodata这个状态后就知道已经同步完成了&＃xff0c;就又可以为客户端提供服务了

七.zookeeper的工作原理

原理就是原子广播&＃xff1a;
保证各个server之间的同步&＃xff0c;同步时候使用zab协议
zab协议主要又两个模式&＃xff1a;同步模式&＃xff08;数据复制&＃xff09;与恢复模式&＃xff08;重新选举leader&＃xff09;
为了保证事务的一致性&＃xff0c;zookeeper使用递增的失事务id 共64位&＃xff0c;前32位是标识这个事务是在哪个leader下的事务&＃xff0c;后32为用来递增
所谓事务 就是每一次会影响服务端状态改变的操作&＃xff1a;节点的创建与删除&＃xff0c;数据更新session失败

八.zookeeper的三种状态

客户端获取连接后&＃xff1a;服务端返回给客户端的状态&＃xff1a;

1. looking 当前服务器不知道谁是leader
2. leading 当前的服务器就是leader
3. following 当前服务器集群又leader 但是本服务器不是leader 是follower

九.zookeeper的leader选举流程

几个概念&＃xff1a;

1. 服务器id 越大权重越大
2. 事务id zxid 数值越大 权重越大
3. 逻辑始终 投票次数
4. 选举状态 looking leading following
   选举流程&＃xff1a;
   每次都选投自己&＃xff0c;然后广播给其他server zookeeper集群的个数需要时单数&＃xff0c;便于leader选举
   假设现在又五个zookeeper服务器 ABCDE
   A启动----->投票给自己----->广播----->接受BC的广播—>c的机器id大投给C
   B启动----->投票给自己---->广播------>接受AC的广播—>c的机器id大投给C
   C启动----->投票给自己----->广播----->接受AB的广播—>c的机器id大投给C

因为已经投给C的已经超过半数了&＃xff0c;所以DE的就无所谓了&＃xff0c;C就是leader了