ZooKeeper学习

前言

相信大家对 ZooKeeper 应该不算陌生。但是你真的了解 ZooKeeper 是个什么东西吗&＃xff1f;如果别人/面试官让你给他讲讲 ZooKeeper 是个什么东西&＃xff0c;你能回答到什么地步呢&＃xff1f;

我本人曾经使用过 ZooKeeper 作为 Dubbo 的注册中心&＃xff0c;另外在搭建 solr 集群的时候&＃xff0c;我使用到了 ZooKeeper 作为 solr 集群的管理工具。前几天&＃xff0c;总结项目经验的时候&＃xff0c;我突然问自己 ZooKeeper 到底是个什么东西&＃xff1f;想了半天&＃xff0c;脑海中只是简单的能浮现出几句话&＃xff1a;“①Zookeeper 可以被用作注册中心。 ②Zookeeper 是 Hadoop 生态系统的一员&＃xff1b;③构建 Zookeeper 集群的时候&＃xff0c;使用的服务器最好是奇数台。” 可见&＃xff0c;我对于 Zookeeper 的理解仅仅是停留在了表面。

所以&＃xff0c;通过本文&＃xff0c;希望带大家稍微详细的了解一下 ZooKeeper 。如果没有学过 ZooKeeper &＃xff0c;那么本文将会是你进入 ZooKeeper 大门的垫脚砖。如果你已经接触过 ZooKeeper &＃xff0c;那么本文将带你回顾一下 ZooKeeper 的一些基础概念。

最后&＃xff0c;本文只涉及 ZooKeeper 的一些概念&＃xff0c;并不涉及 ZooKeeper 的使用以及 ZooKeeper 集群的搭建。 网上有介绍 ZooKeeper 的使用以及搭建 ZooKeeper 集群的文章&＃xff0c;大家有需要可以自行查阅。

一 什么是 ZooKeeper

1.1 ZooKeeper 概览

ZooKeeper 是一个开源的分布式协调服务&＃xff0c;ZooKeeper框架最初是在“Yahoo!"上构建的&＃xff0c;用于以简单而稳健的方式访问他们的应用程序。 后来&＃xff0c;Apache ZooKeeper成为Hadoop&＃xff0c;HBase和其他分布式框架使用的有组织服务的标准。 例如&＃xff0c;Apache HBase使用ZooKeeper跟踪分布式数据的状态。ZooKeeper 的设计目标是将那些复杂且容易出错的分布式一致性服务封装起来&＃xff0c;构成一个高效可靠的原语集&＃xff0c;并以一系列简单易用的接口提供给用户使用。

原语&＃xff1a; 操作系统或计算机网络用语范畴。是由若干条指令组成的&＃xff0c;用于完成一定功能的一个过程。具有不可分割性·即原语的执行必须是连续的&＃xff0c;在执行过程中不允许被中断。

ZooKeeper 是一个典型的分布式数据一致性解决方案&＃xff0c;分布式应用程序可以基于 ZooKeeper 实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master 选举、分布式锁和分布式队列等功能。

Zookeeper 一个最常用的使用场景就是用于担任服务生产者和服务消费者的注册中心。 服务生产者将自己提供的服务注册到Zookeeper中心&＃xff0c;服务的消费者在进行服务调用的时候先到Zookeeper中查找服务&＃xff0c;获取到服务生产者的详细信息之后&＃xff0c;再去调用服务生产者的内容与数据。如下图所示&＃xff0c;在 Dubbo架构中 Zookeeper 就担任了注册中心这一角色。

二 关于 ZooKeeper 的一些重要概念

2.1 重要概念总结

• ZooKeeper 本身就是一个分布式程序&＃xff08;只要半数以上节点存活&＃xff0c;ZooKeeper 就能正常服务&＃xff09;。

• 为了保证高可用&＃xff0c;最好是以集群形态来部署 ZooKeeper&＃xff0c;这样只要集群中大部分机器是可用的&＃xff08;能够容忍一定的机器故障&＃xff09;&＃xff0c;那么 ZooKeeper 本身仍然是可用的。

• ZooKeeper 将数据保存在内存中&＃xff0c;这也就保证了 高吞吐量和低延迟&＃xff08;但是内存限制了能够存储的容量不太大&＃xff0c;此限制也是保持znode中存储的数据量较小的进一步原因&＃xff09;。

• ZooKeeper 是高性能的。 在“读”多于“写”的应用程序中尤其地高性能&＃xff0c;因为“写”会导致所有的服务器间同步状态。&＃xff08;“读”多于“写”是协调服务的典型场景。&＃xff09;

• ZooKeeper有临时节点的概念。 当创建临时节点的客户端会话一直保持活动&＃xff0c;瞬时节点就一直存在。而当会话终结时&＃xff0c;瞬时节点被删除。持久节点是指一旦这个ZNode被创建了&＃xff0c;除非主动进行ZNode的移除操作&＃xff0c;否则这个ZNode将一直保存在Zookeeper上。

• ZooKeeper 底层其实只提供了两个功能&＃xff1a;①管理&＃xff08;存储、读取&＃xff09;用户程序提交的数据&＃xff1b;②为用户程序提交数据节点监听服务。

下面关于会话&＃xff08;Session&＃xff09;、 Znode、版本、Watcher、ACL概念的总结都在《从Paxos到Zookeeper 》第四章第一节以及第七章第八节有提到&＃xff0c;感兴趣的可以看看&＃xff01;

2.2 会话&＃xff08;Session&＃xff09;

2.3 Znode

在谈到分布式的时候&＃xff0c;我们通常说的“节点"是指组成集群的每一台机器。然而&＃xff0c;在Zookeeper中&＃xff0c;“节点"分为两类&＃xff0c;第一类同样是指构成集群的机器&＃xff0c;我们称之为机器节点&＃xff1b;第二类则是指数据模型中的数据单元&＃xff0c;我们称之为数据节点一一ZNode。

Zookeeper将所有数据存储在内存中&＃xff0c;数据模型是一棵树&＃xff08;Znode Tree)&＃xff0c;由斜杠&＃xff08;/&＃xff09;的进行分割的路径&＃xff0c;就是一个Znode&＃xff0c;例如/foo/path1。每个上都会保存自己的数据内容&＃xff0c;同时还会保存一系列属性信息。

**在Zookeeper中&＃xff0c;node可以分为持久节点和临时节点两类。所谓持久节点是指一旦这个ZNode被创建了&＃xff0c;除非主动进行ZNode的移除操作&＃xff0c;否则这个ZNode将一直保存在Zookeeper上。而临时节点就不一样了&＃xff0c;它的生命周期和客户端会话绑定&＃xff0c;一旦客户端会话失效&＃xff0c;那么这个客户端创建的所有临时节点都会被移除。**另外&＃xff0c;ZooKeeper还允许用户为每个节点添加一个特殊的属性&＃xff1a;SEQUENTIAL.一旦节点被标记上这个属性&＃xff0c;那么在这个节点被创建的时候&＃xff0c;Zookeeper会自动在其节点名后面追加上一个整型数字&＃xff0c;这个整型数字是一个由父节点维护的自增数字。

2.4 版本

在前面我们已经提到&＃xff0c;Zookeeper 的每个 ZNode 上都会存储数据&＃xff0c;对应于每个ZNode&＃xff0c;Zookeeper 都会为其维护一个叫作 Stat 的数据结构&＃xff0c;Stat中记录了这个 ZNode 的三个数据版本&＃xff0c;分别是version&＃xff08;当前ZNode的版本&＃xff09;、cversion&＃xff08;当前ZNode子节点的版本&＃xff09;和 cversion&＃xff08;当前ZNode的ACL版本&＃xff09;。

2.5 Watcher

Watcher&＃xff08;事件监听器&＃xff09;&＃xff0c;是Zookeeper中的一个很重要的特性。Zookeeper允许用户在指定节点上注册一些Watcher&＃xff0c;并且在一些特定事件触发的时候&＃xff0c;ZooKeeper服务端会将事件通知到感兴趣的客户端上去&＃xff0c;该机制是Zookeeper实现分布式协调服务的重要特性。

2.6 ACL

Zookeeper采用ACL&＃xff08;AccessControlLists&＃xff09;策略来进行权限控制&＃xff0c;类似于 UNIX 文件系统的权限控制。Zookeeper 定义了如下5种权限。

其中尤其需要注意的是&＃xff0c;CREATE和DELETE这两种权限都是针对子节点的权限控制。

三 ZooKeeper 特点

• 顺序一致性&＃xff1a; 从同一客户端发起的事务请求&＃xff0c;最终将会严格地按照顺序被应用到 ZooKeeper 中去。

• 原子性&＃xff1a; 所有事务请求的处理结果在整个集群中所有机器上的应用情况是一致的&＃xff0c;也就是说&＃xff0c;要么整个集群中所有的机器都成功应用了某一个事务&＃xff0c;要么都没有应用。

• 单一系统映像 &＃xff1a; 无论客户端连到哪一个 ZooKeeper 服务器上&＃xff0c;其看到的服务端数据模型都是一致的。

• 可靠性&＃xff1a; 一旦一次更改请求被应用&＃xff0c;更改的结果就会被持久化&＃xff0c;直到被下一次更改覆盖。

四 ZooKeeper 设计目标

4.1 简单的数据模型

ZooKeeper 允许分布式进程通过共享的层次结构命名空间进行相互协调&＃xff0c;这与标准文件系统类似。 名称空间由 ZooKeeper 中的数据寄存器组成 - 称为znode&＃xff0c;这些类似于文件和目录。 与为存储设计的典型文件系统不同&＃xff0c;ZooKeeper数据保存在内存中&＃xff0c;这意味着ZooKeeper可以实现高吞吐量和低延迟。

4.2 可构建集群

为了保证高可用&＃xff0c;最好是以集群形态来部署 ZooKeeper&＃xff0c;这样只要集群中大部分机器是可用的&＃xff08;能够容忍一定的机器故障&＃xff09;&＃xff0c;那么zookeeper本身仍然是可用的。 客户端在使用 ZooKeeper 时&＃xff0c;需要知道集群机器列表&＃xff0c;通过与集群中的某一台机器建立 TCP 连接来使用服务&＃xff0c;客户端使用这个TCP链接来发送请求、获取结果、获取监听事件以及发送心跳包。如果这个连接异常断开了&＃xff0c;客户端可以连接到另外的机器上。

ZooKeeper 官方提供的架构图&＃xff1a;

上图中每一个Server代表一个安装Zookeeper服务的服务器。组成 ZooKeeper 服务的服务器都会在内存中维护当前的服务器状态&＃xff0c;并且每台服务器之间都互相保持着通信。集群间通过 Zab 协议&＃xff08;Zookeeper Atomic Broadcast&＃xff09;来保持数据的一致性。

4.3 顺序访问

对于来自客户端的每个更新请求&＃xff0c;ZooKeeper 都会分配一个全局唯一的递增编号&＃xff0c;这个编号反应了所有事务操作的先后顺序&＃xff0c;应用程序可以使用 ZooKeeper 这个特性来实现更高层次的同步原语。 这个编号也叫做时间戳——zxid&＃xff08;Zookeeper Transaction Id&＃xff09;

4.4 高性能

ZooKeeper 是高性能的。 在“读”多于“写”的应用程序中尤其地高性能&＃xff0c;因为“写”会导致所有的服务器间同步状态。&＃xff08;“读”多于“写”是协调服务的典型场景。&＃xff09;

五 ZooKeeper 集群角色介绍

最典型集群模式&＃xff1a; Master/Slave 模式&＃xff08;主备模式&＃xff09;。在这种模式中&＃xff0c;通常 Master服务器作为主服务器提供写服务&＃xff0c;其他的 Slave 服务器从服务器通过异步复制的方式获取 Master 服务器最新的数据提供读服务。

但是&＃xff0c;在 ZooKeeper 中没有选择传统的 Master/Slave 概念&＃xff0c;而是引入了Leader、Follower 和 Observer 三种角色。如下图所示

ZooKeeper 集群中的所有机器通过一个 Leader 选举过程来选定一台称为 “Leader” 的机器&＃xff0c;Leader 既可以为客户端提供写服务又能提供读服务。除了 Leader 外&＃xff0c;Follower 和 Observer 都只能提供读服务。Follower 和 Observer 唯一的区别在于 Observer 机器不参与 Leader 的选举过程&＃xff0c;也不参与写操作的“过半写成功”策略&＃xff0c;因此 Observer 机器可以在不影响写性能的情况下提升集群的读性能。

六 ZooKeeper &ZAB 协议&Paxos算法

6.1 ZAB 协议&Paxos算法

Paxos 算法应该可以说是 ZooKeeper 的灵魂了。但是&＃xff0c;ZooKeeper 并没有完全采用 Paxos算法 &＃xff0c;而是使用 ZAB 协议作为其保证数据一致性的核心算法。另外&＃xff0c;在ZooKeeper的官方文档中也指出&＃xff0c;ZAB协议并不像 Paxos 算法那样&＃xff0c;是一种通用的分布式一致性算法&＃xff0c;它是一种特别为Zookeeper设计的崩溃可恢复的原子消息广播算法。

6.2 ZAB 协议介绍

ZAB&＃xff08;ZooKeeper Atomic Broadcast 原子广播&＃xff09; 协议是为分布式协调服务 ZooKeeper 专门设计的一种支持崩溃恢复的原子广播协议。 在 ZooKeeper 中&＃xff0c;主要依赖 ZAB 协议来实现分布式数据一致性&＃xff0c;基于该协议&＃xff0c;ZooKeeper 实现了一种主备模式的系统架构来保持集群中各个副本之间的数据一致性。

6.3 ZAB 协议两种基本的模式&＃xff1a;崩溃恢复和消息广播

关于 ZAB 协议&Paxos算法 需要讲和理解的东西太多了&＃xff0c;说实话&＃xff0c;笔主到现在不太清楚这俩兄弟的具体原理和实现过程。推荐阅读下面两篇文章&＃xff1a;

• 图解 Paxos 一致性协议(http://blog.xiaohansong.com/2016/09/30/Paxos/)

• Zookeeper ZAB 协议分析(http://blog.xiaohansong.com/2016/08/25/zab/)

关于如何使用 zookeeper 实现分布式锁&＃xff0c;可以查看下面这篇文章&＃xff1a;

10分钟看懂&＃xff01;基于Zookeeper的分布式锁(https://blog.csdn.net/qiangcuo6087/article/details/79067136)

六 总结

通过阅读本文&＃xff0c;想必大家已从 ①ZooKeeper的由来。 -> ②ZooKeeper 到底是什么 。-> ③ ZooKeeper 的一些重要概念&＃xff08;会话&＃xff08;Session&＃xff09;、 Znode、版本、Watcher、ACL&＃xff09;-> ④ZooKeeper 的特点。 -> ⑤ZooKeeper 的设计目标。-> ⑥ ZooKeeper 集群角色介绍 &＃xff08;Leader、Follower 和 Observer 三种角色&＃xff09;-> ⑦ZooKeeper &ZAB 协议&Paxos算法。 这七点了解了 ZooKeeper 。