zk应用服务器,Zookeeper概述

ZooKeeper 是一种分布式协调服务&＃xff0c;用于管理大型主机。在分布式环境中协调和管理服务是一个复杂的过程。ZooKeeper 通过其简单的架构和 API 解决了这个问题。ZooKeeper 允许开发人员专注于核心应用程序逻辑&＃xff0c;而不必担心应用程序的分布式特性。

ZooKeeper 框架最初是在“Yahoo!"上构建的&＃xff0c;用于以简单而稳健的方式访问他们的应用程序。 后来&＃xff0c;Apache ZooKeeper 成为 Hadoop&＃xff0c;HBase 和其他分布式框架使用的有组织服务的标准。 例如&＃xff0c;Apache HBase 使用 ZooKeeper 跟踪分布式数据的状态。

在进一步深入之前&＃xff0c;我们了解关于分布式应用的一两件事情是很重要的。因此&＃xff0c;让我们开始分布式应用的概述的快速讨论。

分布式应用

分布式应用可以在给定时间(同时)在网络中的多个系统上运行&＃xff0c;通过协调它们以快速有效的方式完成特定任务。通常来说&＃xff0c;对于复杂而耗时的任务&＃xff0c;非分布式应用(运行在单个系统中)需要几个小时才能完成&＃xff0c;而分布式应用通过使用所有系统涉及的计算能力可以在几分钟内完成。

通过将分布式应用配置为在更多系统上运行&＃xff0c;可以进一步减少完成任务的时间。分布式应用正在运行的一组系统称为集群&＃xff0c;而在集群中运行的每台机器被称为节点。

分布式应用有两部分&＃xff0c;Server(服务器)和Client(客户端)应用程序。服务器应用程序实际上是分布式的&＃xff0c;并具有通用接口&＃xff0c;以便客户端可以连接到集群中的任何服务器并获得相同的结果。 客户端应用程序是与分布式应用进行交互的工具。

ZooKeeper 是一个分布式协调服务的开源框架。主要用来解决分布式集群中应用系统的一致性的问题&＃xff0c;例如怎样避免同时操作同一数据造成脏读的问题。ZooKeeper 本质上是一个分布式的小文件存储系统。提供基于类似于文件系统的目录树方式的数据存储&＃xff0c;并且可以对树种 的节点进行有效管理。从而来维护和监控你存储的数据的状态变化。将通过监控这些数据状态的变化&＃xff0c;从而可以达到基于数据的集群管理。诸如&＃xff1a;统一命名服务(dubbo)、分布式配置管理(solr的配置集中管理)、分布式消息队列(sub/pub)、分布式锁、分布式协调等功能。

Zookeeper 架构图

Leader&＃xff1a;

ZooKeeper 集群工作的核心

事务请求(写操作)的唯一调度和处理者&＃xff0c;保证集群事务处理的顺序性&＃xff1b;集群内部各个服务的调度者。

对于 create&＃xff0c;setData&＃xff0c;delete 等有写操作的请求&＃xff0c;则需要统一转发给 leader 处理&＃xff0c;leader 需要决定编号、执行操作&＃xff0c;这个过程称为一个事务。Follower&＃xff1a;

处理客户端非事务(读操作)请求

转发事务请求给 Leader

参与集群 leader 选举投票2n-1台可以做集群投票

此外&＃xff0c;针对访问量比较大的 zookeeper 集群&＃xff0c;还可以新增观察者角色Observer&＃xff1a;

观察者角色&＃xff0c;观察ZooKeeper集群的最新状态变化并将这些状态同步过来&＃xff0c;其对于非事务请求可以进行独立处理&＃xff0c;对于事务请求&＃xff0c;则会转发给Leader服务器处理

不会参与任何形式的投票只提供服务&＃xff0c;通常用于在不影响集群事务处理能力的前提下提升集群的非事务处理能力

扯淡&＃xff1a;说白了就是增加并发的请求

ZooKeeper当中的主从与主备&＃xff1a;主从&＃xff1a;主节点少&＃xff0c;从节点多&＃xff0c;主节点分配任务&＃xff0c;从节点具体执行任务主备&＃xff1a;主节点与备份节点&＃xff0c;主要用于解决我们主机节点挂掉以后&＃xff0c;如何选出来一个新的主节点的问题&＃xff0c;保证我们的主节点不会宕机很多时候&＃xff0c;主从与主备没有太明显的分界线&＃xff0c;很多时候都是一起出现

Zookeeper的特性全局数据的一致&＃xff1a;每个 server 保存一份相同的数据副本&＃xff0c;client 无论链接到哪个 server&＃xff0c;展示的数据都是一致的

可靠性&＃xff1a;如果消息被其中一台服务器接受&＃xff0c;那么将被所有的服务器接受

顺序性&＃xff1a;包括全局有序和偏序两种&＃xff1a;全局有序是指如果在一台服务器上消息 a 在消息 b 前发布&＃xff0c;则在所有 server 上消息 a 在消息 b 前被发布&＃xff0c;偏序是指如果一个消息 b 在消息 a 后被同一个发送者发布&＃xff0c;a 必须将排在 b 前面

数据更新原子性&＃xff1a;一次数据更新要么成功&＃xff0c;要么失败&＃xff0c;不存在中间状态

实时性&＃xff1a;ZooKeeper 保证客户端将在一个时间间隔范围内获得服务器的更新信息&＃xff0c;或者服务器失效的信息

分布式应用的优点可靠性 - 单个或几个系统的故障不会使整个系统出现故障。

可扩展性 - 可以在需要时增加性能&＃xff0c;通过添加更多机器&＃xff0c;在应用程序配置中进行微小的更改&＃xff0c;而不会有停机时间。

透明性 - 隐藏系统的复杂性&＃xff0c;并将其显示为单个实体/应用程序。

分布式应用的挑战竞争条件 - 两个或多个机器尝试执行特定任务&＃xff0c;实际上只需在任意给定时间由单个机器完成。例如&＃xff0c;共享资源只能在任意给定时间由单个机器修改。

死锁 - 两个或多个操作等待彼此无限期完成。

不一致 - 数据的部分失败。

什么是Apache ZooKeeper&＃xff1f;

Apache ZooKeeper是由集群(节点组)使用的一种服务&＃xff0c;用于在自身之间协调&＃xff0c;并通过稳健的同步技术维护共享数据。ZooKeeper本身是一个分布式应用程序&＃xff0c;为写入分布式应用程序提供服务。

ZooKeeper提供的常见服务如下 :命名服务 - 按名称标识集群中的节点。它类似于DNS&＃xff0c;但仅对于节点。

配置管理 - 加入节点的最近的和最新的系统配置信息。

集群管理 - 实时地在集群和节点状态中加入/离开节点。

选举算法 - 选举一个节点作为协调目的的leader。

锁定和同步服务 - 在修改数据的同时锁定数据。此机制可帮助你在连接其他分布式应用程序(如Apache HBase)时进行自动故障恢复。

高度可靠的数据注册表 - 即使在一个或几个节点关闭时也可以获得数据。

分布式应用程序提供了很多好处&＃xff0c;但它们也抛出了一些复杂和难以解决的挑战。ZooKeeper框架提供了一个完整的机制来克服所有的挑战。竞争条件和死锁使用故障安全同步方法进行处理。另一个主要缺点是数据的不一致性&＃xff0c;ZooKeeper使用原子性解析。

ZooKeeper的好处

以下是使用ZooKeeper的好处&＃xff1a;简单的分布式协调过程

同步 - 服务器进程之间的相互排斥和协作。此过程有助于Apache HBase进行配置管理。

有序的消息

序列化 - 根据特定规则对数据进行编码。确保应用程序运行一致。这种方法可以在MapReduce中用来协调队列以执行运行的线程。

可靠性

原子性 - 数据转移完全成功或完全失败&＃xff0c;但没有事务是部分的。