Zookeeper安装和配置说明

一、Zookeeper的搭建方式

Zookeeper安装方式有三种&＃xff0c;单机模式和集群模式以及伪集群模式。

■ 单机模式&＃xff1a;Zookeeper只运行在一台服务器上&＃xff0c;适合测试环境&＃xff1b;
■ 伪集群模式&＃xff1a;就是在一台物理机上运行多个Zookeeper 实例&＃xff1b;
■ 集群模式&＃xff1a;Zookeeper运行于一个集群上&＃xff0c;适合生产环境&＃xff0c;这个计算机集群被称为一个“集合体”&＃xff08;ensemble&＃xff09;

Zookeeper通过复制来实现高可用性&＃xff0c;只要集合体中半数以上的机器处于可用状态&＃xff0c;它就能够保证服务继续。为什么一定要超过半数呢&＃xff1f;这跟Zookeeper的复制策略有关&＃xff1a;zookeeper确保对znode 树的每一个修改都会被复制到集合体中超过半数的机器上。

1.1 Zookeeper的单机模式搭建

创建zookeeper用户和用户组&＃xff0c;并创建zookeeper的数据和日志存储目录。

# 创建zookeeper用户组
[root&＃64;localhost~]# groupadd zookeeper
# 创建一个用户名为zookeeper的用户&＃xff0c;并加入zookeeper用户组
[root&＃64;localhost~]# useradd -g mysql zookeeper
# 设置密码
[root&＃64;localhost~]# passwd zookeeper

[root&＃64;localhost~]# mkdir -P /data_disk/zookeeper/data
[root&＃64;localhost~]# mkdir -P /data_disk/zookeeper/logs

[root&＃64;localhost~]# chown -R zookeeper:zookeeper /data_disk/zookeeper

下载ZooKeeper&＃xff1a;https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz

解压&＃xff1a;tar -zxvf zookeeper-3.4.14.tar.gz 重命名&＃xff1a;mv zookeeper-3.4.14 zookeeper3.4

# 更改所属的组和用户
[root&＃64;localhost local]# chown -R zookeeper zookeeper3.4/
[root&＃64;localhost local]# chgrp -R zookeeper zookeeper3.4/

配置文件&＃xff1a;在conf目录下备份zoo_sample.cfg文件&＃xff0c;创建一个配置文件zoo.cfg。

tickTime&＃61;2000
dataDir&＃61;//data_disk/zookeeper/data
dataLogDir&＃61;/data_disk/zookeeper/logs
clientPort&＃61;2181

配置环境变量&＃xff1a;为了今后操作方便&＃xff0c;我们需要对Zookeeper的环境变量进行配置&＃xff0c;方法如下在/etc/profile文件中加入如下内容&＃xff1a;

export ZOOKEEPER_HOME&＃61;/usr/local/zookeeper3.4
export PATH&＃61;$ZOOKEEPER_HOME/bin:$PATH

启动ZooKeeper的Server&＃xff1a;zkServer.sh start&＃xff1b;关闭ZooKeeper的Server&＃xff1a;zkServer.sh stop

创建服务启动文件

[Unit]
Description&＃61;zookeeper
After&＃61;syslog.target network.target
[Service]
Type&＃61;forking
Environment&＃61;ZOO_LOG_DIR&＃61;/data_disk/zookeeper/logs
ExecStart&＃61;/usr/local/zookeeper3.4/bin/zkServer.sh start
ExecStop&＃61;/usr/local/zookeeper3.4/bin/zkServer.sh stop
Restart&＃61;always
User&＃61;zookeeper
Group&＃61;zookeeper
[Install]
WantedBy&＃61;multi-user.target

1.2 Zookeeper的伪集群模式搭建

Zookeeper不但可以在单机上运行单机模式Zookeeper&＃xff0c;而且可以在单机模拟集群模式 Zookeeper的运行&＃xff0c;也就是将不同节点运行在同一台机器。我们知道伪分布模式下Hadoop的操作和分布式模式下有着很大的不同&＃xff0c;但是在集群为分布 式模式下对Zookeeper的操作却和集群模式下没有本质的区别。显然&＃xff0c;集群伪分布式模式为我们体验Zookeeper和做一些尝试性的实验提供了很大 的便利。比如&＃xff0c;我们在实验的时候&＃xff0c;可以先使用少量数据在集群伪分布模式下进行测试。当测试可行的时候&＃xff0c;再将数据移植到集群模式进行真实的数据实验。这样不 但保证了它的可行性&＃xff0c;同时大大提高了实验的效率。这种搭建方式&＃xff0c;比较简便&＃xff0c;成本比较低&＃xff0c;适合测试和学习&＃xff0c;如果你的手头机器不足&＃xff0c;就可以在一台机器上部署了 3个server。

1.2.1. 注意事项

在一台机器上部署了3个server&＃xff0c;需要注意的是在集群为分布式模式下我们使用的每个配置文档模拟一台机器&＃xff0c;也就是说单台机器及上运行多个Zookeeper实例。但是&＃xff0c;必须保证每个配置文档的各个端口号不能冲突&＃xff0c;除了clientPort不同之外&＃xff0c;dataDir也不同。另外&＃xff0c;还要在dataDir所对应的目录中创建myid文件来指定对应的Zookeeper服务器实例。

■ clientPort端口&＃xff1a;如果在1台机器上部署多个server&＃xff0c;那么每台机器都要不同的 clientPort&＃xff0c;比如 server1是2181,server2是2182&＃xff0c;server3是2183

■ dataDir和dataLogDir&＃xff1a;dataDir和dataLogDir也需要区分下&＃xff0c;将数据文件和日志文件分开存放&＃xff0c;同时每个server的这两变量所对应的路径都是不同的

■ server.X和myid&＃xff1a; server.X 这个数字就是对应&＃xff0c;data/myid中的数字。在3个server的myid文件中分别写入了0&＃xff0c;1&＃xff0c;2&＃xff0c;那么每个server中的zoo.cfg都配 server.0 server.2,server.3就行了。因为在同一台机器上&＃xff0c;后面连着的2个端口&＃xff0c;3个server都不要一样&＃xff0c;否则端口冲突

下面是我所配置的集群伪分布模式&＃xff0c;分别通过zoo1.cfg、zoo2.cfg、zoo3.cfg来模拟由三台机器的Zookeeper集群.

 zoo1.cfg、 zoo2.cfg、 zoo3.cfg都是一样的配置即可&＃xff0c;只不过dataDir和dataLogDir稍微改动一下&＃xff0c;如下:

# The number of milliseconds of each tick
tickTime&＃61;2000
# The number of ticks that the initial
# synchronization phase can take
initLimit&＃61;10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit&＃61;5
# the directory where the snapshot is stored.
dataDir&＃61;/data_disk/zookeeper/data_1
# the port at which the clients will connect
clientPort&＃61;2181
#the location of the log file
dataLogDir&＃61;/data_disk/zookeeper/logs_1
server.0&＃61;localhost:2287:3387
server.1&＃61;localhost:2288:3388
server.2&＃61;localhost:2289:3389

在集群为分布式下&＃xff0c;我们只有一台机器&＃xff0c;按时要运行三个Zookeeper实例。此时&＃xff0c;如果在使用单机模式的启动命令是行不通的。此时&＃xff0c;只要通过下面三条命令就能运行前面所配置的Zookeeper服务。如下所示&＃xff1a;

zkServer.sh start zoo1.cfg
zkServer.sh start zoo2.cfg
zkServer.sh start zoo3.cfg

1.3  Zookeeper的集群模式搭建

为了获得可靠地Zookeeper服务&＃xff0c;用户应该在一个机群上部署Zookeeper。只要机群上大多数的Zookeeper服务启动了&＃xff0c;那么总的 Zookeeper服务将是可用的。集群的配置方式&＃xff0c;和前两种类似&＃xff0c;同样需要进行环境变量的配置。在每台机器上conf/zoo.cf配置文件的参数设置 相同

1.3.1 创建myid

在dataDir(/data_disk/zookeeper/data)目录创建myid文件&＃xff0c;vim myid ;内容为0。

Server0机器的内容为&＃xff1a;0
Server1机器的内容为&＃xff1a;1
Server2机器的内容为&＃xff1a;2

1.3.2 编写配置文件

在conf目录下删除zoo_sample.cfg文件&＃xff0c;创建一个配置文件zoo.cfg&＃xff0c;如下所示,代码清单  zoo.cfg中的参数设置

# The number of milliseconds of each tick
tickTime&＃61;2000
# The number of ticks that the initial
# synchronization phase can take
initLimit&＃61;10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit&＃61;5
# the directory where the snapshot is stored.
dataDir&＃61;/data_disk/zookeeper/data
# the port at which the clients will connect
clientPort&＃61;2183
#the location of the log file
dataLogDir&＃61;/data_disk/zookeeper/logs
server.0&＃61;hadoop:2288:3388
server.1&＃61;hadoop0:2288:3388
server.2&＃61;hadoop1:2288:3388

1.3.3 启动

分别在3台机器上启动ZooKeeper的Server&＃xff1a;zkServer.sh start&＃xff1b;

二、Zookeeper的配置

Zookeeper的功能特性是通过Zookeeper配置文件来进行控制管理的(zoo.cfg).这样的设计其实有其自身的原因&＃xff0c;通过前面对Zookeeper的配置可以看出&＃xff0c;在对Zookeeper集群进行配置的时候&＃xff0c;它的配置文档是完全相同的。集群伪分布模式中&＃xff0c;有少部分是不同的。这样的配置方式使得在部署Zookeeper服务的时候非常方便。如果服务器使用不同的配置文件&＃xff0c;必须确保不同配置文件中的服务器列表相匹配。

在设置Zookeeper配置文档时候&＃xff0c;某些参数是可选的&＃xff0c;某些是必须的。这些必须参数就构成了Zookeeper配置文档的最低配置要求。另外&＃xff0c;若要对Zookeeper进行更详细的配置&＃xff0c;可以参考下面的内容。

2.1 基本配置

下面是在最低配置要求中必须配置的参数&＃xff1a;

(1) client&＃xff1a;监听客户端连接的端口。
(2) tickTime&＃xff1a;基本事件单元&＃xff0c;这个时间是作为Zookeeper服务器之间或客户端与服务器之间维持心跳的时间间隔&＃xff0c;每隔tickTime时间就会发送一个心跳&＃xff1b;最小 的session过期时间为2倍tickTime 　　
dataDir&＃xff1a;存储内存中数据库快照的位置&＃xff0c;如果不设置参数&＃xff0c;更新食物的日志将被存储到默认位置。

应该谨慎的选择日志存放的位置&＃xff0c;使用专用的日志存储设备能够大大提高系统的性能&＃xff0c;如果将日志存储在比较繁忙的存储设备上&＃xff0c;那么将会很大程度上影像系统性能。

2.2 高级配置

下面是高级配置参数中可选配置参数&＃xff0c;用户可以使用下面的参数来更好的规定Zookeeper的行为&＃xff1a;

(1) dataLogdDir

这个操作让管理机器把事务日志写入“dataLogDir”所指定的目录中&＃xff0c;而不是“dataDir”所指定的目录。这将允许使用一个专用的日志设备&＃xff0c;帮助我们避免日志和快照的竞争。配置如下&＃xff1a;

# the directory where the snapshot is stored
   dataDir&＃61;/usr/local/zk/data　

(2) maxClientCnxns

这个操作将限制连接到Zookeeper的客户端数量&＃xff0c;并限制并发连接的数量&＃xff0c;通过IP来区分不同的客户端。此配置选项可以阻止某些类别的Dos攻击。将他设置为零或忽略不进行设置将会取消对并发连接的限制。

例如&＃xff0c;此时我们将maxClientCnxns的值设为1&＃xff0c;如下所示&＃xff1a;

# set maxClientCnxns
   maxClientCnxns&＃61;1

启动Zookeeper之后&＃xff0c;首先用一个客户端连接到Zookeeper服务器上。之后如果有第二个客户端尝试对Zookeeper进行连接&＃xff0c;或者有某些隐式的对客户端的连接操作&＃xff0c;将会触发Zookeeper的上述配置。

(3) minSessionTimeout和maxSessionTimeout

即最小的会话超时和最大的会话超时时间。在默认情况下&＃xff0c;minSession&＃61;2*tickTime&＃xff1b;maxSession&＃61;20*tickTime。

2.3 集群配置

(1) initLimit

此配置表示&＃xff0c;允许follower(相对于Leaderer言的“客户端”)连接并同步到Leader的初始化连接时间&＃xff0c;以tickTime为单位。当初始化连接时间超过该值&＃xff0c;则表示连接失败。

(2) syncLimit

此配置项表示Leader与Follower之间发送消息时&＃xff0c;请求和应答时间长度。如果follower在设置时间内不能与leader通信&＃xff0c;那么此follower将会被丢弃。

(3) server.A&＃61;B&＃xff1a;C&＃xff1a;D

A&＃xff1a;其中 A 是一个数字&＃xff0c;表示这个是服务器的编号&＃xff1b;
B&＃xff1a;是这个服务器的 ip 地址&＃xff1b;
C&＃xff1a;Leader选举的端口&＃xff1b;
D&＃xff1a;Zookeeper服务器之间的通信端口。

(4) myid和zoo.cfg

除了修改 zoo.cfg 配置文件&＃xff0c;集群模式下还要配置一个文件 myid&＃xff0c;这个文件在 dataDir 目录下&＃xff0c;这个文件里面就有一个数据就是 A 的值&＃xff0c;Zookeeper 启动时会读取这个文件&＃xff0c;拿到里面的数据与 zoo.cfg 里面的配置信息比较从而判断到底是那个 server。