kafka利用zookeeper干了什么

Kafka与zk的关系及连接参数bootstrap.server的正确理解

zk在kafka中的作用

kafka消费组

如上图所示&＃xff0c;kafka的运行离不开zookeeper&＃xff0c;主要在以下方面依赖zookeeper&＃xff1a;

1&＃xff0c;集群管理&＃xff0c;broker的动态上下线。

每个broker在启动成功后会在zookeeper建立临时节点&＃xff0c;controller节点监听节点的变化&＃xff0c;完成leader的重新选举和消费者的重新负载均衡。

broker上线前在zookeeper中查看&＃xff1a;

[zk: localhost:2181(CONNECTED) 79] ls /brokers/ids
[]


broker上线后&＃xff1a;

[zk: localhost:2181(CONNECTED) 80] ls /brokers/ids
[0, 1, 2]


保存这个各个broker的地址信息。

2&＃xff0c;各个topic的分区信息

[zk: localhost:2181(CONNECTED) 70] get /brokers/topics/input-kafka
{"version":2,"partitions":{"2":[0,1,2],"1":[2,0,1],"0":[1,2,0]},"adding_replicas":{},"removing_replicas":{}}


如上&＃xff0c;topic&＃xff1a;input-kafka包括三个分区&＃xff0c;每个分区有三个副本&＃xff0c;还标明了每个分区所在broker信息&＃xff0c;如分区“2”分别存放在三个不同的broker上&＃xff1a;[0,1,2]

3&＃xff0c;分区信息信息、leader信息、leader-follower同步组信息

topic的分区信息&＃xff1a;

[zk: localhost:2181(CONNECTED) 82] ls /brokers/topics/input-kafka/partitions
[0, 1, 2]


各个分区的副本信息、leader、leader-follower同步组信息

[zk: localhost:2181(CONNECTED) 84] get /brokers/topics/input-kafka/partitions/0/state
{"controller_epoch":250,"leader":2,"version":1,"leader_epoch":46,"isr":[2,0,1]}
cZxid &＃61; 0xa200000110
ctime &＃61; Sat Jun 05 23:27:02 HKT 2021
mZxid &＃61; 0xb8000001c8
mtime &＃61; Fri Jun 25 18:36:08 HKT 2021
pZxid &＃61; 0xa200000110
cversion &＃61; 0
dataVersion &＃61; 76
aclVersion &＃61; 0
ephemeralOwner &＃61; 0x0
dataLength &＃61; 79
numChildren &＃61; 0

• “isr”:[2,0,1] 表示三个副本都是同步的&＃xff0c;这里解释下同步的意思&＃xff0c;因为是分布式&＃xff0c;leader分片写入成功后&＃xff0c;副本分片会从leader拉取数据&＃xff0c;这中间会有时间延迟&＃xff0c;默认是10s&＃xff0c;在10s之后follower和leader仍然不同步&＃xff0c;则会被溢出isr队列

• 生产者会获取分区信息&＃xff0c;拿到各个分区的leader信息&＃xff0c;根据负载均衡策略向broker写入消息

注意&＃xff0c;消费相关在kafka 0.9以前是保存在zookeeper中&＃xff0c;0.9以后不再保存在zookeeper中了&＃xff0c;kafka自己保存&＃xff0c;可以用kafka tool工具查看。

1&＃xff0c;消费进度

以消费者组为单位&＃xff0c;统计消费者消费的进度&＃xff0c;记录的是分区的偏移量。

0.9以前保存在zookeeper中&＃xff0c;0.9以后保存在内建的topic:__consumer_offsets

Kafka 如何读取offset topic内容 (__consumer_offsets)

2&＃xff0c;topic分区和消费组的关系

__consumer_offsets 中保存着消费者组、topic、topic分区和offset的信息。