数据副本管理_ApacheKafka核心组件和流程(副本管理器)

Apache Kafka 编程实战您可能感性的文章:

Apache-Kafka简介

Apache Kafka安装和使用

Apache-Kafka核心概念

Apache-Kafka核心组件和流程-协调器

Apache-Kafka核心组件和流程(副本管理器)

Apache-Kafka 核心组件和流程-控制器

Apache-Kafka核心组件和流程-日志管理器

....

本章简单介绍了副本管理器&＃xff0c;副本管理器负责分区及其副本的管理。副本管理器具体的工作流程可以参考牟大恩所著的《Kafka入门与实践》

副本管理器

副本机制使得kafka整个集群中&＃xff0c;只要有一个代理存活&＃xff0c;就可以保证集群正常运行。这大大提高了Kafka的可靠性和稳定性。Kafka中代理的存活&＃xff0c;需要满足以下两个条件&＃xff1a;

• 存活的节点要维持和zookeeper的session连接&＃xff0c;通过zookeeper的心跳机制实现
• Follower副本要与leader副本保持同步&＃xff0c;不能落后太多。

满足以上条件的节点在ISR中&＃xff0c;一旦宕机&＃xff0c;或者中断时间太长&＃xff0c;Leader就会把同步副本从ISR中踢出。

所有节点中&＃xff0c;leader节点负责接收客户端的读写操作&＃xff0c;follower节点从leader复制数据。

副本管理器负责对副本管理。由于副本是分区的副本&＃xff0c;所以对副本的管理体现在对分区的管理。

在第三章已经对分区和副本有了详细的讲解&＃xff0c;这里再介绍两个重要的概念&＃xff0c;LEO和HW。

• LEO是Log End Offset缩写。表示每个分区副本的最后一条消息的位置&＃xff0c;也就是说每个副本都有LEO。
• HW是Hight Watermark缩写&＃xff0c;他是一个分区所有副本中&＃xff0c;最小的那个LEO。

看下图&＃xff1a;

分区test-0有三个副本&＃xff0c;每个副本的LEO就是自己最后一条消息的offset。可以看到最小的LEO是Replica2的&＃xff0c;等于3&＃xff0c;也就是说HW&＃61;3。这代表offset&＃61;4的消息还没有被所有副本复制&＃xff0c;是无法被消费的。而offset<&＃61;3的数据已经被所有副本复制&＃xff0c;是可以被消费的。

副本管理器所承担的职责如下&＃xff1a;

• 副本过期检查
• 追加消息
• 拉取消息
• 副本同步过程
• 副本角色转换
• 关闭副本