大数据开发岗面试复习30天冲刺日积月累，每日五题【Day06】——Kafka4

前言

大家好&＃xff0c;我是程序员manor。作为一名大数据专业学生、爱好者&＃xff0c;深知面试重要性&＃xff0c;很多学生已经进入暑假模式&＃xff0c;暑假也不能懈怠&＃xff0c;正值金九银十的秋招
接下来我准备用30天时间&＃xff0c;基于大数据开发岗面试中的高频面试题&＃xff0c;以每日5题的形式&＃xff0c;带你过一遍常见面试题及恰如其分的解答。

相信只要一路走来&＃xff0c;日积月累&＃xff0c;我们终会在最高处见。
以古人的话共勉&＃xff1a;道阻且长&＃xff0c;行则将至&＃xff1b;行而不辍&＃xff0c;未来可期&＃xff01;

本栏目大数据开发岗高频面试题主要出自大数据技术专栏的各个小专栏,由于个别笔记上传太早,排版杂乱,后面会进行原文美化、增加。

不要急着往下滑&＃xff0c;默默想5min&＃xff0c;看看这5道面试题你都会吗&＃xff1f;

面试题 01、为什么要设计Segment&＃xff1f;
面试题02、什么是AR、ISR、OSR&＃xff1f;
面试题 03、什么是HW、LEO&＃xff1f;
面试题04、什么是一次性语义&＃xff1f;
面试题05、Kafka如何保证消费者消费数据不重复不丢失&＃xff1f;


以下答案仅供参考&＃xff1a;

面试题 01、为什么要设计Segment&＃xff1f;

•加快查询效率&＃xff1a;将数据划分到多个小文件中&＃xff0c;通过offset匹配可以定位某个文件&＃xff0c;从小数据量中找到需要的数据
•提高删除性能&＃xff1a;以Segment为单位进行删除&＃xff0c;避免以每一条数据进行删除&＃xff0c;影响性能

面试题02、什么是AR、ISR、OSR&＃xff1f;

•AR&＃xff1a;all replicas
–所有副本 &＃61; ISR &＃43; OSR
•ISR&＃xff1a;In-sync-replicas
–表示正在同步的副本 &＃61;》 可用副本分区
–如果Leader故障&＃xff0c;会从ISR中选举一个新的leader
•OSR&＃xff1a;Out-sync-replicas
–表示不健康的副本 &＃61;》 不可用副本
–判断依据
#如果这个从副本在这个时间内没有与leader副本同步数据&＃xff0c;认为这个副本是不正常的
参数设置: replica.lag.time.max.ms &＃61; 10000

面试题 03、什么是HW、LEO&＃xff1f;

•HW&＃xff1a;表示当前leader副本中所有Follower都已经同步的位置 &＃43; 1&＃xff0c;高水位线
•LEO&＃xff1a;表示当前leader副本最新的数据位置 &＃43; 1
•消费者能消费到的位置是HW&＃xff1a;为了保证消费者消费分区数据的统一性

面试题04、什么是一次性语义&＃xff1f;

•at-most-once&＃xff1a;最多一次
•at-least-once&＃xff1a;至少一次
•exactly-once&＃xff1a;有且仅有一次

面试题05、Kafka如何保证消费者消费数据不重复不丢失&＃xff1f;

•Kafka消费者通过Offset实现数据消费&＃xff0c;只要保证各种场景下能正常实现Offset的记录即可
•保证消费数据不重复需要每次消费处理完成以后&＃xff0c;将Offset存储在外部存储中&＃xff0c;例如MySQL、Zookeeper、Redis中
•保证以消费分区、处理分区、记录分区的offset的顺序实现消费处理
•如果故障重启&＃xff0c;只要从外部系统中读取上一次的Offset继续消费即可

总结

今天我们复习了面试中常考的Kakfa相关的五个问题&＃xff0c;你做到心中有数了么&＃xff1f;
其实做这个专栏我也有私心&＃xff0c;就是希望借助每天写一篇面试题&＃xff0c;督促自己学习&＃xff0c;以免在吹水群甚至都没有谈资&＃xff01;
对了&＃xff0c;如果你的朋友也在准备面试&＃xff0c;请将这个系列扔给他&＃xff0c;
好了&＃xff0c;今天就到这里&＃xff0c;学废了的同学&＃xff0c;记得在评论区留言&＃xff1a;打卡。给同学们以激励。