跟我学Kafka:如何高效运维之主题篇

摘要&＃xff1a;对Kafka-topics命令详解&＃xff0c;并从运维角度窥探Kafka关于topic的运作机制。

作为一个Kafka初学者&＃xff0c;需要快速成长&＃xff0c;承担维护公司Kafka的重任&＃xff0c;对Kafka的学习&＃xff0c;我按照三步走策略&＃xff1a;

• 阅读Kafka相关书籍
• 从运维实战的角度学习Kafka
• 阅读源码&＃xff0c;体系化&＃xff0c;精细化掌握其实现原理

本文属于学习的第二阶段&＃xff1a;[从运维实战的角度学习Kafka]&＃xff0c;本文重点学习Kafka的主题&＃xff0c;如何通过运维命令创建、更新主题&＃xff0c;从Topic的可运维属性&＃xff0c;了解Topic在Kafka内部的运作机制。

1、Kafka topic运维命令的基本使用

Kafka提供了kafka-topics脚步用来创建、修改、删除、查询topic&＃xff0c;位于${kafka_home}/bin/kafka-topics.sh&＃xff0c;其中kafka_home表示Kafka的安装目录。

接下来对一些上述一些不那么直观的选项进行单独介绍。

1.1 --replica-assignment

收到指定副本数量和分区信息&＃xff0c;该参数不能和–partitions、–replication-factor同时使用。

其格式为&＃xff1a;每一个逗号表示一个分区的配置&＃xff0c;每一个分区分布的broker用冒号隔开。

–replication-factor　0:1,1:2,0:2 表示的含义是什么呢&＃xff1f;

分区数量为3个&＃xff0c;其中分区0(p0)分布在broker 0和1上&＃xff0c;分区1(p1)分布在broker 1,2上&＃xff0c;分区2(p2)分布在broker 0与1上。从而推出分区数量为3&＃xff0c;副本因子为2&＃xff0c;每一个分区的第一个broker为Leader&＃xff0c;其演示效果如下&＃xff1a;

2、Kafka Topic配置项详解

通过kafka-topics脚本在创建topic时可通过–config选项来定制化topic的属性&＃xff0c;接下来试图从这些属性来探究Kafka背后的运作机制。

• cleanup.policy
  数据文件清除机制&＃xff0c;支持Broker全局配置&＃xff0c;Topic定制化制定&＃xff0c;可选策略&＃xff1a;delete、compact&＃xff0c;默认值为delete。Kafka提供了数据段压缩的功能&＃xff0c;按照相同Key只保留最新Key的策略&＃xff0c;减少数据段大小&＃xff0c;系统主题__consumer_offsets(用于存储消息进度的主题)其清除策略就是compact。

• compression.type
  压缩类型&＃xff0c;Kafka目前支持的压缩算法&＃xff1a;gzip,snappy,lz4,zstd&＃xff0c;还支持如下两个配置&＃xff1a;

  • uncompressed
    不开启压缩
  • producer
    由发送方指定压缩算法&＃xff0c;客户端的可选值为gzip,snappy,lz4,zstd。

  数据进行压缩&＃xff0c;能节省网络带宽与存储空间&＃xff0c;但会增加CPU的性能&＃xff0c;故最佳实践&＃xff1a;Broker服务端不配置压缩算法&＃xff0c;由发送方指定&＃xff0c;在发送方进行压缩&＃xff0c;服务端原封不动进行存储&＃xff0c;并且在消费端解压缩。

• delete.retention.ms
  如果cleanup.policy策略为compact时&＃xff0c;针对消息体为null的消息&＃xff0c;Kafka会认为对其进行压缩没有意义&＃xff0c;立马删除也太草率&＃xff0c;故Kafka引入了该参数&＃xff0c;用来设置这些body为null的消息&＃xff0c;在一次压缩执行后&＃xff0c;多久后可被删除&＃xff0c;默认值为24h。

• file.delete.delay.ms

  文件在删除时延迟时间&＃xff0c;默认为60s&＃xff0c;Kafka中可以支持按topic删除日志文件(数据文件)&＃xff0c;执行删除之前&＃xff0c;首先会将该topic下的分区文件重名为*.deleted&＃xff0c;等待file.delete.delay.ms才从文件系统中删除。

• flush.messages
  按消息条数设置刷盘频率&＃xff0c;如果设置为1表示每写一条消息就触发一次刷盘&＃xff0c;默认值为Long.MaxValue&＃xff0c;在大部分场景官方不建议设置该值&＃xff0c;直接利用操作系统的刷盘机制即可&＃xff0c;Kafka希望通过副本机制能保证数据的持久可靠存储。

• flush.ms
  按时间间隔设置刷盘频率&＃xff0c;默认为Long.MaxValue&＃xff0c;Kafka希望借助操作系统的刷盘机制&＃xff0c;数据可靠性通过副本机制来保证。(副本机制其实无法保证同机房断电带来的数据丢失)

• index.interval.bytes
  索引文件的密度&＃xff0c;Kafka并不会为每一条消息(消息偏移量)建立索引&＃xff0c;而是每隔一定间隔&＃xff0c;建立一条索引。该参数就是设置其间隔&＃xff0c;默认为4096个字节。

• max.message.bytes
  一次消息发送(Batch)允许的最大字节数量&＃xff0c;默认为1000000&＃xff0c;约等于1M。

• message.downconversion.enable
  是否开启消息格式的自动转化&＃xff0c;如果设置为false&＃xff0c;Broker不会执行消息格式转化&＃xff0c;将不兼容老的客户端消费消息。

• message.format.version
  可以指定该主题按特定版本的API版本所对应的存储格式进行存储。

• message.timestamp.type
  设置消息中存储的时间戳的获取方式&＃xff0c;可选值&＃xff1a;

  • CreateTime
    消息在客户端的创建时间
  • LogAppendTime
    Broker服务端接收到的时间

  默认为CreateTime。

• message.timestamp.difference.max.ms
  当message.timestamp.type设置为CreateTime时&＃xff0c;允许Broker端时间与消息创建时间戳最大的差值&＃xff0c;如果超过该参数设置的阔值&＃xff0c;Broker会拒绝存储该消息&＃xff0c;默认为&＃xff1a;Long.MaxValue&＃xff0c;表示不开启开机制。

• min.cleanable.dirty.ratio
  控制可压缩的脏数据比例&＃xff0c;默认为0.5d&＃xff0c;如果一个文件中"脏数据"(未被压缩的数据)低于该阔值&＃xff0c;将不继续对该文件进行压缩&＃xff0c;该方法生效的条件为cleanup.policy设置为compact。

• min.compaction.lag.ms
  设置一条消息进入到Broker后多久之内不能被compact&＃xff0c;默认为0&＃xff0c;表示不启用该特性&＃xff0c;该方法生效的条件为cleanup.policy设置为compact。

• min.insync.replicas
  如果客户端在消息发送时将ack设置为all&＃xff0c;该参数指定必须至少多少个副本写入成功&＃xff0c;才能向客户端返回成功&＃xff0c;默认为1&＃xff0c;这个是一个兜底配置&＃xff0c;all的含义表示在ISR中的副本必须全部写入成功。

• preallocate
  是否开启预热文件(提前创建文件)&＃xff0c;默认为false。

• retention.bytes
  一个日志分区保留的最大字节数&＃xff0c;默认为-1&＃xff0c;表示不限制。

• retention.ms
  一个日志分区允许保留的最大时长&＃xff0c;默认保留7d。

• segment.bytes
  一个日志段的大小&＃xff0c;默认为1G。

• segment.index.bytes
  一个日志段索引文件的大小&＃xff0c;默认为10M。

• segment.jitter.ms
  段滚动的最大随机差。

• segment.ms
  Kafka强制滚动一个段的间隔时间&＃xff0c;及时该段并未全部填满消息&＃xff0c;默认值为7d

• unclean.leader.election.enable
  是否允许不在ISR中副本在没有ISR副本选择之后竞争成为Leader&＃xff0c;这样做有可能丢数据&＃xff0c;默认为false。

3、总结

本文从运维命令开始学习&＃xff0c;从使用运维层面全面了解Topic&＃xff0c;从而窥探其Kafka内部一些重要特性&＃xff0c;为后续从源码角度研究其实现打下坚实基础&＃xff0c;本文的最后给出一个分区数量为3&＃xff0c;副本因子为3的topic分区图来结束本文的讲解。

好了&＃xff0c;本文就介绍到这里了&＃xff0c;一键三连(关注、点赞、留言)是对我最大的鼓励。

掌握一到两门java主流中间件&＃xff0c;是敲开BAT等大厂必备的技能&＃xff0c;送给大家一个Java中间件学习路线&＃xff0c;助力大家实现职场的蜕变。

Java进阶之梯&＃xff0c;成长路线与学习资料&＃xff0c;助力突破中间件领域

最后分享笔者一个硬核的RocketMQ电子书&＃xff0c;您将获得千亿级消息流转的运维经验。

获取方式&＃xff1a;私信回复 RMQPDF 即可获得。

个人网站&＃xff1a;https://www.codingw.net