KafkaTopic级别配置详解

### 一、Kafka 中 Topic 级别配置

#### 1. Topic 级别配置概述

在 Apache Kafka 中，Topic 级别的配置允许用户对特定的 Topic 进行个性化的设置。这些配置可以覆盖全局配置，提供更灵活的数据管理和性能优化。

- **配置优先级**：当 Topic 级别的配置与全局配置存在冲突时，Topic 级别的配置将优先生效。
- **默认值**：如果没有设置 Topic 级别的配置，系统将使用全局配置中的默认值。

#### 2. 创建 Topic 时配置参数

在创建 Topic 时，可以通过 `--config` 参数设置一个或多个配置项。例如，创建一个名为 `my-topic` 的 Topic，并设置最大消息大小和刷新频率：

```sh
bin/kafka-topics.sh --zookeeper 192.168.2.225:2183/config/mobile/mq/mafka02 --create --topic my-topic --partitions 1 --replication-factor 1 --config max.message.bytes=64000 --config flush.messages=1
```

#### 3. 修改 Topic 时配置参数

已经存在的 Topic 可以通过 `--alter` 参数修改其配置。例如，修改 `my-topic` 的最大消息大小：

```sh
bin/kafka-topics.sh --zookeeper 192.168.2.225:2183/config/mobile/mq/mafka02 --alter --topic my-topic --config max.message.bytes=128000
```

#### 4. 删除 Topic 级别配置参数

如果需要删除某个 Topic 的配置参数，可以使用 `--delete-config` 参数。例如，删除 `my-topic` 的最大消息大小配置：

```sh
bin/kafka-topics.sh --zookeeper 192.168.2.225:2183/config/mobile/mq/mafka02 --alter --topic my-topic --delete-config max.message.bytes
```

**注意**：Kafka 集群的根目录为 `/config/mobile/mq/mafka02`，所有节点信息均在此目录下。

### 二、Topic 级别配置属性表

| 属性 | 默认值 | 全局配置属性 | 说明 |
|------|--------|--------------|------|
| `cleanup.policy` | `delete` | `log.cleanup.policy` | 日志清理策略，可选值为 `delete` 和 `compact`，分别用于处理过期数据和日志文件达到限制的情况。|
| `delete.retention.ms` | `86400000 (24 hours)` | `log.cleaner.delete.retention.ms` | 压缩日志保留的最长时间，也是客户端消费消息的最长时间。|
| `flush.messages` | `None` | `log.flush.interval.messages` | 在将日志文件同步到磁盘之前累积的消息条数，用于平衡数据可靠性和性能。|
| `flush.ms` | `None` | `log.flush.interval.ms` | 控制 `fsync` 的时间间隔，确保即使消息量未达到阈值，也能按时同步到磁盘。|
| `index.interval.bytes` | `4096` | `log.index.interval.bytes` | 执行 `fetch` 操作后扫描最近的 `offset` 大小，设置越大扫描速度越快，但占用更多内存。|
| `message.max.bytes` | `1,000,000` | `message.max.bytes` | 消息的最大大小，单位为字节。|
| `min.cleanable.dirty.ratio` | `0.5` | `log.cleaner.min.cleanable.ratio` | 日志清理的频率控制，值越大清理效率越高，但也可能造成空间浪费。|
| `retention.bytes` | `None` | `log.retention.bytes` | 每个分区的最大文件大小，`-1` 表示无大小限制。|
| `retention.ms` | `None` | `log.retention.minutes` | 数据存储的最大时间，超过该时间将根据 `log.cleanup.policy` 设置的策略处理数据。|
| `segment.bytes` | `1 GB` | `log.segment.bytes` | 控制每个 `segment` 文件的大小。|
| `segment.index.bytes` | `10 MB` | `log.index.size.max.bytes` | `segment` 日志的索引文件大小限制。|
| `log.roll.hours` | `7 days` | `log.roll.hours` | 当日志 `segment` 未达到 `log.segment.bytes` 设置的大小时，强制新建一个 `segment`。|