使用KafkaManager管理Kafka集群

公司使用到了Kafka&＃xff0c;想借助一套可视化的工具更好地管理Kafka。笔者将目光瞄准了Kafka Manager。

安装Kafka

一、下载Kafka

前往http://kafka.apache.org/downloads &＃xff0c;根据自己的需要&＃xff0c;下载合适版本的Kafka&＃xff0c;笔者使用的版本是kafka_2.12-0.10.2.1。

二、启动Kafka

启动Zookeeper。Kafka依赖Zookeeper&＃xff0c;因此&＃xff0c;启动Kafka前得先启动Zookeeper。在Kafka的根路径执行如下命令即可启动Zookeeper

bin/zookeeper-server-start.sh config/zookeeper.properties &
启动Kafka。启动完Zookeeper后&＃xff0c;即可启动Kafka。执行如下命令即可。

bin/kafka-server-start.sh config/server.properties &

三、测试Kafka

创建一个Topic

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
如创建成功&＃xff0c;将会显示类似如下的内容&＃xff1a;

Created topic "test".
查看创建的Topic

bin/kafka-topics.sh --list --zookeeper localhost:2181
创建一个消息生产者

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
此时&＃xff0c;终端会滞留&＃xff0c;我们可以随便输入一些内容&＃xff0c;该内容将会生产到Kafka中。
创建一个消息消费者。新建一个终端&＃xff0c;输入如下命令&＃xff1a;

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
如消费者可收到在生产者中输入的内容&＃xff0c;则说明Kafka搭建成功。

安装Kafka Manager

一、Kafka Manager简介

Kafka Manager是一款非常强大的Kafka管理工具。功能如下&＃xff1a;

Manage multiple clusters
Easy inspection of cluster state (topics, consumers, offsets, brokers, replica distribution, partition distribution)
Run preferred replica election
Generate partition assignments with option to select brokers to use
Run reassignment of partition (based on generated assignments)
Create a topic with optional topic configs (0.8.1.1 has different configs than 0.8.2&＃43;)
Delete topic (only supported on 0.8.2&＃43; and remember set delete.topic.enable&＃61;true in broker config)
Topic list now indicates topics marked for deletion (only supported on 0.8.2&＃43;)
Batch generate partition assignments for multiple topics with option to select brokers to use
Batch run reassignment of partition for multiple topics
Add partitions to existing topic
Update config for existing topic
Optionally enable JMX polling for broker level and topic level metrics.
Optionally filter out consumers that do not have ids/ owners/ & offsets/ directories in zookeeper.

二、下载Kafka Manager

前往https://github.com/yahoo/kafka-manager/releases &＃xff0c;根据自己的需要&＃xff0c;下载合适版本的Kafka Manager源码&＃xff0c;笔者使用的版本是1.3.3.13。

三、构建

由于Kafka Manager只提供了源码&＃xff0c;并没有提供二进制包&＃xff0c;因此我们需要对下载下来的源码进行构建&＃xff0c;构建依赖工具sbt。

安装sbt。在macOS中&＃xff0c;执行如下命令即可安装sbt。对于其他操作系统&＃xff0c;可参考官方文档进行安装&＃xff1a;http://www.scala-sbt.org/0.13/docs/Setup.html

brew install sbt

解压源码
在源码根目录下执行如下命令构建项目&＃xff1a;

sbt clean dist
由于伟大的墙&＃xff0c;尽管我为sbt配置了Aliyun 等若干镜像仓库&＃xff0c;依然很慢。经过长达100年的等待&＃xff0c;本机依然无法构建成功。笔者实在受不了了&＃xff0c;干脆在Linode 上购置了一台云服务器。在服务器上安装Java、sbt&＃xff0c;并执行sbt clean dist 进行构建&＃xff0c;只花了5分钟不到&＃xff0c;构建就完成了&＃xff0c;不得不鄙视国内的【局域网】。
构建成功后&＃xff0c;在target/universal 目录下找到类似kafka-manager-1.3.3.13.zip 的文件&＃xff0c;这个就是构件好的Kafka Manager啦。

四、配置

解压kafka-manager-1.3.3.13.zip 。
修改conf/application.conf &＃xff0c;将配置属性kafka-manager.zkhosts 改为您的zk集群地址。
在Kafka Manager根目录下执行如下命令&＃xff0c;即可启动Kafka Manager。

nohup bin/kafka-manager \ -Dconfig.file&＃61;conf/application.conf \-Dhttp.port&＃61;9000 &
如提示

akka.ConfigurationException: Could not start logger due to [akka.ConfigurationException: Logger specified in config can&＃39;t be loaded [akka.event.slf4j.Slf4jLogger] due to [akka.event.Logging$LoggerInitializationException: Logger log1-Slf4jLogger did not respond with LoggerInitialized, sent instead [TIMEOUT]]]at akka.event.LoggingBus$class.startDefaultLoggers(Logging.scala:144)
则在conf/application.conf 中找到类似如下是内容&＃xff1a;

akka {loggers &＃61; ["akka.event.slf4j.Slf4jLogger"]loglevel &＃61; "INFO" }
改为&＃xff1a;

akka {loggers &＃61; ["akka.event.slf4j.Slf4jLogger"]loglevel &＃61; "INFO"logger-startup-timeout &＃61; 30s }
这样就不会报超时了。
使用http://localhost:9000 即可访问Kafka Manager啦。

配置Kafka Manager

初次访问时&＃xff0c;需配置想要监控的Kafka集群。

点击http://localhost:9000 导航栏上的"Add Cluster"按钮&＃xff0c;
配置Kafka集群名称、Kafka集群的ZK列表等参数&＃xff0c;如下图&＃xff1a;

kafka-manager-configuration.png

这样即可监控你的Kafka集群啦。

参考文档

搭建单机版Kafka&＃xff1a;http://blog.csdn.net/jingshuigg/article/details/24439637
Kafka Manager的GitHub&＃xff1a;https://github.com/yahoo/kafka-manager
Kafka Manager启动报超时异常的Issue&＃xff1a;https://github.com/yahoo/kafka-manager/issues/256

本文链接&＃xff1a; http://www.itmuch.com/work/kafka-manager/
**版权声明&＃xff1a; **本博客由周立创作&＃xff0c;采用 CC BY 3.0 CN 许可协议。可自由转载、引用&＃xff0c;但需署名作者且注明文章出处。如转载至微信公众号&＃xff0c;请在文末添加作者公众号二维码。