作者：林啾啾 | 来源：互联网 | 2023-07-23 17:24
1.查看kafka主题信息kafka-topics.sh\--describe--zookeeperlocalhost:2181\--topicflink_window2.查看主题
1.查看kafka主题信息
| kafka-topics.sh \ --describe --zookeeper localhost:2181 \ --topic flink_window |
2.查看主题列表
| kafka-topics.sh \ --zookeeper 127.0.0.1:2181 \ --list |
__consumer_offsets是关系偏移量的主题 kafka自己内部的主题。
3.Kafka消费者启动命令
| kafka-console-consumer.sh \ --bootstrap-server hdp-dn-01:9092,hdp-dn-02:9092,hdp-dn-03:9092 \ --topic flink_window_new |
4.kafka生产者启动命令
| kafka-console-producer.sh \ --broker-list hdp-dn-01:9092,hdp-dn-02:9092,hdp-dn-03:9092 \ --topic flink_window_new |
5.Kafka查看 consumer_offset,logSize,lag的命令行 ---查看topic消费进度
| kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper localhost:2181 --group test11 --topic test123 |
Group&＃xff1a;消费组
Topic&＃xff1a;消费主题
Pid&＃xff1a;分区编码
Offset&＃xff1a;消费的偏移量&＃xff08;unknown是没有消费者消费主题&＃xff09;
logSize&＃xff1a;已经写到该分区的消息数
Lag&＃xff1a;还有多少消息未读取&＃xff08;Lag &＃61; logSize - Offset&＃xff09;
Owner&＃xff1a;该分区创建在那个Broker server上面
6.查看消费者组的消费情况
| kafka-consumer-groups.sh \ --bootstrap-server hdp-dn-01:9092,hdp-dn-01:9092,hdp-dn-01:9092 \ --group test11 \ --describe |
| TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG CONSUMER-ID HOST CLIENT-ID test123 1 624 624 0 - - - log 1 26 26 0 - - - log 2 26 27 1 - - - test123 0 622 622 0 - - - test123 2 483 483 0 - - - log 0 27 27 0 - - - |
注意看current-offset 和 log-end-offset还有 lag &＃xff0c;分别为当前偏移量&＃xff0c;结束的偏移量&＃xff0c;落后的偏移量。
Spark 直连kafka自己维护偏移量所以kafka 内部不保存便宜量&＃xff1a;
7.查看kafka所有消费者组
| ./kafka-consumer-groups.sh \ --bootstrap-server localhost:9092 \ --list |
8.查看topic中各分区的最大偏移量&＃xff08;即总数据量&＃xff09;。
./kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list hdp-dn-01:9092 --topic AdRealTimeLog1 --time -1
9.kafka命令行消费数据
./kafka-console-consumer.sh --zookeeper hdp-dn-01:2181 --topic AdRealTimeLog1
未完待续。。。。。
京公网安备 11010802041100号