热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

3.Kafka常用命令

版本:kafka_2.13-2.8.01、查看当前服务器中的所有topicbinkafka-topics.sh--list--bootstrap-serverhado

版本:kafka_2.13-2.8.0


1、查看当前服务器中的所有topic

bin/kafka-topics.sh --list --bootstrap-server hadoop201:9092


2、创建topic

bin/kafka-topics.sh --create --bootstrap-server hadoop201:9092 --topic firstTopic

也可以在创建 topic 时,手动方式指定分区数副本数

bin/kafka-topics.sh --create --bootstrap-server hadoop201:9092 --replication-factor 2 --partitions 3 --topic firstTopic

备注:
  replication-factor 2   备份数(2个备份)
  partitions 3   分区数(3个分区)
  topic firstTopic   firstTopic为topic的名称


3、显示topic详细信息

bin/kafka-topics.sh --describe --topic firstTopic --bootstrap-server hadoop201:9092

[hadoop@hadoop201 kafka]$ bin/kafka-topics.sh --describe --topic firstTopic --bootstrap-server hadoop201:9092
Topic: firstTopic TopicId: n0-rqoLVQkqsriiCElr4mw PartitionCount: 1 ReplicationFactor: 3 Configs: segment.bytes=1073741824Topic: firstTopic Partition: 0 Leader: 2 Replicas: 2,1,0 Isr: 2,1,0

4、删除topic

bin/kafka-topics.sh --delete --bootstrap-server hadoop201:9020 --topic firstTopic


  • 老版本:需要server.properties中设置delete.topic.enable=true,否则只是标记删除或者直接重启。
  • 新版本:已经没有delete.topic.enable=true这个配置,可以直接删除 topic 了。如果有生产者或者消费者在使用该topic,需要停掉生产者或者消费者才能进行删除)

5、命令行发送消息

bin/kafka-console-producer.sh --topic firstTopic --bootstrap-server hadoop201:9092

备注:

  kafka01:主机名(通过vi /etc/sysconfig/network,修改hostname即可,此处可填IP地址)
  orderMq:为topic的名称

6、命令行消费消息

bin/kafka-console-consumer.sh --topic firstTopic --from-beginning --bootstrap-server hadoop201:9092

备注:
--from-beginning:会把主题中以往所有的数据都读取出来。即:从头开始读

7、查看消费位置

1.使用 --all-groups查看所有组
bin/kafka-consumer-groups.sh --bootstrap-server hadoop201:9092 --describe --all-groups

2.使用 --group 查看指定组
bin/kafka-consumer-groups.sh --bootstrap-server hadoop201:9092 --describe --group 组名

在这里插入图片描述

8、修改topic的分区数

bin/kafka-topics.sh --bootstrap-server hadoop201:9092 --alter --topic firstTopic --partitions 6

在这里插入图片描述


推荐阅读
  • 构建Filebeat-Kafka-Logstash-ElasticSearch-Kibana日志收集体系
    本文介绍了如何使用Filebeat、Kafka、Logstash、ElasticSearch和Kibana构建一个高效、可扩展的日志收集与分析系统。各组件分别承担不同的职责,确保日志数据能够被有效收集、处理、存储及可视化。 ... [详细]
  • window下kafka的安装以及测试
    目录一、安装JDK(需要安装依赖javaJDK)二、安装Kafka三、测试参考在Windows系统上安装消息队列kafka一、安装JDKÿ ... [详细]
  • UNP 第9章:主机名与地址转换
    本章探讨了用于在主机名和数值地址之间进行转换的函数,如gethostbyname和gethostbyaddr。此外,还介绍了getservbyname和getservbyport函数,用于在服务器名和端口号之间进行转换。 ... [详细]
  • 使用Vultr云服务器和Namesilo域名搭建个人网站
    本文详细介绍了如何通过Vultr云服务器和Namesilo域名搭建一个功能齐全的个人网站,包括购买、配置服务器以及绑定域名的具体步骤。文章还提供了详细的命令行操作指南,帮助读者顺利完成建站过程。 ... [详细]
  • Kafka Topic 数据管理与清理策略
    本文探讨了在生产环境中如何有效管理和定期清理Kafka Topic中的数据。介绍了基于时间、日志大小和日志起始偏移量三种清除方式,并重点讲解了基于时间的清除策略及其配置方法。 ... [详细]
  • 深入理解Kafka架构
    本文将详细介绍Kafka的内部工作机制,包括其工作流程、文件存储机制、生产者与消费者的具体实现,以及如何通过高效读写技术和Zookeeper支持来确保系统的高性能和稳定性。 ... [详细]
  • 58同城的Elasticsearch应用与平台构建实践
    本文由58同城高级架构师于伯伟分享,由陈树昌编辑整理,内容源自DataFunTalk。文章探讨了Elasticsearch作为分布式搜索和分析引擎的应用,特别是在58同城的实施案例,包括集群优化、典型应用实例及自动化平台建设等方面。 ... [详细]
  • 本文详细介绍了Akka中的BackoffSupervisor机制,探讨其在处理持久化失败和Actor重启时的应用。通过具体示例,展示了如何配置和使用BackoffSupervisor以实现更细粒度的异常处理。 ... [详细]
  • 如何配置Unturned服务器及其消息设置
    本文详细介绍了Unturned服务器的配置方法和消息设置技巧,帮助用户了解并优化服务器管理。同时,提供了关于云服务资源操作记录、远程登录设置以及文件传输的相关补充信息。 ... [详细]
  • 360SRC安全应急响应:从漏洞提交到修复的全过程
    本文详细介绍了360SRC平台处理一起关键安全事件的过程,涵盖从漏洞提交、验证、排查到最终修复的各个环节。通过这一案例,展示了360在安全应急响应方面的专业能力和严谨态度。 ... [详细]
  • 本文详细分析了Hive在启动过程中遇到的权限拒绝错误,并提供了多种解决方案,包括调整文件权限、用户组设置以及环境变量配置等。 ... [详细]
  • 本文探讨了如何优化和正确配置Kafka Streams应用程序以确保准确的状态存储查询。通过调整配置参数和代码逻辑,可以有效解决数据不一致的问题。 ... [详细]
  • 本文详细介绍如何使用Samba软件配置CIFS文件共享服务,涵盖安装、配置、权限管理及多用户挂载等关键步骤。通过具体示例和命令行操作,帮助读者快速搭建并优化Samba服务器。 ... [详细]
  • 本文从数据埋点的设计者视角出发,全面解析数据埋点的技术原理、应用场景及其管理方法,涵盖基础知识、实施策略、数据处理流程等内容。 ... [详细]
  • Kafka 示例项目中 Log4j 的配置与调试
    本文详细介绍了如何在 Kafka 源码中的示例项目配置 Log4j,以确保能够正确记录日志信息,帮助开发者更好地理解和调试代码。 ... [详细]
author-avatar
飞舞的猫2502890283
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有