热门标签 | HotTags
当前位置:  开发笔记 > 运维 > 正文

Centos7下安装Kafka3

1.官网下载,下载地址2.安装至usrlocalkafka3.3.1#解压tar-zxffkafka_2.12-3.3.1.tgz#更改名字mvkafka_2.12-3.3.1ka

1.官网下载,下载地址



2.安装至/usr/local/kafka3.3.1

#解压
tar -zxff kafka_2.12-3.3.1.tgz
#更改名字
mv kafka_2.12-3.3.1 kafka3.3.1

3.kafka3版本之后自带zookeeper,zookeeper配置文件的位置为解压后/config/zookeeper.properties

#主要是配置快照存放地址路径
dataDir=/usr/local/kafka3.3.1/zookeeperdata
#端口号
clientPort=2181
maxClientCnxns=0
admin.enableServer=false

4.修改kafka的配置文件,位置/config/server.properties

#保证唯一
broker.id=0
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
#配置日志存放文件夹路径
log.dirs=/usr/local/kafka3.3.1/kafka-logs
num.partitiOns=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.retention.check.interval.ms=300000
#zookeeper的地址和端口号
zookeeper.cOnnect=localhost:2181
zookeeper.connection.timeout.ms=18000
group.initial.rebalance.delay.ms=0

5.启动


zookeeper启动


[root@kht118 bin]# ./zookeeper-server-start.sh -daemon ../config/zookeeper.properties
[root@kht118 bin]# jps -l
87750 org.apache.zookeeper.server.quorum.QuorumPeerMain
87802 sun.tools.jps.Jps
[root@kht118 bin]# ps aux|grep zookeeper

kafka启动


[root@kht118 bin]# ./kafka-server-start.sh -daemon ../config/server.properties
[root@kht118 bin]# jps -l
87750 org.apache.zookeeper.server.quorum.QuorumPeerMain
89080 sun.tools.jps.Jps
89020 kafka.Kafka
[root@kht118 bin]# ps aux|grep kafka


推荐阅读
  • 本文详细介绍了如何通过RPM包在Linux系统(如CentOS)上安装MySQL 5.6。涵盖了检查现有安装、下载和安装RPM包、配置MySQL以及设置远程访问和开机自启动等步骤。 ... [详细]
  • EasyMock实战指南
    本文介绍了如何使用EasyMock进行单元测试,特别是当测试对象的合作者依赖于外部资源或尚未实现时。通过具体的示例,展示了EasyMock在模拟对象行为方面的强大功能。 ... [详细]
  • window下kafka的安装以及测试
    目录一、安装JDK(需要安装依赖javaJDK)二、安装Kafka三、测试参考在Windows系统上安装消息队列kafka一、安装JDKÿ ... [详细]
  • Kafka Topic 数据管理与清理策略
    本文探讨了在生产环境中如何有效管理和定期清理Kafka Topic中的数据。介绍了基于时间、日志大小和日志起始偏移量三种清除方式,并重点讲解了基于时间的清除策略及其配置方法。 ... [详细]
  • 收割机|篇幅_国内最牛逼的笔记,不接受反驳!!
    收割机|篇幅_国内最牛逼的笔记,不接受反驳!! ... [详细]
  • Kafka消息存储机制详解
    本文详细解析了Kafka中消息的物理存储结构,包括消息在日志文件中的具体存储方式及各字段的含义,同时介绍了分区、段落文件以及索引文件的管理机制。 ... [详细]
  • 一面问题:MySQLRedisKafka线程算法mysql知道哪些存储引擎,它们的区别mysql索引在什么情况下会失效mysql在项目中的优化场景&# ... [详细]
  • 深入理解Kafka架构
    本文将详细介绍Kafka的内部工作机制,包括其工作流程、文件存储机制、生产者与消费者的具体实现,以及如何通过高效读写技术和Zookeeper支持来确保系统的高性能和稳定性。 ... [详细]
  • 58同城的Elasticsearch应用与平台构建实践
    本文由58同城高级架构师于伯伟分享,由陈树昌编辑整理,内容源自DataFunTalk。文章探讨了Elasticsearch作为分布式搜索和分析引擎的应用,特别是在58同城的实施案例,包括集群优化、典型应用实例及自动化平台建设等方面。 ... [详细]
  • 本文从数据埋点的设计者视角出发,全面解析数据埋点的技术原理、应用场景及其管理方法,涵盖基础知识、实施策略、数据处理流程等内容。 ... [详细]
  • 利用GitHub热门资源,成功斩获阿里、京东、腾讯三巨头Offer
    Spring框架作为Java生态系统中的重要组成部分,因其强大的功能和灵活的扩展性,被广泛应用于各种规模的企业级应用开发中。本文将通过一份在GitHub上获得极高评价的Spring全家桶文档,探讨如何掌握Spring框架及其相关技术,助力职业发展。 ... [详细]
  • 构建Filebeat-Kafka-Logstash-ElasticSearch-Kibana日志收集体系
    本文介绍了如何使用Filebeat、Kafka、Logstash、ElasticSearch和Kibana构建一个高效、可扩展的日志收集与分析系统。各组件分别承担不同的职责,确保日志数据能够被有效收集、处理、存储及可视化。 ... [详细]
  • 获得头条Offer后,我感激的七个技术公众号
    是否感觉订阅的公众号过多,浏览时缺乏目标性,未能获取实质性的知识?本文将介绍如何精简公众号列表,提升信息吸收效率,并推荐几个高质量的技术公众号。 ... [详细]
  • Python for 循环详解及应用
    在上一篇文章中,我们探讨了 while 循环和 if 判断的使用方法。本次我们将深入讲解 for 循环,并推荐一款强大的 Python 开发工具 PyCharm,帮助你更高效地编写代码。 ... [详细]
  • Kafka课程界面截图
    展示Kafka课程学习界面的截图,适用于Go语言开发者交流与学习。 ... [详细]
author-avatar
勿泊心
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有