热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

kafka配置文件:server.properties

################################################################################System####

##########################################################

###################### System ############################

##########################################################


唯一标识在集群中的ID,要求是正数。

broker.id=1


像zk注册本机的IP地址,以防默认情况下状况注册信息为host地址,引发连接错误

listeners=PLAINTEXT://111.111.111.64:9092

advertised.listeners=PLAINTEXT://111.111.136.64:9092


服务端口,默认9092

port=9092


配置队列可被命令彻底删除

delete.topic.enable=true


处理网络请求的最大线程数

num.network.threads=15


处理磁盘I/O的线程数

num.io.threads=15


一些后台线程数

background.threads = 10


等待IO线程处理的请求队列最大数

queued.max.requests = 500


socket的发送缓冲区(SO_SNDBUF)

socket.send.buffer.bytes=1048576


socket的接收缓冲区 (SO_RCVBUF)

socket.receive.buffer.bytes=1048576


socket请求的最大字节数。为了防止内存溢出,message.max.bytes必然要小于

socket.request.max.bytes = 104857600

##########################################################

###################### Topic #############################

##########################################################


每个topic的分区个数,更多的partition会产生更多的segment file

num.partitiOns=3


是否允许自动创建topic ,若是false,就需要通过命令创建topic

auto.create.topics.enable =true


一个topic ,默认分区的replication个数 ,不能大于集群中broker的个数。

default.replication.factor =2


消息体的最大大小,单位是字节

message.max.bytes = 104857600


kafka的内部topic consumer_offsets副本数

offsets.topic.replication.factor=3

transaction.state.log.replication.factor=3

transaction.state.log.min.isr=1


设置offset的过期时间

offset.retention.minutes = 1440

##########################################################

#####################ZooKeeper ###########################

##########################################################


Zookeeper quorum设置。如果有多个使用逗号分割

zookeeper.cOnnect=111.121.121.192:2181,111.121.121.193:2181,111.121.121.194:2181


连接zk的超时时间

zookeeper.connection.timeout.ms=6000


ZooKeeper集群中leader和follower之间的允许同步实际差异

zookeeper.sync.time.ms = 2000

##########################################################

########################Log ##############################

##########################################################


日志存放目录,多个目录使用逗号分割

log.dirs=/opt/kafka_data


当达到下面的消息数量时,会将数据flush到日志文件中。默认10000

log.flush.interval.messages=10000

当达到下面的时间(ms)时,执行一次强制的flush操作。interval.ms和interval.messages无论哪个达到,都会flush。

log.flush.interval.ms=2000

检查是否需要将日志flush的时间间隔

log.flush.scheduler.interval.ms = 300000


日志清理策略

log.cleanup.policy = delete


日志保存时间hours

log.retention.hours=24


启动时用于日志恢复和关闭时用于刷新的每个数据目录的线程数

num.recovery.threads.per.data.dir=1

##########################################################

#######################replica############################

##########################################################


leader复制的socket缓存大小

replica.socket.receive.buffer.bytes= 65536


replicas每次获取数据的最大字节数

replica.fetch.max.bytes = 1048576


leader中进行复制的线程数,增大这个数值会增加relipca的IO

num.replica.fetchers = 4


是否自动平衡broker之间的分配策略

auto.leader.rebalance.enable = true


leader的不平衡比例,若是超过这个数值,会对分区进行重新的平衡

leader.imbalance.per.broker.percentage = 10


检查leader是否不平衡的时间间隔

leader.imbalance.check.interval.secOnds= 120


客户端保留offset信息的最大空间大小

offset.metadata.max.bytes = 4096

#############################Consumer #############################


当zookeeper中没有初始的offset时,或者超出offset上限时的处理方式 。

earliest:重置为最小值

latest:重置为最大值

anything else:抛出异常给consumer

auto.offset.reset = latest


socket的接收缓存空间大小

socket.receive.buffer.bytes=65536


从每个分区fetch的消息大小限制

fetch.message.max.bytes = 1048576


让coordinator推迟空消费组接收到成员加入请求后本应立即开启的rebalance时间

group.initial.rebalance.delay.ms = 3000

#############################Producer#############################


消息的确认模式

0:不保证消息的到达确认,只管发送,低延迟但是会出现消息的丢失,在某个server失败的情况下,有点像TCP

1:发送消息,并会等待leader 收到确认后,一定的可靠性

-1:发送消息,等待leader收到确认,并进行复制操作后,才返回,最高的可靠性

acks = 1


消息发送的最长等待时间

request.timeout.ms = 30000


socket的缓存大小

send.buffer.bytes=131072


分区的策略,默认是取模

partitioner.class=kafka.producer.DefaultPartitioner



推荐阅读
  • 本文介绍了如何利用 Delphi 中的 IdTCPServer 和 IdTCPClient 控件实现高效的文件传输。这些控件在默认情况下采用阻塞模式,并且服务器端已经集成了多线程处理,能够支持任意大小的文件传输,无需担心数据包大小的限制。与传统的 ClientSocket 相比,Indy 控件提供了更为简洁和可靠的解决方案,特别适用于开发高性能的网络文件传输应用程序。 ... [详细]
  • 解决Only fullscreen opaque activities can request orientation错误的方法
    本文介绍了在使用PictureSelectorLight第三方框架时遇到的Only fullscreen opaque activities can request orientation错误,并提供了一种有效的解决方案。 ... [详细]
  • 为什么多数程序员难以成为架构师?
    探讨80%的程序员为何难以晋升为架构师,涉及技术深度、经验积累和综合能力等方面。本文将详细解析Tomcat的配置和服务组件,帮助读者理解其内部机制。 ... [详细]
  • 零拷贝技术是提高I/O性能的重要手段,常用于Java NIO、Netty、Kafka等框架中。本文将详细解析零拷贝技术的原理及其应用。 ... [详细]
  • Java Socket 关键参数详解与优化建议
    Java Socket 的 API 虽然被广泛使用,但其关键参数的用途却鲜为人知。本文详细解析了 Java Socket 中的重要参数,如 backlog 参数,它用于控制服务器等待连接请求的队列长度。此外,还探讨了其他参数如 SO_TIMEOUT、SO_REUSEADDR 等的配置方法及其对性能的影响,并提供了优化建议,帮助开发者提升网络通信的稳定性和效率。 ... [详细]
  • 事件是程序各部分之间的一种通信方式,也是异步编程的一种实现形式。本文将详细介绍EventTarget接口及其相关方法,以及如何使用监听函数处理事件。 ... [详细]
  • 本文详细介绍了Linux系统中用于管理IPC(Inter-Process Communication)资源的两个重要命令:ipcs和ipcrm。通过这些命令,用户可以查看和删除系统中的消息队列、共享内存和信号量。 ... [详细]
  • 一、Tomcat安装后本身提供了一个server,端口配置默认是8080,对应目录为:..\Tomcat8.0\webapps二、Tomcat8.0配置多个端口,其实也就是给T ... [详细]
  • 机器学习算法:SVM(支持向量机)
    SVM算法(SupportVectorMachine,支持向量机)的核心思想有2点:1、如果数据线性可分,那么基于最大间隔的方式来确定超平面,以确保全局最优, ... [详细]
  • 在JavaWeb开发中,文件上传是一个常见的需求。无论是通过表单还是其他方式上传文件,都必须使用POST请求。前端部分通常采用HTML表单来实现文件选择和提交功能。后端则利用Apache Commons FileUpload库来处理上传的文件,该库提供了强大的文件解析和存储能力,能够高效地处理各种文件类型。此外,为了提高系统的安全性和稳定性,还需要对上传文件的大小、格式等进行严格的校验和限制。 ... [详细]
  • MySQL Decimal 类型的最大值解析及其在数据处理中的应用艺术
    在关系型数据库中,表的设计与SQL语句的编写对性能的影响至关重要,甚至可占到90%以上。本文将重点探讨MySQL中Decimal类型的最大值及其在数据处理中的应用技巧,通过实例分析和优化建议,帮助读者深入理解并掌握这一重要知识点。 ... [详细]
  • PTArchiver工作原理详解与应用分析
    PTArchiver工作原理及其应用分析本文详细解析了PTArchiver的工作机制,探讨了其在数据归档和管理中的应用。PTArchiver通过高效的压缩算法和灵活的存储策略,实现了对大规模数据的高效管理和长期保存。文章还介绍了其在企业级数据备份、历史数据迁移等场景中的实际应用案例,为用户提供了实用的操作建议和技术支持。 ... [详细]
  • 在C#编程中,数值结果的格式化展示是提高代码可读性和用户体验的重要手段。本文探讨了多种格式化方法和技巧,如使用格式说明符、自定义格式字符串等,以实现对数值结果的精确控制。通过实例演示,展示了如何灵活运用这些技术来满足不同的展示需求。 ... [详细]
  • Spring Boot 中配置全局文件上传路径并实现文件上传功能
    本文介绍如何在 Spring Boot 项目中配置全局文件上传路径,并通过读取配置项实现文件上传功能。通过这种方式,可以更好地管理和维护文件路径。 ... [详细]
  • 本文详细介绍了如何使用Python中的smtplib库来发送带有附件的邮件,并提供了完整的代码示例。作者:多测师_王sir,时间:2020年5月20日 17:24,微信:15367499889,公司:上海多测师信息有限公司。 ... [详细]
author-avatar
手机用户2602884231
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有