zookeeper3.4.6配置实现自动清理日志【转】

作者：君奇均政29 | 来源：互联网 | 2023-09-16 18:15

在使用zookeeper过程中，我们知道，会有dataDir和dataLogDir两个目录，分别用于snapshot和事务日志的输出&#x

在使用zookeeper过程中&＃xff0c;我们知道&＃xff0c;会有dataDir和dataLogDir两个目录&＃xff0c;分别用于snapshot和事务日志的输出&＃xff08;默认情况下只有dataDir目录&＃xff0c;snapshot和事务日志都保存在这个目录中&＃xff0c;正常运行过程中&＃xff0c;ZK会不断地把快照数据和事务日志输出到这两个目录&＃xff0c;并且如果没有人为操作的话&＃xff0c;ZK自己是不会清理这些文件的&＃xff0c;需要管理员来清理&＃xff0c;这里介绍4种清理日志的方法。在这4种方法中&＃xff0c;推荐使用第一种方法&＃xff0c;对于运维人员来说&＃xff0c;将日志清理工作独立出来&＃xff0c;便于统一管理也更可控。毕竟zk自带的一些工具并不怎么给力&＃xff0c;这里是社区反映的两个问题&＃xff1a;

第一种&＃xff0c;也是运维人员最常用的&＃xff0c;写一个删除日志脚本&＃xff0c;每天定时执行即可&＃xff1a;

#!/bin/bash#snapshot file dir
dataDir&＃61;/home/yunva/zookeeper/bin/snapshot/version-2
#tran log dir
dataLogDir&＃61;/home/yunva/zookeeper/bin/snapshot/version-2
#zk log dir
#Leave 30 files
count&＃61;30
count&＃61;$[$count&＃43;1]
ls -t $dataLogDir/log.* | tail -n &＃43;$count | xargs rm -f
ls -t $dataDir/snapshot.* | tail -n &＃43;$count | xargs rm -f

crontab -e
2 2 * * * /bin/bash /root/clean_zook_log.sh > /dev/null 2>&1

以上这个脚本定义了删除对应两个目录中的文件&＃xff0c;保留最新的30个文件&＃xff0c;可以将他写到crontab中&＃xff0c;设置为每天凌晨2点2分执行一次就可以了。

第二种&＃xff0c;使用ZK的工具类PurgeTxnLog&＃xff0c;它的实现了一种简单的历史文件清理策略&＃xff0c;简单使用如下&＃xff1a;
java -cp zookeeper.jar:lib/slf4j-api-1.6.1.jar:lib/slf4j-log4j12-1.6.1.jar:lib/log4j-1.2.15.jar:conf org.apache.zookeeper.server.PurgeTxnLog -n

第三种&＃xff0c;对于上面这个Java类的执行&＃xff0c;ZK自己已经写好了脚本&＃xff0c;在bin/zkCleanup.sh中&＃xff0c;所以直接使用这个脚本也是可以执行清理工作的。

第四种&＃xff0c;从3.4.0开始&＃xff0c;zookeeper提供了自动清理snapshot和事务日志的功能&＃xff0c;通过配置 autopurge.snapRetainCount 和 autopurge.purgeInterval 这两个参数能够实现定时清理了。这两个参数都是在zoo.cfg中配置的&＃xff1a;
autopurge.purgeInterval 这个参数指定了清理频率&＃xff0c;单位是小时&＃xff0c;需要填写一个1或更大的整数&＃xff0c;默认是0&＃xff0c;表示不开启自己清理功能。
autopurge.snapRetainCount 这个参数和上面的参数搭配使用&＃xff0c;这个参数指定了需要保留的文件数目。默认是保留3个。

通过配置 autopurge.snapRetainCount 和 autopurge.purgeInterval 这两个参数能够实现定时清理了。
这两个参数都是在zoo.cfg中配置的&＃xff0c;将其前面的注释去掉&＃xff0c;根据需要修改日志保留个数&＃xff1a;

tickTime&＃61;2000
initLimit&＃61;10
syncLimit&＃61;5
dataDir&＃61;/data/yunva/zookeeper-3.4.6/data
dataLogDir&＃61;/data/yunva/zookeeper-3.4.6/logs
clientPort&＃61;2181
autopurge.snapRetainCount&＃61;20
autopurge.purgeInterval&＃61;48
server.1&＃61;u04rtv01.yaya.corp:2888:3888
server.2&＃61;u04rtv02.yaya.corp:2888:3888
server.3&＃61;u04rtv03.yaya.corp:2888:3888
server.4&＃61;u04rtv04.yaya.corp:2888:3888
server.5&＃61;u04rtv05.yaya.corp:2888:3888

此处我们的配置就是&＃xff1a;保留48小时内的日志&＃xff0c;并且保留20个文件

autopurge.purgeInterval 这个参数指定了清理频率&＃xff0c;单位是小时&＃xff0c;需要填写一个1或更大的整数&＃xff0c;默认是0&＃xff0c;表示不开启自己清理功能。

autopurge.snapRetainCount 这个参数和上面的参数搭配使用&＃xff0c;这个参数指定了需要保留的文件数目。默认是保留3个。

查看zook日志的方法
cd /data/zookeeper-3.4.6

java -classpath .:lib/slf4j-api-1.6.1.jar:zookeeper-3.4.6.jar org.apache.zookeeper.server.LogFormatter /data/zookeeper-3.4.6/logs/version-2/log.400000001

# java -classpath .:lib/slf4j-api-1.6.1.jar:zookeeper-3.4.6.jar org.apache.zookeeper.server.LogFormatter /data/zookeeper-3.4.6/logs/version-2/log.200000001SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".SLF4J: Defaulting to no-operation (NOP) logger implementationSLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details.

ZooKeeper Transactional Log File with dbid 0 txnlog format version 211/23/16 7:26:33 PM CST session 0x25890ed3acc0000 cxid 0x0 zxid 0x200000001 createSession 6000
11/23/16 7:26:33 PM CST session 0x25890ed3acc0000 cxid 0x2 zxid 0x200000002 create &＃39;/consumers,,v{s{31,s{&＃39;world,&＃39;anyone}}},F,1
11/23/16 7:26:33 PM CST session 0x25890ed3acc0000 cxid 0x4 zxid 0x200000003 error -101
11/23/16 7:26:33 PM CST session 0x25890ed3acc0000 cxid 0x5 zxid 0x200000004 create &＃39;/brokers,,v{s{31,s{&＃39;world,&＃39;anyone}}},F,2
11/23/16 7:26:33 PM CST session 0x25890ed3acc0000 cxid 0x6 zxid 0x200000005 create &＃39;/brokers/ids,,v{s{31,s{&＃39;world,&＃39;anyone}}},F,1
11/23/16 7:26:33 PM CST session 0x25890ed3acc0000 cxid 0x8 zxid 0x200000006 create &＃39;/brokers/topics,,v{s{31,s{&＃39;world,&＃39;anyone}}},F,2
11/23/16 7:26:33 PM CST session 0x25890ed3acc0000 cxid 0xa zxid 0x200000007 error -101
11/23/16 7:26:33 PM CST session 0x25890ed3acc0000 cxid 0xb zxid 0x200000008 create &＃39;/config,,v{s{31,s{&＃39;world,&＃39;anyone}}},F,3
11/23/16 7:26:33 PM CST session 0x25890ed3acc0000 cxid 0xc zxid 0x200000009 create &＃39;/config/changes,,v{s{31,s{&＃39;world,&＃39;anyone}}},F,1
11/23/16 7:26:33 PM CST session 0x25890ed3acc0000 cxid 0xe zxid 0x20000000a create &＃39;/config/topics,,v{s{31,s{&＃39;world,&＃39;anyone}}},F,2
11/23/16 7:26:33 PM CST session 0x25890ed3acc0000 cxid 0x10 zxid 0x20000000b error -101
11/23/16 7:26:33 PM CST session 0x25890ed3acc0000 cxid 0x11 zxid 0x20000000c create &＃39;/admin,,v{s{31,s{&＃39;world,&＃39;anyone}}},F,4
11/23/16 7:26:33 PM CST session 0x25890ed3acc0000 cxid 0x12 zxid 0x20000000d create &＃39;/admin/delete_topics,,v{s{31,s{&＃39;world,&＃39;anyone}}},F,1
11/23/16 7:26:33 PM CST session 0x25890ed3acc0000 cxid 0x16 zxid 0x20000000e create &＃39;/controller,#7b2276657273696f6e223a312c2262726f6b65726964223a302c2274696d657374616d70223a2231343739393030333933363132227d,v{s{31,s{&＃39;world,&＃39;anyone}}},T,5
11/23/16 7:26:33 PM CST session 0x25890ed3acc0000 cxid 0x1a zxid 0x20000000f error -101
11/23/16 7:26:33 PM CST session 0x25890ed3acc0000 cxid 0x1b zxid 0x200000010 create &＃39;/controller_epoch,#31,v{s{31,s{&＃39;world,&＃39;anyone}}},F,6
11/23/16 7:26:33 PM CST session 0x25890ed3acc0000 cxid 0x27 zxid 0x200000011 error -101
11/23/16 7:26:33 PM CST session 0x25890ed3acc0000 cxid 0x2c zxid 0x200000012 create &＃39;/brokers/ids/0,#7b226a6d785f706f7274223a2d312c2274696d657374616d70223a2231343739393030333933363932222c22686f7374223a226c6f63616c686f7374222c2276657273696f6e223a312c22706f7274223a393039327d,v{s{31,s{&＃39;world,&＃39;anyone}}},T,1
11/23/16 7:28:47 PM CST session 0x25890ed3acc0000 cxid 0x33 zxid 0x200000013 closeSession null
11/23/16 7:30:17 PM CST session 0x15890ed3ace0000 cxid 0x0 zxid 0x200000014 createSession 6000
11/23/16 7:30:17 PM CST session 0x15890ed3ace0000 cxid 0xa zxid 0x200000015 create &＃39;/controller,#7b2276657273696f6e223a312c2262726f6b65726964223a302c2274696d657374616d70223a2231343739393030363137383833227d,v{s{31,s{&＃39;world,&＃39;anyone}}},T,7
11/23/16 7:30:17 PM CST session 0x15890ed3ace0000 cxid 0xf zxid 0x200000016 setData &＃39;/controller_epoch,#32,1
11/23/16 7:30:17 PM CST session 0x15890ed3ace0000 cxid 0x1b zxid 0x200000017 error -101
11/23/16 7:30:17 PM CST session 0x15890ed3ace0000 cxid 0x20 zxid 0x200000018 create &＃39;/brokers/ids/0,#7b226a6d785f706f7274223a2d312c2274696d657374616d70223a2231343739393030363137393735222c22686f7374223a226c6f63616c686f7374222c2276657273696f6e223a312c22706f7274223a393039327d,v{s{31,s{&＃39;world,&＃39;anyone}}},T,2
11/23/16 7:37:04 PM CST session 0x25890ed3acc0001 cxid 0x0 zxid 0x200000019 createSession 6000
11/23/16 7:37:04 PM CST session 0x25890ed3acc0001 cxid 0xe zxid 0x20000001a error -110
11/23/16 7:37:04 PM CST session 0x25890ed3acc0001 cxid 0x11 zxid 0x20000001b closeSession null
11/23/16 7:37:36 PM CST session 0x15890ed3ace0001 cxid 0x0 zxid 0x20000001c createSession 6000
11/23/16 7:37:36 PM CST session 0x15890ed3ace0001 cxid 0xe zxid 0x20000001d create &＃39;/brokers/ids/1,#7b226a6d785f706f7274223a2d312c2274696d657374616d70223a2231343739393031303536343337222c22686f7374223a22302e302e302e30222c2276657273696f6e223a312c22706f7274223a393039327d,v{s{31,s{&＃39;world,&＃39;anyone}}},T,3
11/23/16 7:38:11 PM CST session 0x25890ed3acc0002 cxid 0x0 zxid 0x20000001e createSession 6000
11/23/16 7:38:11 PM CST session 0x25890ed3acc0002 cxid 0xe zxid 0x20000001f create &＃39;/brokers/ids/2,#7b226a6d785f706f7274223a2d312c2274696d657374616d70223a2231343739393031303931393335222c22686f7374223a22302e302e302e30222c2276657273696f6e223a312c22706f7274223a393039327d,v{s{31,s{&＃39;world,&＃39;anyone}}},T,4
11/23/16 8:17:24 PM CST session 0x15890ed3ace0000 cxid 0x32 zxid 0x200000020 closeSession null
11/23/16 8:17:24 PM CST session 0x25890ed3acc0002 cxid 0x14 zxid 0x200000021 create &＃39;/controller,#7b2276657273696f6e223a312c2262726f6b65726964223a322c2274696d657374616d70223a2231343739393033343434333634227d,v{s{31,s{&＃39;world,&＃39;anyone}}},T,8
11/23/16 8:17:24 PM CST session 0x25890ed3acc0002 cxid 0x17 zxid 0x200000022 setData &＃39;/controller_epoch,#33,2
11/23/16 8:17:24 PM CST session 0x25890ed3acc0002 cxid 0x25 zxid 0x200000023 error -101
11/23/16 8:17:29 PM CST session 0x25890ed3acc0002 cxid 0x2a zxid 0x200000024 closeSession null
11/23/16 8:17:29 PM CST session 0x15890ed3ace0001 cxid 0x1b zxid 0x200000025 create &＃39;/controller,#7b2276657273696f6e223a312c2262726f6b65726964223a312c2274696d657374616d70223a2231343739393033343439333833227d,v{s{31,s{&＃39;world,&＃39;anyone}}},T,9
11/23/16 8:17:29 PM CST session 0x15890ed3ace0001 cxid 0x1e zxid 0x200000026 setData &＃39;/controller_epoch,#34,3
11/23/16 8:17:29 PM CST session 0x15890ed3ace0001 cxid 0x2b zxid 0x200000027 error -101
11/23/16 8:17:29 PM CST session 0x15890ed3ace0001 cxid 0x2e zxid 0x200000028 closeSession null
EOF reached after 40 txns.

转自

zookeeper3.4.6配置实现自动清理日志 - CSDN博客
https://blog.csdn.net/reblue520/article/details/52311314

推荐阅读

get
精选Linux经典著作在数字图书馆展出

数字图书馆近期展出了一批精选的Linux经典著作，这些书籍虽然部分较为陈旧，但依然具有重要的参考价值。如需转载相关内容，请务必注明来源：小文论坛（http://www.xiaowenbbs.com）。 ... [详细]

蜡笔小新 2024-11-08 10:55:29
get
Kafka 集群的高效部署与优化策略

本文探讨了 Kafka 集群的高效部署与优化策略。首先介绍了 Kafka 的下载与安装步骤，包括从官方网站获取最新版本的压缩包并进行解压。随后详细讨论了集群配置的最佳实践，涵盖节点选择、网络优化和性能调优等方面，旨在提升系统的稳定性和处理能力。此外，还提供了常见的故障排查方法和监控方案，帮助运维人员更好地管理和维护 Kafka 集群。 ... [详细]

蜡笔小新 2024-11-06 20:37:50
version
Docker安全策略与管理

本文探讨了Docker的安全挑战、核心安全特性及其管理策略，旨在帮助读者深入理解Docker安全机制，并提供实用的安全管理建议。 ... [详细]

蜡笔小新 2024-11-21 20:03:03
get
Maven + Spring + MyBatis + MySQL 环境搭建与实例解析

本文详细介绍如何使用MySQL数据库进行环境搭建，包括创建数据库表并插入示例数据。随后，逐步指导如何配置Maven项目，整合Spring框架与MyBatis，实现高效的数据访问。 ... [详细]

蜡笔小新 2024-11-21 18:39:23
get
深入解析JQuery Mobile特有的事件与方法

本文详细介绍了JQuery Mobile框架中特有的事件和方法，帮助开发者更好地理解和应用这些特性，提升移动Web开发的效率。 ... [详细]

蜡笔小新 2024-11-21 14:24:21
get
使用Bash脚本将Medium文章迁移到个人博客[教程]

尽管Medium是一个优秀的发布平台，但在其之外拥有自己的博客仍然非常重要。这不仅提供了另一个与读者互动的渠道，还能确保您的内容安全。本文将介绍如何使用Bash脚本将Medium文章迁移到个人博客。 ... [详细]

蜡笔小新 2024-11-18 11:26:14
get
RocketMQ 运维监控实践指南

本文详细介绍了如何实现 RocketMQ 的运维监控，包括监控平台的搭建、常用运维命令及其具体用法。适合对 RocketMQ 监控感兴趣的读者参考。 ... [详细]

蜡笔小新 2024-11-16 13:53:02
version
PTArchiver工作原理详解与应用分析

PTArchiver工作原理及其应用分析本文详细解析了PTArchiver的工作机制，探讨了其在数据归档和管理中的应用。PTArchiver通过高效的压缩算法和灵活的存储策略，实现了对大规模数据的高效管理和长期保存。文章还介绍了其在企业级数据备份、历史数据迁移等场景中的实际应用案例，为用户提供了实用的操作建议和技术支持。 ... [详细]

蜡笔小新 2024-11-11 13:40:49
ip
服务器部署中的安全策略实践与优化

服务器部署中的安全策略实践与优化 ... [详细]

蜡笔小新 2024-11-10 13:04:30
get
使用Shell脚本高效部署MHA高可用集群

本文介绍了如何利用Shell脚本高效地部署MHA（MySQL High Availability）高可用集群。通过详细的脚本编写和配置示例，展示了自动化部署过程中的关键步骤和注意事项。该方法不仅简化了集群的部署流程，还提高了系统的稳定性和可用性。 ... [详细]

蜡笔小新 2024-11-10 10:15:46
version
如何在Docker环境中高效利用数据库？ | Baeldung

在本文中，我们将探讨如何在Docker环境中高效地管理和利用数据库。首先，需要安装Docker Desktop以确保本地环境准备就绪。接下来，可以从Docker Hub中选择合适的数据库镜像，并通过简单的命令将其拉取到本地。此外，我们还将介绍如何配置和优化这些数据库容器，以实现最佳性能和安全性。 ... [详细]

蜡笔小新 2024-11-09 19:34:33
plugins
ElasticStack 日志监控：Logstash 编码插件详解与生产环境应用实例分析

在ElasticStack日志监控系统中，Logstash编码插件自5.0版本起进行了重大改进。插件被独立拆分为gem包，每个插件可以单独进行更新和维护，无需依赖Logstash的整体升级。这不仅提高了系统的灵活性和可维护性，还简化了插件的管理和部署过程。本文将详细介绍这些编码插件的功能、配置方法，并通过实际生产环境中的应用案例，展示其在日志处理和监控中的高效性和可靠性。 ... [详细]

蜡笔小新 2024-11-09 19:27:28
stream
第二章：Kafka基础入门与核心概念解析

本章节主要介绍了Kafka的基本概念及其核心特性。Kafka是一种分布式消息发布和订阅系统，以其卓越的性能和高吞吐量而著称。最初，Kafka被设计用于LinkedIn的活动流和运营数据处理，旨在高效地管理和传输大规模的数据流。这些数据主要包括用户活动记录、系统日志和其他实时信息。通过深入解析Kafka的设计原理和应用场景，读者将能够更好地理解其在现代大数据架构中的重要地位。 ... [详细]

蜡笔小新 2024-11-06 11:10:03
get
如何正确获取Oracle TNS_ADMIN环境变量的值

如何正确获取Oracle TNS_ADMIN环境变量的值？TNS_ADMIN 是 Oracle 客户端配置中的一个重要环境变量，用于指定网络配置文件（如 tnsnames.ora）的路径。本文将详细介绍如何在不同操作系统中准确获取该变量的值，并提供实用的命令和步骤，帮助用户确保 Oracle 客户端的网络连接配置正确无误。 ... [详细]

蜡笔小新 2024-11-04 11:59:04
ip
Hadoop 2.6 日志文件解析与MapReduce日志管理深入探讨

Hadoop 2.6 主要由 HDFS 和 YARN 两大部分组成，其中 YARN 包含了运行在 ResourceManager 的 JVM 中的组件以及在 NodeManager 中运行的部分。本文深入探讨了 Hadoop 2.6 日志文件的解析方法，并详细介绍了 MapReduce 日志管理的最佳实践，旨在帮助用户更好地理解和优化日志处理流程，提高系统运维效率。 ... [详细]

蜡笔小新 2024-11-03 16:23:38

君奇均政29

这个家伙很懒，什么也没留下！

Tags | 热门标签

RankList | 热门文章