热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

rsyslog日志轮循

Linux下logrotate日志轮询对于Linux系统安全来说,日志文件是极其重要的工具。logrotate程序是一个日志文件管理工具。用于分割日志文件,删除旧的日志文件,并创建

Linuxlogrotate日志轮询 

 

对于Linux系统安全来说,日志文件是极其重要的工具。

logrotate程序是一个日志文件管理工具。用于分割日志文件,删除旧的日志文件,并创建新的日志文件,起到

转储作用。可以节省磁盘空间。下面就对logrotate日志轮转操作记录:

 

1. 自定义日志

  ssh服务为例。

 1)修改ssh服务日志级别

  ssh服务的配置文件默认在/etc/ssh/sshd_config, 搜索SyslogFacility  查出下默认情况ssh日志级别为认证级别,此处将其修改为local0

 2)修改系统日志配置

  修改文件/etc/rsyslog.conf

  ssh服务的日志写到/var/log/sshd.log中, 添加如下一行:

  local0.*      /var/log/sshd.log

 

日志级别

#define KERN_EMERG    "<0>"  /* system is unusable               */       //致命级

#define KERN_ALERT    "<1>"  /* action must be taken immediately */          //警戒级

#define KERN_CRIT     "<2>"  /* critical conditions              */          //临界级

#define KERN_ERR      "<3>"  /* error conditions                 */        //错误级

#define KERN_WARNING  "<4>"  /* warning conditions               */       //告警级

#define KERN_NOTICE   "<5>"  /* normal but significant condition */            //注意级

#define KERN_INFO     "<6>"  /* informational                    */        //通知级

#define KERN_DEBUG    "<7>"  /* debug-level messages             */        //调试级

 

配置文件定义格式为:facility.priority        action

facility,可以理解为日志的来源或设备目录常用的facility有以下几种

autu                      //认证相关的

authpriv                   //权限,授权相关的

cron                      //任务计划相关的

daemon                   //守护进程相关的

kern                      //内核相关的

lpr                        //打印相关的

mail                      //邮件相关的

mark                      //标记相关的

news                     //新闻相关的

security                   //安全相关的,与auth类似

syslog                    //syslog自己的

user                      //用户相关的

uucp                     //unix to unix cp 相关的

local0local7            //用户自定义使用

*                        //*表示所有的facility

 

系统定义了8个消息级别级别号从07分别为:

priority(log level)日志的级别,一般有以下几种级别(从低到高)

debug               //程序或系统的调试信息

info                 //一般 信息

notice               //不影响正常功能,需要注意的消息

warning/warn        //可能影响正常功能,需要注意的消息

err/error             //错误信息

crit                 //比较严重的

alert                //必须马上处理的

emerg/oanic         //会导致系统不可用的

*                   //表示所有的日志级别

none                //*相反,表示啥也没有

 

action(动作)日志记录的位置

系统上的绝对路径    //普通文件 如: /var/log/xxx

|                     //管道 通过管道送给其它的命令处理

终端                  //终端  如: /dev/console

@user                 //远程主机  如: @10.0.0.1

*                      //登录到系统上的所有用户,一般emerg级别的日志是这样定义的

定义格式例子:

mail.info        /var/log/mail.log       //表示将mail相关的,级别为info

                                         info以上级别的信息记录到/var/log/mail.log文件中

auto.=info      @10.0.0.1             //表示将auth相关的,基本为info的信息记录到10.0.0.1主机上去

                                         前提是10.0.0.1要能接收其他主机发来的日志信息

user.!=error                          //表示记录user相关的信息,但不包括error级别的信息

user.!error                             //user.error相反,只记录erroruser信息

*.info                             //表示记录所有的日志信息为info级别

mail.*                            //表示记录mail相关的所有级别的信息

*.*                                //表示记录所有设备所有日志等级信息

cron.info;mail.info                   //多个日志来源可以用“;”隔开

cron,mail.info                         //cron.info;mail.info 是一个意思

mail.*;mail.!=info                    //表示记录mail相关的所有级别的信息,但不包括mail中的info级别的

 

 

1)配置文件介绍
Linux系统默认安装logrotate工具,它默认的配置文件在:
/etc/logrotate.conf
/etc/logrotate.d/

logrotate.conf 才主要的配置文件,logrotate.d 是一个目录,该目录里的所有文件都会被主动的读入/etc/logrotate.conf中执行。
另外,如果 /etc/logrotate.d/ 里面的文件中没有设定一些细节,则会以/etc/logrotate.conf这个文件的设定来作为默认值。

Logrotate是基于CRON来运行的,其脚本是/etc/cron.daily/logrotate日志轮转是系统自动完成的
实际运行时,Logrotate会调用配置文件/etc/logrotate.conf
可以在/etc/logrotate.d目录里放置自定义好的配置文件,用来覆盖Logrotate的缺省值。

[root@huanqiu_web1 ~]# cat /etc/cron.daily/logrotate

#!/bin/sh

 

/usr/sbin/logrotate /etc/logrotate.conf >/dev/null 2>&1

EXITVALUE=$?

if [ $EXITVALUE != 0 ]; then

    /usr/bin/logger -t logrotate "ALERT exited abnormally with [$EXITVALUE]"

fi

exit 0

如果等不及cron自动执行日志轮转,想手动强制切割日志,需要加-f参数;不过正式执行前最好通过Debug选项来验证一下(-d参数),这对调试也很重要
# /usr/sbin/logrotate -f /etc/logrotate.d/nginx
# /usr/sbin/logrotate -d -f /etc/logrotate.d/nginx

logrotate命令格式:
logrotate [OPTION...]
-d, --debug debug模式,测试配置文件是否有错误。
-f, --force :强制转储文件。
-m, --mail=command :压缩日志后,发送日志到指定邮箱。
-s, --state=statefile :使用指定的状态文件。
-v, --verbose :显示转储过程。

根据日志切割设置进行操作,并显示详细信息
[root@huanqiu_web1 ~]# /usr/sbin/logrotate -v /etc/logrotate.conf
[root@huanqiu_web1 ~]# /usr/sbin/logrotate -v /etc/logrotate.d/php

根据日志切割设置进行执行,并显示详细信息,但是不进行具体操作,debug模式
[root@huanqiu_web1 ~]# /usr/sbin/logrotate -d /etc/logrotate.conf
[root@huanqiu_web1 ~]# /usr/sbin/logrotate -d /etc/logrotate.d/nginx

查看各log文件的具体执行情况
[root@fangfull_web1 ~]# cat /var/lib/logrotate.status

2)切割介绍
比如以系统日志/var/log/message做切割来简单说明下:
第一次执行完rotate(轮转)之后,原本的messages会变成messages.1,而且会制造一个空的messages给系统来储存日志;
第二次执行之后messages.1会变成messages.2,而messages会变成messages.1,又造成一个空的messages来储存日志!
如果仅设定保留三个日志(即轮转3次)的话,那么执行第三次时,则 messages.3这个档案就会被删除,并由后面的较新的保存日志所取代!也就是会保存最新的几个日志。
日志究竟轮换几次,这个是根据配置文件中的dateext 参数来判定的。

看下logrotate.conf配置:
# cat /etc/logrotate.conf
# 底下的设定是 "logrotate 的默认值" ,如果別的文件设定了其他的值,
# 就会以其它文件的设定为主
weekly          //默认每一周执行一次rotate轮转工作
rotate 4       //保留多少个日志文件(轮转几次).默认保留四个.就是指定日志文件删除之前轮转的次数,0 指没有备份
create         //自动创建新的日志文件,新的日志文件具有和原来的文件相同的权限;因为日志被改名,因此要创建一个新的来继续存储之前的日志
dateext       //这个参数很重要!就是切割后的日志文件以当前日期为格式结尾,如xxx.log-20131216这样,如果注释掉,切割出来是按数字递增,即前面说的 xxx.log-1这种格式
compress      //是否通过gzip压缩转储以后的日志文件,如xxx.log-20131216.gz ;如果不需要压缩,注释掉就行

include /etc/logrotate.d
# /etc/logrotate.d/ 目录中的所有文件都加载进来

/var/log/wtmp {                 //仅针对 /var/log/wtmp 所设定的参数
monthly                    //每月一次切割,取代默认的一周
minsize 1M              //文件大小超过 1M 后才会切割
create 0664 root utmp            //指定新建的日志文件权限以及所属用户和组
rotate 1                    //只保留一个日志.
}
# 这个 wtmp 可记录用户登录系统及系统重启的时间
# 因为有 minsize 的参数,因此不见得每个月一定会执行一次喔.要看文件大小。

由这个文件的设定可以知道/etc/logrotate.d其实就是由/etc/logrotate.conf 所规划出来的目录,虽然可以将所有的配置都写入/etc/logrotate.conf ,但是这样一来这个文件就实在是太复杂了,尤其是当使用很多的服务在系统上面时, 每个服务都要去修改/etc/logrotate.conf的设定也似乎不太合理了。
所以,如果独立出来一个目录,那么每个要切割日志的服务, 就可以独自成为一个文件,并且放置到 /etc/logrotate.d/ 当中

其他重要参数说明
---------------------------------------------------------------------------------------------------------
compress                                   通过gzip 压缩转储以后的日志
nocompress                                不做gzip压缩处理
copytruncate                              用于还在打开中的日志文件,把当前日志备份并截断;是先拷贝再清空的方式,拷贝和清空之间有一个时间差,可能会丢失部分日志数据。
nocopytruncate                           备份日志文件不过不截断
create mode owner group             轮转时指定创建新文件的属性,如create 0777 nobody nobody
nocreate                                    不建立新的日志文件
delaycompress                           compress 一起使用时,转储的日志文件到下一次转储时才压缩
nodelaycompress                        覆盖 delaycompress 选项,转储同时压缩。
missingok                                 如果日志丢失,不报错继续滚动下一个日志
errors address                           专储时的错误信息发送到指定的Email 地址
ifempty                                    即使日志文件为空文件也做轮转,这个是logrotate的缺省选项。
notifempty                               当日志文件为空时,不进行轮转
mail address                             把转储的日志文件发送到指定的E-mail 地址
nomail                                     转储时不发送日志文件
olddir directory                         转储后的日志文件放入指定的目录,必须和当前日志文件在同一个文件系统
noolddir                                   转储后的日志文件和当前日志文件放在同一个目录下
sharedscripts                           运行postrotate脚本,作用是在所有日志都轮转后统一执行一次脚本。如果没有配置这个,那么每个日志轮转后都会执行一次脚本
prerotate                                 logrotate转储之前需要执行的指令,例如修改文件的属性等动作;必须独立成行
postrotate                               logrotate转储之后需要执行的指令,例如重新启动 (kill -HUP) 某个服务!必须独立成行
daily                                       指定转储周期为每天
weekly                                    指定转储周期为每周
monthly                                  指定转储周期为每月
rotate count                            指定日志文件删除之前转储的次数,0 指没有备份,5 指保留5 个备份
dateext                                  使用当期日期作为命名格式
dateformat .%s                       配合dateext使用,紧跟在下一行出现,定义文件切割后的文件名,必须配合dateext使用,只支持 %Y %m %d %s 这四个参数
size(minsize) log-size            当日志文件到达指定的大小时才转储,log-size能指定bytes(缺省)KB (sizek)MB(sizem).
当日志文件 >= log-size 的时候就转储。 以下为合法格式:(其他格式的单位大小写没有试过)
size = 5 size 5 >= 5 个字节就转储)
size = 100k size 100k
size = 100M size 100M

小示例:下面一个切割nginx日志的配置

[root@master-server ~]# vim /etc/logrotate.d/nginx

/usr/local/nginx/logs/*.log {

daily

rotate 7

missingok

notifempty

dateext

sharedscripts

postrotate

    if [ -f /usr/local/nginx/logs/nginx.pid ]; then

        kill -USR1 `cat /usr/local/nginx/logs/nginx.pid`

    fi

endscript

}

--------------------------------------------------分享一例曾经使用过的nginx日志切割处理脚本-----------------------------------------------
1logrotate日志分割配置:

[root@bastion-IDC ~# vim /etc/logrotate.d/nginx

/data/nginx_logs/*.access_log        

{

nocompress                                   

daily                                  

copytruncate                                  

create                              

ifempty                                   

olddir /data/nginx_logs/days           

rotate 0                                        

}

2)日志分割脚本

[root@bastion-IDC ~# vim /usr/local/sbin/logrotate-nginx.sh

#!/bin/bash

#创建转储日志压缩存放目录

mkdir -p /data/nginx_logs/days

#手工对nginx日志进行切割转换

/usr/sbin/logrotate -vf /etc/logrotate.d/nginx

#当前时间

time=$(date -d "yesterday" +"%Y-%m-%d")

#进入转储日志存放目录

cd /data/nginx_logs/days

#对目录中的转储日志文件的文件名进行统一转换

for i in $(ls ./ | grep "^\(.*\)\.[[:digit:]]$")

do

mv ${i} ./$(echo ${i}|sed -n ‘s/^\(.*\)\.\([[:digit:]]\)$/\1/p‘)-$(echo $time)

done

#对转储的日志文件进行压缩存放,并删除原有转储的日志文件,只保存压缩后的日志文件。以节约存储空间

for i in $(ls ./ | grep "^\(.*\)\-\([[:digit:]-]\+\)$")

do

tar jcvf ${i}.bz2 ./${i}

rm -rf ./${i}

done

#只保留最近7天的压缩转储日志文件

find /data/nginx_logs/days/* -name "*.bz2" -mtime 7 -type f -exec rm -rf {} \;

3crontab定时执行

[root@bastion-IDC ~# crontab -e

#logrotate

0 0 * * * /bin/bash -x /usr/local/sbin/logrotate-nginx.sh > /dev/null 2>&1

手动执行脚本,测试下看看:

[root@bastion-IDC ~# /bin/bash -x /usr/local/sbin/logrotate-nginx.sh

[root@bastion-IDC ~# cd /data/nginx_logs/days

[root@bastion-IDC days# ls

huantest.access_log-2017-01-18.bz2

----------------------------------php脚本切割一例----------------------------------

[root@huanqiu_web1 ~]# cat /etc/logrotate.d/php

/Data/logs/php/*log {

    daily

    rotate 365

    missingok

    notifempty

    compress

    dateext

    sharedscripts

    postrotate

        if [ -f /Data/app/php5.6.26/var/run/php-fpm.pid ]; then

            kill -USR1 `cat /Data/app/php5.6.26/var/run/php-fpm.pid`

        fi

    endscript

    postrotate

        /bin/chmod 644 /Data/logs/php/*gz

    endscript

}

 

[root@huanqiu_web1 ~]# ll /Data/app/php5.6.26/var/run/php-fpm.pid

-rw-r--r-- 1 root root 4 Dec 28 17:03 /Data/app/php5.6.26/var/run/php-fpm.pid

 

[root@huanqiu_web1 ~]# cd /Data/logs/php

[root@huanqiu_web1 php]# ll

total 25676

-rw-r--r-- 1 root   root         0 Jun  1  2016 error.log

-rw-r--r-- 1 nobody nobody     182 Aug 30  2015 error.log-20150830.gz

-rw-r--r-- 1 nobody nobody     371 Sep  1  2015 error.log-20150901.gz

-rw-r--r-- 1 nobody nobody     315 Sep  7  2015 error.log-20150907.gz

.........

.........

----------------------------------nginx日志切割一例-----------------------------------

[root@huanqiu_web1 ~]# cat /etc/logrotate.d/nginx

/Data/logs/nginx/*/*log {

    daily

    rotate 365

    missingok

    notifempty

    compress

    dateext

    sharedscripts

    postrotate

    /etc/init.d/nginx reload

    endscript

}

 

[root@huanqiu_web1 ~]# ll /Data/logs/nginx/www.huanqiu.com/

..........

-rw-r--r-- 1 root root      1652 Jan  1 00:00 error.log-20170101.gz

-rw-r--r-- 1 root root      1289 Jan  2 00:00 error.log-20170102.gz

-rw-r--r-- 1 root root      1633 Jan  3 00:00 error.log-20170103.gz

-rw-r--r-- 1 root root      3239 Jan  4 00:00 error.log-20170104.gz

----------------------------------系统日志切割一例-----------------------------------

[root@huanqiu_web1 ~]# cat /etc/logrotate.d/syslog

/var/log/cron

/var/log/maillog

/var/log/messages

/var/log/secure

/var/log/spooler

{

    sharedscripts

    postrotate

    /bin/kill -HUP `cat /var/run/syslogd.pid 2> /dev/null` 2> /dev/null || true

    endscript

}

 

[root@huanqiu_web1 ~]# ll /var/log/messages*

-rw------- 1 root root 34248975 Jan 19 18:42 /var/log/messages

-rw------- 1 root root 51772994 Dec 25 03:11 /var/log/messages-20161225

-rw------- 1 root root 51800210 Jan  1 03:05 /var/log/messages-20170101

-rw------- 1 root root 51981366 Jan  8 03:36 /var/log/messages-20170108

-rw------- 1 root root 51843025 Jan 15 03:40 /var/log/messages-20170115

[root@huanqiu_web1 ~]# ll /var/log/cron*

-rw------- 1 root root 2155681 Jan 19 18:43 /var/log/cron

-rw------- 1 root root 2932618 Dec 25 03:11 /var/log/cron-20161225

-rw------- 1 root root 2939305 Jan  1 03:06 /var/log/cron-20170101

-rw------- 1 root root 2951820 Jan  8 03:37 /var/log/cron-20170108

-rw------- 1 root root 3203992 Jan 15 03:41 /var/log/cron-20170115

[root@huanqiu_web1 ~]# ll /var/log/secure*

-rw------- 1 root root  275343 Jan 19 18:36 /var/log/secure

-rw------- 1 root root 2111936 Dec 25 03:06 /var/log/secure-20161225

-rw------- 1 root root 2772744 Jan  1 02:57 /var/log/secure-20170101

-rw------- 1 root root 1115543 Jan  8 03:26 /var/log/secure-20170108

-rw------- 1 root root  731599 Jan 15 03:40 /var/log/secure-20170115

[root@huanqiu_web1 ~]# ll /var/log/spooler*

-rw------- 1 root root 0 Jan 15 03:41 /var/log/spooler

-rw------- 1 root root 0 Dec 18 03:21 /var/log/spooler-20161225

-rw------- 1 root root 0 Dec 25 03:11 /var/log/spooler-20170101

-rw------- 1 root root 0 Jan  1 03:06 /var/log/spooler-20170108

-rw------- 1 root root 0 Jan  8 03:37 /var/log/spooler-20170115

----------------------------------tomcat日志切割一例-----------------------------------

[root@huanqiu-backup ~]# cat /etc/logrotate.d/tomcat

/Data/app/tomcat-7-huanqiu/logs/catalina.out {

rotate 14

daily

copytruncate

compress

notifempty

missingok

}

 

[root@huanqiu-backup ~]# ll /Data/app/tomcat-7-huanqiu/logs/catalina.*

-rw-r--r--. 1 root root     0 Jan 19 19:11 /Data/app/tomcat-7-huanqiu/logs/catalina.out

-rw-r--r--. 1 root root 95668 Jan 19 19:11 /Data/app/tomcat-7-huanqiu/logs/catalina.out.1.gz

---------------------------------早期用过的nginx日志处理一例----------------------------------

[root@letv-backup ~]# vim /letv/sh/cut_nginx_log.sh

#!/bin/bash

# 你的日志文件存放目录

logs_path="/letv/logs/"

# 日志文件的名字,多个需要空格隔开

logs_names=(error access pv_access)

dates=`date -d "yesterday" +"%Y%m%d"`

mkdir -p ${logs_path}$dates/

num=${#logs_names[@]}

for((i=0;i

mv ${logs_path}${logs_names[i]}.log ${logs_path}$dates/${logs_names[i]}.log

done

#nginx平滑重启

kill -USR1 `cat /letv/logs/nginx/nginx.pid`           

 

结合crontab定时执行

[root@letv-backup ~]# crontab -e

#nginx日志切割

00 00 * * * cd /letv/logs;/bin/bash /letv/sh/cut_nginx_log.sh > /dev/null 2>$1

3)尝试解决logrotate无法自动轮询日志的办法
现象说明:
使用logrotate轮询nginx日志,配置好之后,发现nginx日志连续两天没被切割,这是为什么呢??
然后开始检查日志切割的配置文件是否有问题,检查后确定配置文件一切正常。
于是怀疑是logrotate预定的cron没执行,查看了cron的日志,发现有一条Dec 7 04:02:01 www crond[18959]: (root) CMD (run-parts /etc/cron.daily)这样的日志,证明cron04:02分时已经执行/etc/cron.daily目录下的程序。
接着查看/etc /cron.daily/logrotate(这是logrotate自动轮转的脚本)的内容:

[root@huanqiu_test ~]# cat /etc/cron.daily/logrotate

#!/bin/sh

  

/usr/sbin/logrotate /etc/logrotate.conf >/dev/null 2>&1

EXITVALUE=$?

if [ $EXITVALUE != 0 ]; then

    /usr/bin/logger -t logrotate "ALERT exited abnormally with [$EXITVALUE]"

fi

exit 0

没有发现异常,配置好的日志轮转操作都是由这个脚本完成的,一切运行正常,脚本应该就没问题。
直接执行命令:
[root@huanqiu_test ~]# /usr/sbin/logrotate /etc/logrotate.conf
这些系统日志是正常轮询了,但nginx日志却还是没轮询

接着强行启动记录文件维护操作,纵使logrotate指令认为没有需要,应该有可能是logroate认为nginx日志太小,不进行轮询。
故需要强制轮询,即在/etc/cron.daily/logrotate脚本中将 -t 参数替换成 -f 参数

[root@huanqiu_test ~]# cat /etc/cron.daily/logrotate

#!/bin/sh

  

/usr/sbin/logrotate /etc/logrotate.conf >/dev/null 2>&1

EXITVALUE=$?

if [ $EXITVALUE != 0 ]; then

    /usr/bin/logger -f logrotate "ALERT exited abnormally with [$EXITVALUE]"

fi

exit 0

最后最后重启下cron服务:
[root@huanqiu_test ~]# /etc/init.d/crond restart
Stopping crond: [ OK ]
Starting crond: [ OK ]

-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
logrotate的日志每天切割都是默认在凌晨3点进行,现在需要将切割时间调整到每天的晚上12点,即每天切割的日志是前一天的0-24点之间的内容。
按照下面的方法几乎做到了安全按照每天来清晰的分隔日志:
1)去掉了/etc/cron.daily/logrotate
2)直接crontab -e
#log logrotate
59 23 * * * /usr/sbin/logrotate -f /etc/logrotate.d/nginx >/dev/null 2>&1
59 23 * * * /usr/sbin/logrotate -f /etc/logrotate.d/tomcat >/dev/null 2>&1
59 23 * * * /usr/sbin/logrotate -f /etc/logrotate.d/syslog >/dev/null 2>&1

####################################################################################################################################

 

logrotate介绍

对于Linux系统安全来说,日志文件是极其重要的工具。日志文件包含了关于系统中发生的事件的有用信息,在排障过程中或者系统性能分析时经常被用到。当日志文件不断增长的时候,就需要定时切割,否则,写日志的速度和性能也会下降,更不便于我们归档,查询。

所以便有了使用logrotate的时候 ,logrotate是个十分有用的工具,它可以自动对日志进行截断(或轮循)、压缩以及删除旧的日志文件。例如,你可以设置logrotate,让/var/log/foo日志文件每30天轮循,并删除超过6个月的日志。配置完后,logrotate的运作完全自动化,不必进行任何进一步的人为干预。

logrotate配置文件位置

Linux系统默认安装logrotate工具,它默认的配置文件在:

/etc/logrotate.conf

/etc/logrotate.d/

logrotate.conf 才主要的配置文件,logrotate.d 是一个目录,该目录里的所有文件都会被主动的读入/etc/logrotate.conf中执行。

另外,如果 /etc/logrotate.d/ 里面的文件中没有设定一些细节,则会以/etc/logrotate.conf这个文件的设定来作为默认值。

实际运行时,Logrotate会调用配置文件/etc/logrotate.conf

可以在/etc/logrotate.d目录里放置自定义好的配置文件,用来覆盖Logrotate的缺省值。

定时轮循机制

Logrotate是基于CRON来运行的,其脚本是/etc/cron.daily/logrotate,日志轮转是系统自动完成的。

logrotate这个任务默认放在cron的每日定时任务cron.daily下面 /etc/cron.daily/logrotate

/etc/目录下面还有cron.weekly/, cron.hourly/, cron.monthly/ 的目录都是可以放定时任务的

[/etc]$ cat /etc/cron.daily/logrotate

#!/bin/sh

 

# Clean non existent log file entries from status file

cd /var/lib/logrotate

test -e status || touch status

head -1 status > status.clean

sed ‘s/"//g‘ status | while read logfile date

do

 [ -e "$logfile" ] && echo "\"$logfile\" $date"

done >> status.clean

mv status.clean status

 

test -x /usr/sbin/logrotate || exit 0

/usr/sbin/logrotate /etc/logrotate.conf这里实际操作轮询的命令最后一行

/usr/sbin/logrotate /etc/logrotate.conf

定义好了每日执行任务的脚本cron.daily/logrotate ,再查看crontab的内容,里面设置好了对应的cron.xxly

执行时间

[/etc]$ vim /etc/crontab

SHELL=/bin/sh

PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin

 

# m h dom mon dow user command

17 * * * * root cd / && run-parts --report /etc/cron.hourly

25 6 * * * root test -x /usr/sbin/anacron || ( cd / && run-parts --report /etc/cron.daily )

47 6 * * 7 root test -x /usr/sbin/anacron || ( cd / && run-parts --report /etc/cron.weekly )

52 6 1 * * root test -x /usr/sbin/anacron || ( cd / && run-parts --report /etc/cron.monthly )

 

可以看出来了只要是在

· /etc/cron.daily/ 下面的任务都是每天625 执行

· /etc/cron.weekly/ 下面的任务都是每周日 647 执行

· /etc/cron.monthly/ 下面的任务都是每月1652 执行

如果等不及cron自动执行日志轮转,想手动强制切割日志,需要加-f参数;

不过正式执行前最好通过Debug选项来验证一下(-d参数),这对调试也很重要

那么至此,我们就知道logrotate是如何实现自动切割日志的

# /usr/sbin/logrotate -f /etc/logrotate.d/nginx // 未到时间或者未到切割条件,强制切割

# /usr/sbin/logrotate -d -f /etc/logrotate.d/nginx // 输出切割debug信息

logrotate配置案例

nginx 常用日志切割配置

/data/log/nginx/*.log /data/log/nginx/*/*.log { # 对匹配上的日志文件进行切割

 weekly # 每周切割

 missingok  # 在日志轮循期间,任何错误将被忽略,例如“文件无法找到”之类的错误。

 rotate 6  # 保留 6 个备份

 compress  # 压缩

 delaycompress # delaycompress 和 compress 一起使用时,转储的日志文件到下一次转储时才压缩

 notifempty  # 如果是空文件的话,不转储

 create 0644 www-data ymserver  # mode owner group 转储文件,使用指定的文件模式创建新的日志文件

 sharedscripts # 下面详细说

 prerotate # 在logrotate转储之前需要执行的指令,例如修改文件的属性等动作;必须独立成行

  if [ -d /etc/logrotate.d/httpd-prerotate ]; then \

   run-parts /etc/logrotate.d/httpd-prerotate; \

  fi \

 endscript

 postrotate # 在logrotate转储之后需要执行的指令,例如重新启动 (kill -HUP) 某个服务!必须独立成行

  [ -s /run/nginx.pid ] && kill -USR1 `cat /run/nginx.pid`

 endscript

 su root ymserver # 轮训日志时切换设置的用户/用户组来执行(默认是root),如果设置的user/group 没有权限去让文件容用 create 选项指定的拥有者 ,会触发错误如果要配置一个每日0点执行切割任务,怎么做到?我们的logrotate默认每天执行时间已经写到了/etc/cron.daily/目录下面,而这个目录下面的任务执行时间上面也说了,在/etc/crontab里面定义了时625

我之前就有个这样的需求,看看下面的配置

/data/log/owan_web/chn_download_stat/chn_app_rec.log {

 copytruncate

 # weekly 注释了 但是会继承/etc/logrorate.conf的全局变量,也是weekly

 missingok

 rotate 10

 compress

 delaycompress

 size = 000M # 大小到达size开始转存 如果设置了size,会无视 daily, weekly,monthly 指令,所以size的优先级比较高

 notifempty

 create 664 www-data ymserver

 su root

 dateext  //这个参数很重要!就是切割后的日志文件以当前日期为格式结尾,如xxx.log-20131216这样,如果注释掉,切割出来是按数字递增,即前面说的 xxx.log-1这种格式

 compress  //是否通过gzip压缩转储以后的日志文件,如xxx.log-20131216.gz ;如果不需要压缩,注释掉就行

然后去rootcrontab配置一个0点执行的任务

wwwadm@host:/etc/logrotate.d$ sudo crontab -l -u root

0 0 * * * /usr/sbin/logrotate /etc/logrotate.d/web_roteate -fv >/tmp/logro.log 2>&1

因为logrotate的切割周期是weekly,每次切割都是根据上一个切割的时间来进行,如果距离上一次有一周时间,就会切割,但是我们设置了crontab的每天切割,既不会进入/etc/cron.daily/的每日切割,也不会每周切割。这样就能完美定制自己想要的切割日志时间

logrotate参数说明

compress 通过gzip 压缩转储以后的日志

nocompress 不做gzip压缩处理

create mode owner group 轮转时指定创建新文件的属性,如create 0777 nobody nobody

nocreate 不建立新的日志文件

delaycompress compress 一起使用时,转储的日志文件到下一次转储时才压缩

nodelaycompress 覆盖 delaycompress 选项,转储同时压缩。

missingok 如果日志丢失,不报错继续滚动下一个日志

ifempty 即使日志文件为空文件也做轮转,这个是logrotate的缺省选项。

notifempty 当日志文件为空时,不进行轮转

mail address 把转储的日志文件发送到指定的E-mail 地址

olddir directory 转储后的日志文件放入指定的目录,必须和当前日志文件在同一个文件系统

noolddir 转储后的日志文件和当前日志文件放在同一个目录下

sharedscripts 运行postrotate脚本,作用是在所有日志都轮转后统一执行一次脚本。如果没有配置这个,那么每个日志轮转后都会执行一次脚本

prerotate logrotate转储之前需要执行的指令,例如修改文件的属性等动作;必须独立成行

postrotate logrotate转储之后需要执行的指令,例如重新启动 (kill -HUP) 某个服务!必须独立成行

daily 指定转储周期为每天

weekly 指定转储周期为每周

monthly 指定转储周期为每月

rotate count 指定日志文件删除之前转储的次数,0 指没有备份,5 指保留5 个备份

dateext 使用当期日期作为命名格式

dateformat .%s 配合dateext使用,紧跟在下一行出现,定义文件切割后的文件名,必须配合dateext使用,只支持 %Y %m %d %s 这四个参数

size(minsize) log-size 当日志文件到达指定的大小时才转储,log-size能指定bytes(缺省)KB (sizek)MB(sizem).
当日志文件 >= log-size 的时候就转储。 以下为合法格式:(其他格式的单位大小写没有试过)

size = 5 size 5 >= 5 个字节就转储)

size = 100k size 100k

size = 100M size 100M

如果设置了size,会无视 daily, weekly,monthly 指令,所以size的优先级比较高

值得注意的一个配置是:copytruncate

copytruncate 如果没有这个选项的话,操作方式:是将原log日志文件,移动成类似log.1的旧文件, 然后创建一个新的文件。

如果设置了,操作方式:拷贝原日志文件,并且将其变成大小为0的文件。

区别是如果进程,比如nginx 使用了一个文件写日志,没有copytruncate的话,切割日志时, 把旧日志log->log.1 ,然后创建新日志log。这时候nginx 打开的文件描述符依然时log.1,由没有信号通知nginx 要换日志描述符,所以它会继续向log.1写日志,这样就不符合我们的要求了。 因为我们想切割日志后,nginx 自动会向新的log 文件写日志,而不是旧的log.1文件

解决方法有两个:

1、向上面的nginx 切割日志配置,再postrotate里面写个脚本

postrotate # 在logrotate转储之后需要执行的指令,例如重新启动 (kill -HUP) 某个服务!必须独立成行

 [ -s /run/nginx.pid ] && kill -USR1 `cat /run/nginx.pid`

endscript

这样就是发信号给nginx ,nginx 关闭旧日志文件描述符,重新打开新的日志文件描述,并写入日志

2、使用copytruncate参数,向上面说的,配置了它以后,操作方式是把log 复制一份 成为log.1,然后清空log的内容,使大小为0,那此时log依然时原来的旧log,对进程(nginx)来说,依然打开的是原来的文件描述符,可以继续往里面写日志,而不用发送信号给nginx

copytruncate这种方式操作的时候, 拷贝和清空之间有一个时间差,可能会丢失部分日志数据。

nocopytruncate 备份日志文件不过不截断

 


本文出自 “12177655” 博客,谢绝转载!

rsyslog日志轮循


推荐阅读
  • Metasploit攻击渗透实践
    本文介绍了Metasploit攻击渗透实践的内容和要求,包括主动攻击、针对浏览器和客户端的攻击,以及成功应用辅助模块的实践过程。其中涉及使用Hydra在不知道密码的情况下攻击metsploit2靶机获取密码,以及攻击浏览器中的tomcat服务的具体步骤。同时还讲解了爆破密码的方法和设置攻击目标主机的相关参数。 ... [详细]
  • 本文分享了一个关于在C#中使用异步代码的问题,作者在控制台中运行时代码正常工作,但在Windows窗体中却无法正常工作。作者尝试搜索局域网上的主机,但在窗体中计数器没有减少。文章提供了相关的代码和解决思路。 ... [详细]
  • Java序列化对象传给PHP的方法及原理解析
    本文介绍了Java序列化对象传给PHP的方法及原理,包括Java对象传递的方式、序列化的方式、PHP中的序列化用法介绍、Java是否能反序列化PHP的数据、Java序列化的原理以及解决Java序列化中的问题。同时还解释了序列化的概念和作用,以及代码执行序列化所需要的权限。最后指出,序列化会将对象实例的所有字段都进行序列化,使得数据能够被表示为实例的序列化数据,但只有能够解释该格式的代码才能够确定数据的内容。 ... [详细]
  • 本文详细介绍了Linux中进程控制块PCBtask_struct结构体的结构和作用,包括进程状态、进程号、待处理信号、进程地址空间、调度标志、锁深度、基本时间片、调度策略以及内存管理信息等方面的内容。阅读本文可以更加深入地了解Linux进程管理的原理和机制。 ... [详细]
  • 本文介绍了在Mac上搭建php环境后无法使用localhost连接mysql的问题,并通过将localhost替换为127.0.0.1或本机IP解决了该问题。文章解释了localhost和127.0.0.1的区别,指出了使用socket方式连接导致连接失败的原因。此外,还提供了相关链接供读者深入了解。 ... [详细]
  • Nginx使用AWStats日志分析的步骤及注意事项
    本文介绍了在Centos7操作系统上使用Nginx和AWStats进行日志分析的步骤和注意事项。通过AWStats可以统计网站的访问量、IP地址、操作系统、浏览器等信息,并提供精确到每月、每日、每小时的数据。在部署AWStats之前需要确认服务器上已经安装了Perl环境,并进行DNS解析。 ... [详细]
  • 本文介绍了Python高级网络编程及TCP/IP协议簇的OSI七层模型。首先简单介绍了七层模型的各层及其封装解封装过程。然后讨论了程序开发中涉及到的网络通信内容,主要包括TCP协议、UDP协议和IPV4协议。最后还介绍了socket编程、聊天socket实现、远程执行命令、上传文件、socketserver及其源码分析等相关内容。 ... [详细]
  • GetWindowLong函数
    今天在看一个代码里头写了GetWindowLong(hwnd,0),我当时就有点费解,靠,上网搜索函数原型说明,死活找不到第 ... [详细]
  • 搭建Windows Server 2012 R2 IIS8.5+PHP(FastCGI)+MySQL环境的详细步骤
    本文详细介绍了搭建Windows Server 2012 R2 IIS8.5+PHP(FastCGI)+MySQL环境的步骤,包括环境说明、相关软件下载的地址以及所需的插件下载地址。 ... [详细]
  • Windows下配置PHP5.6的方法及注意事项
    本文介绍了在Windows系统下配置PHP5.6的步骤及注意事项,包括下载PHP5.6、解压并配置IIS、添加模块映射、测试等。同时提供了一些常见问题的解决方法,如下载缺失的msvcr110.dll文件等。通过本文的指导,读者可以轻松地在Windows系统下配置PHP5.6,并解决一些常见的配置问题。 ... [详细]
  • 本文介绍了在SpringBoot中集成thymeleaf前端模版的配置步骤,包括在application.properties配置文件中添加thymeleaf的配置信息,引入thymeleaf的jar包,以及创建PageController并添加index方法。 ... [详细]
  • 知识图谱——机器大脑中的知识库
    本文介绍了知识图谱在机器大脑中的应用,以及搜索引擎在知识图谱方面的发展。以谷歌知识图谱为例,说明了知识图谱的智能化特点。通过搜索引擎用户可以获取更加智能化的答案,如搜索关键词"Marie Curie",会得到居里夫人的详细信息以及与之相关的历史人物。知识图谱的出现引起了搜索引擎行业的变革,不仅美国的微软必应,中国的百度、搜狗等搜索引擎公司也纷纷推出了自己的知识图谱。 ... [详细]
  • 图解redis的持久化存储机制RDB和AOF的原理和优缺点
    本文通过图解的方式介绍了redis的持久化存储机制RDB和AOF的原理和优缺点。RDB是将redis内存中的数据保存为快照文件,恢复速度较快但不支持拉链式快照。AOF是将操作日志保存到磁盘,实时存储数据但恢复速度较慢。文章详细分析了两种机制的优缺点,帮助读者更好地理解redis的持久化存储策略。 ... [详细]
  • 后台获取视图对应的字符串
    1.帮助类后台获取视图对应的字符串publicclassViewHelper{将View输出为字符串(注:不会执行对应的ac ... [详细]
  • d3dx9_26.dll极品飞车9修复工具下载及修复教程
    本文介绍了d3dx9_26.dll文件的修复工具下载和修复教程,解释了该dll文件的作用和安装方法,同时提供了其他dll文件下载安装的方法。文章涵盖了3d、windows、p2p、dll、visual studio等知识点,并由未来可期1212投稿。希望该技术和经验能帮到你解决dll文件相关技术问题。 ... [详细]
author-avatar
手机用户2502902093
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有