日志片断分析

systemd:服务报出来的信息
kvm:内核模块kvm报出来的信息
kernel: tun: 内核的tun模块报出来的信息
kernel: br0: 内核的br0模块报出来的信息
kernel: kvm [1437] kvm进程为pid1437报出来的信息

http://blog.csdn.net/hxh129/article/details/8089474

last 与lastb一样&＃xff0c;只不过lastb默认显示的是btmp文件

[root&＃64;test1 ~]# rpm -qa|grep log
sysklogd-1.4.1-46.el5
logwatch-7.3-9.el5_6
logrotate-3.7.4-12
rsyslog-3.22.1-7.el5

[root&＃64;test1 ~]# rpm  -qa|grep init
initscripts-8.45.42-1.el5.centos

[root&＃64;test1 ~]# rpm -qa|grep psacct
psacct-6.3.2-44.el5

/var/run/utmp 当前的,/var/log/wtmp 历史的&＃xff0c;/var/log/btmp 失败的

[root&＃64;cache ~]# last
root     pts/0        36.44.101.18     Sat Jul 19 19:19   still logged in
root     pts/0        36.44.101.18     Sat Jul 19 18:59 - 19:18  (00:19)
root     pts/0        172.16.1.18      Fri Jul 18 22:18 - 01:47  (03:28)
wtmp begins Mon Jul 14 19:02:38 2014
[root&＃64;cache ~]# last -f /var/log/btmp　　查看失败纪录的  -f /var/run/utmp -f /var/log/wtmp
root     ssh:notty    36.44.101.18     Sat Jul 19 19:18   still logged in
root     ssh:notty    36.44.101.18     Sat Jul 19 19:18 - 19:18  (00:00)
btmp begins Sat Jul 19 19:18:54 2014

登录记账

登录会话(如login程序&＃xff0c;telnet程序和sshd程序)
/var/run/utmp
/var/log/wtmp
/var/log/lastlog
[root&＃64;250-shiyan include]# less bits/utmpx.h
[root&＃64;250-shiyan include]# less utmp.h
[root&＃64;250-shiyan include]# less utmpx.h
[root&＃64;250-shiyan include]# less paths.h
[root&＃64;250-shiyan include]# pwd
/usr/include

一般来说&＃xff0c;应用程序无需知道/var/run/utmp,/var/log/wtmp这些路径名&＃xff0c;因为这些路径名是编译进glibc的。需要引用这些文件的存储位置的程序应该使用在(and )中定义的_path_utmp和_path_wtmp路径名常量&＃xff0c;而不是在代码中硬编码路径名。

wtmp和utmp文件都是二进制文件&＃xff0c;他们不能被诸如tail命令剪贴或合并&＃xff08;使用cat命令&＃xff09;。用户需要使用who、w、users、last和ac来使用这两个文件包含的信息。
last命令往回搜索wtmp来显示自从文件第一次创建以来登录过的用户
lastlog命令查看各个用户最后一次登录时间
users用单独的一行打印出当前登录的用户&＃xff0c;每个显示的用户名对应一个登录会话
w命令查询utmp文件并显示当前系统中每个用户和它所运行的进程信息
who命令查询utmp文件并报告当前登录的每个用户
ac命令根据当前的/var/log/wtmp文件中的登录进入和退出来报告用户连结的时间&＃xff08;小时&＃xff09;

ac -d按天计算登录的时间&＃xff0c;ac -p按用户计算登录时间&＃xff0c;ac -d lzb查找此用户每天的登录时间
 
包含下列结构的一个二进制记录写入这两个文件中&＃xff1a;
　　struct utmp {
　　char ut_line[8]; /* tty line: "ttyh0", "ttyd0", "ttyp0", ... */
　　char ut_name[8]; /* login name */
　　long ut_time; /* seconds since Epoch */
　　};
登录时&＃xff0c;login程序填写这样一个结构&＃xff0c;然后将其写入到utmp文件中&＃xff0c;同时也将其添写到wtmp文件中。
注 销时&＃xff0c;init进程将utmp文件中相应的记录擦除(每个字节都填以0 )&＃xff0c;并将一个新记录添写到wtmp文件中。读wtmp文件中的该注销记录&＃xff0c;其ut_name字段清除为0。在系统再启动时&＃xff0c;以及更改系统时间和日期的前 后&＃xff0c;都在wtmp文件中添写特殊的记录项。who( 1 )程序读utmp文件&＃xff0c;并以可读格式打印其内容。后来的UNIX版本提供last( 1 )命令&＃xff0c;它读wtmp文件并打印所选择的记录。wtmp文件&＃xff0c;它跟踪各个登录和注销事件。
wted
wtmp/utmp日志编辑程序。你可以使用这个工具编辑所有wtmp或者utmp类型的文件。
z2
utmp/wtmp/lastlog日志清理工具。可以删除utmp/wtmp/lastlog日志文件中有关某个用户名的所有条目。不过&＃xff0c;如果用于Linux系统需要手工修改其源代码&＃xff0c;设置日志文件的位置。

连接时间日志
进程统计日志
错误日志

[root&＃64;cache ~]# rpm -qa|grep psacct
psacct-6.3.2-63.el6_3.3.x86_64
[root&＃64;cache ~]# service psacct stop
Shutting down process accounting:                          [  OK  ]
[root&＃64;test1 account]# service psacct start    服务启动
Starting process accounting:                               [  OK  ]
[root&＃64;test1 account]# /etc/init.d/psacct start  脚本启动
Starting process accounting:                               [  OK  ]

[root&＃64;test1 ~]# lastcomm pts/0          通过终端名
[root&＃64;test1 ~]# lastcomm ls               通过命令名
[root&＃64;test1 ~]# lastcomm oracle         通过用户名查询
[root&＃64;cache ~]# lastcomm
crond             SF    root     __         0.03 secs Sat Jul 19 20:01
run-parts               root     __         0.03 secs Sat Jul 19 20:01
S 命令由超级用户执行
F 命令由fork产生&＃xff0c;但没有exec
D 命令终止并创建一个core文件
X 命令被sigterm信号终止
[root&＃64;cache ~]# sa
      90   32918.77re       0.02cp    15590k
       2     103.78re       0.00cp    17840k   sshd
       2       0.00re       0.00cp    40344k   rpm
      15   32719.14re       0.00cp    15922k   ***other*
       4       0.00re       0.00cp    27552k   ps
       3      95.59re       0.00cp    14420k   sftp-server
       3       0.00re       0.00cp    27104k   psacct
       6       0.00re       0.00cp     4355k   unix_chkpwd
       4       0.00re       0.00cp    29324k   ls
       7       0.00re       0.00cp    13053k   bash*

0.36re "实际时间" 单位为分钟。
0.12cp 系统和用户时间总数(CPU时间, 单位为分钟)。
31156K 核心使用所占的平均CPU时间, 一个单元的大小为1KB。
up2date 命令名。
显示每一个用户:
[root&＃64;test1 ~]# sa -u
root       0.00 cpu      917k mem accton
root       0.00 cpu    15806k mem touch
root       0.00 cpu    16060k mem psacct
oracle     0.07 cpu    35696k mem oracle
oracle     0.00 cpu   327296k mem oracle           *
[root&＃64;test1 ~]# sa -a
     245     107.25re       0.12cp    74539k
      44      57.27re       0.05cp    35697k   oracle
       4       0.04re       0.04cp    28412k   rpmq
       1       0.12re       0.03cp    78080k   yum-updatesd-he
       2      24.14re       0.00cp    16330k   sshd
       2      23.90re       0.00cp    16576k   bash
[root&＃64;test1 ~]# sa -b
     249     110.34re       0.12cp    74947k
       4       0.04re       0.04cp    28412k   rpmq
      13       1.24re       0.03cp    14194k   ***other
      46      60.35re       0.06cp    35697k   oracle
       2      24.14re       0.00cp    16330k   sshd
       2      23.90re       0.00cp    16576k   bash
       2       0.00re       0.00cp    16464k   ps

[root&＃64;test1 ~]# sa -m
                                      252     111.34re       0.13cp    75499k
root                                  156      49.77re       0.07cp    12392k
oracle                                 94      61.36re       0.06cp   181496k
sshd                                    2       0.22re       0.00cp    16000k
你可以通过查看re, k, cp/cpu(见上面输出解释)时间来找出可疑的活动, 或某个用户/命令占用了所有的CPU时间。如果CPU/Memeory使用数(命令)在不断增加, 可以说明命令存在问题。

logrotate 指令

compress 通过gzip 压缩转储以后的日志
nocompress 不需要压缩时&＃xff0c;用这个参数

missingok 如果日志不存在&＃xff0c;不会发出抱怨

dateext  切换后的日志文件会附加上一个短横线和YYYYMMDD格式的日期&＃xff0c;没有这个配置项会附加一个小数点加一个数字序号
copytruncate 用于还在打开中的日志文件&＃xff0c;把当前日志备份并截断&＃xff0c;在复制当前日志文件后&＃xff0c;将日志文件清空&＃xff1b;而不是将当前日志文件改名后创建一个新的
nocopytruncate 备份日志文件但是不截断
create mode owner group 转储文件&＃xff0c;使用指定的文件模式创建新的日志文件
nocreate 不建立新的日志文件
delaycompress 和 compress 一起使用时&＃xff0c;转储的日志文件到下一次转储时才压缩
nodelaycompress 覆盖 delaycompress 选项&＃xff0c;转储同时压缩。
errors address 专储时的错误信息发送到指定的Email 地址
ifempty 即使是空文件也转储&＃xff0c;这个是 logrotate 的缺省选项。
notifempty 如果是空文件的话&＃xff0c;不转储
mail address 把转储的日志文件发送到指定的E-mail 地址
nomail 转储时不发送日志文件
olddir directory 转储后的日志文件放入指定的目录&＃xff0c;必须和当前日志文件在同一个文件系统
noolddir 转储后的日志文件和当前日志文件放在同一个目录下
prerotate/endscript 在转储以前需要执行的命令可以放入这个对&＃xff0c;这两个关键字必须单独成行
postrotate/endscript 在转储以后需要执行的命令可以放入这个对&＃xff0c;这两个关键字必须单独成行
daily 指定转储周期为每天
weekly 指定转储周期为每周
monthly 指定转储周期为每月
rotate count 指定日志文件删除之前转储的次数&＃xff0c;0 指没有备份&＃xff0c;5 指保留5 个备份
tabootext [&＃43;] list 让logrotate 不转储指定扩展名的文件&＃xff0c;缺省的扩展名是&＃xff1a;.rpm-orig, .rpmsave, v, 和 ~
size size 当日志文件到达指定的大小时才转储&＃xff0c;Size 可以指定 bytes (缺省)以及K (sizek)或者M (sizem). 

prerotate 命令指定转储以前的动作
/usr/bin/chattr -a 去掉/var/log/messages文件的“只追加”属性
endscript 结束 prerotate 部分的脚本
postrotate 指定转储后的动作
/usr/bin/killall -HUP syslogd 用来重新初始化系统日志守护程序 syslogd
/usr/bin/chattr &＃43;a /var/log/messages 重新为 /var/log/messages 文件指定“只追加”属性&＃xff0c;这样防治程序员或用户覆盖此文件。
最后的 endscript 用于结束 postrotate 部分的脚本

1、在/etc/logrotate.d目录下创建一个nginx的配置文件"nginx"配置内容如下
#vim /etc/logrotate.d/nginx
/usr/local/nginx/logs/*.log {
daily
rotate 5
missingok
notifempty
sharedscripts
postrotate
    if [ -f /usr/local/nginx/logs/nginx.pid ]; then
        kill -USR1 &＃96;cat /usr/local/nginx/logs/nginx.pid&＃96;
    fi
endscript
}

#/usr/sbin/logrotate -f /etc/logrotate.d/nginx

4、配置文件说明
daily&＃xff1a;日志文件每天进行滚动
rotate&＃xff1a;保留最5次滚动的日志
notifempty&＃xff1a;日志文件为空不进行滚动
sharedscripts&＃xff1a;运行postrotate脚本
下面是一个脚本
postrotate
    if [ -f /usr/local/nginx/logs/nginx.pid ]; then
        kill -USR1 &＃96;cat /usr/local/nginx/logs/nginx.pid&＃96;
    fi
endscript
脚本让nginx重新生成日志文件。

以下两步即可实现一个应用的日志轮转

[root&＃64;109-com1 cron.daily]# cat /etc/logrotate.d/asterisk
/var/log/asterisk/messages
{
missingok
copytruncate
create
notifempty
rotate 5
}

[root&＃64;109-com1 cron.daily]# crontab -l

*/5 * * * * /usr/sbin/logrotate /etc/logrotate.d/asterisk

但是运行却发现每天虽然在生成新日志文件&＃xff0c;但是日志还是被写到旧文件里去。好好研究了一下发现这错误犯的真2&＃xff0c;rsyslog和logrotate根本就是两个软件包两回事嘛。虽然logrotate重命名了当前log&＃xff0c;删了旧log&＃xff0c;但是rsyslog不知道哇&＃xff0c;打开的文件还是旧文件嘛。当然写的就是旧文件了嘛。

经探索后发现这个问题有两种解决办法。
1.copytruncate&＃xff0c;拷贝后截断。
把当前log拷贝后截断。可以理解为把内容拷贝走作为备份&＃xff0c;然后清空当前文件。但是这有一个问题就是拷贝和截断之间会有时间差&＃xff0c;存在丢数据的可能。
2.给rsyslog发信号。重新打开log文件。
在/etc/logrotate.d/zw_log里添加
sharedscripts
postrotate
/bin/kill -HUP &＃96;cat /var/run/syslogd.pid 2> /dev/null&＃96; 2> /dev/null || true
endscript
postrotate表示在日志轮转后执行
sharedscripts表示zw_notice.log、zw_info.log两个日志共享这个脚本&＃xff0c;就是说他俩轮转完成后只执行一次这个脚本&＃xff0c;默认情况下是每个脚本轮转完成就执行一次。  

sharedscripts...endscripts设置起来使用才行。至于可用环境为&＃xff1a;
prerotate:在启动logrotate之前进行的命令&＃xff0c;例如修改日志文件的属性等&＃xff1b;
postrotate:在做完logrotate之后启动的命令&＃xff0c;例如重启某个服务。

例子&＃xff1a;
    sharedscripts
    postrotate
    pkill -USR1 iscsiuio 2> /dev/null || true
    endscript

/var/log/spooler
{
    sharedscripts
    postrotate
        /bin/kill -HUP &＃96;cat /var/run/syslogd.pid 2> /dev/null&＃96; 2> /dev/null || true
    endscript
}

rsyslog研究

 

http://www.rsyslog.com/doc/v5-stable/configuration/basic_structure.html

rsyslogd日志丢失的解决

rsyslog报错误消息
imuxsock begins to drop messages

增加下面两个参数后&＃xff0c;便不丢失日志
方法1&＃xff08;有效&＃xff09;

vi /etc/rsyslog.conf,加入下面两句&＃xff0c;然后重启rsyslog服务即可
$IMUXSockRateLimitInterval 0
$SystemLogRateLimitInterval 0

方法2&＃xff08;好像不怎么有效&＃xff09;
$SystemLogRateLimitInterval 60
$SystemLogRateLimitBurst 3000