Linux环境下使用rsyslog管理日志

在 Linux 系统中&＃xff0c;日志文件记录了系统中包括内核、服务和其它应用程序等在内的运行信息。
在我们解决问题的时候&＃xff0c;日志是非常有用的&＃xff0c;它可以帮助我们快速的定位遇到的问题。

在 Cent OS 6中&＃xff0c;日志是使用rsyslogd守护进程进行管理的&＃xff0c;该进程是之前版本的系统中syslogd的升级版&＃xff0c;对原有的日志系统进行了功能的扩展&＃xff0c;提供了诸如过滤器&＃xff0c;日志加密保护&＃xff0c;各种配置选项&＃xff0c;输入输出模块&＃xff0c;支持通过 TCP 或者 UDP 协议进行传输等。

rsyslog的配置文件为 /etc/rsyslog.conf , 大多数日志文件都位于 /var/log/ 目录中。

定位日志文件

大多数日志文件都位于 /var/log/ 目录中。在该目录中&＃xff0c;你可能注意到很多日志文件末尾包含一串数字&＃xff08;如 maillog-20150301 &＃xff09;&＃xff0c;这说明这些日志文件经过了日志转储&＃xff0c;这样可以避免日志文件过大。

在软件包logrotate中包含了一个定时任务&＃xff0c;根据/etc/logrotate.conf文件和/etc/logrotate.d/目录中的的配置定期的转储日志文件。

Rsyslog基本配置

Rsyslog 的主要配置文件为 /etc/rsyslog.conf 文件&＃xff0c;在配置文件中&＃xff0c;我们通过配置 filter 以及 action 对日志进行管理。

在rsyslog配置文件中&＃xff0c;使用如下格式定义规则

filter action


rsyslog发现符合 filter 规则的日志后&＃xff0c;会将日志发送到 action 指定的动作进行处理。

Filter

在rsyslog中&＃xff0c;提供了三种方式的过滤器方法&＃xff1a;

基于设施/优先级的过滤器 (Facility/Priority-based filters)

基于设施/优先级的过滤器是最常用的方法&＃xff0c;语法如下&＃xff1a;

FACILITY.PRIORITY


FACILITY指定了产生日志消息的子系统&＃xff0c;可选值为 auth , authpriv , cron , daemon , kern , lpr , mail , news , syslog , user , ftp , uucp , local0 ~ local7 。

PRIORITY指定了日志消息的优先级&＃xff0c;可用的优先级包含 debug (7) , info (6) , notice (5) , warning (4) , err (3) , crit (2) , alert (1) , emerg (0) 。

前置符号&＃61;表明只有该优先级的消息会被捕获&＃xff0c;!表明除了该优先级的消息之外的优先级会被捕获。除了前置符号外&＃xff0c;可以使用符号*

表示所有的设施或者优先级&＃xff0c;对优先级部分使用none关键字会捕获所有没有指定优先级的消息。

定义多个设施或者优先级使用,分隔&＃xff0c;如果是多个 filter 的话&＃xff0c;则使用;进行分隔。

使用范例

kern.* # 选择所有优先级的内核日志
mail.crit # 选择所有mail 的优先级高于crit的日志
cron.!info,!debug # 选择除了 info 和 debug 优先级的 cron 日志


基于属性的过滤器

基于属性的过滤器语法

:PROPERTY, [!]COMPARE_OPERATION, "STRING"


:PROPERTY是要比较的日志属性&＃xff0c;COMPARE_OPERATION 为要执行的比较操作&＃xff0c;这个的!表示取反的意思&＃xff0c;"STRING"为比较的值。

可以使用的比较操作&＃xff1a;

使用范例&＃xff1a;

:msg, contains, "error"
:hostname, isequal, "host1"
:msg, !regex, "fatal .* error"


基于表达式的过滤器

基于表达式的过滤器使用了rsyslog自定义的脚本语言RainerScript构建复杂的filter&＃xff0c;这里暂时不对这种方法进行讲述。

Action

Action定义了当匹配指定的 filter 的时候&＃xff0c;执行什么操作。

如果要指定多个 ACTION&＃xff0c; 使用 &连接多个 ACTION。
例如&＃xff1a;

kern.&＃61;crit user1& ^test-program;temp& &＃64;192.168.0.1


这里的;temp指定了传递日志给 test-program 程序时&＃xff08; ^ 开头表明日志发送给该可执行文件&＃xff09;&＃xff0c;使用它 temp 模板格式化日志。

在 ACTION 后面追加;模板名称可以为指定的 action 使用该模板格式化日志。

保存日志到日志文件

语法&＃xff1a;

FILTER PATH


这里的 PATH 指定了日志要保存到的文件。例如 cron.* /var/log/cron.log 指定了所有的定时任务日志都写入到/var/log/cron.log文件。

默认情况下&＃xff0c;每次生成 syslog 的时候&＃xff0c;日志信息会同步到日志文件。可以在文件路径前使用 - 指定忽略同步&＃xff08;如果系统崩溃&＃xff0c;会丢失日志&＃xff0c;但是这样可以提高日志性能&＃xff09;。

除了上述方法记录日志&＃xff08;静态&＃xff09;&＃xff0c;也可以动态的生成日志文件。

FILTER ?DynamicFile


这里的DynamicFile是预定义的输出路径模板。

通过网络发送syslog

rsyslog可以使用网络将日志消息发送或者接受日志&＃xff0c;使用这个特性&＃xff0c;可以实现使用单一的日志服务器统一管理多台服务器日志。

&＃64;[(zNUMBER)]HOST:[PORT]


这里的&＃64;告诉syslog使用 UDP 协议发送日志&＃xff0c;要使用 TCP 的话&＃xff0c;使用 &＃64;&＃64;。可选值zNUMBER设置了是否允许使用zlib对日志压缩&＃xff08;压缩级别1-9&＃xff09;。

使用范例

*.* &＃64;192.168.0.1 # 使用 UDP 发送&＃xff0c;默认端口514
*.* &＃64;&＃64;example.com:18 # 使用 TCP 发送到端口18&＃xff0c; 默认10514
*.* &＃64;(z9)[2001:db8::1] # UDP, ipv6&＃xff0c;使用zlib级别9压缩


丢弃日志

要丢弃日志消息&＃xff0c;使用~动作。

FILTER ~


例如&＃xff1a;

cron.* ~


模板

任何rsyslog生成的日志都可以根据需要使用模板进行格式化&＃xff0c;要创建模板&＃xff0c;使用如下指令

$template TEMPLATE_NAME,"text %PROPERTY% more text", [OPTION]


这里的$template指令表明了接下来的内容定义了一个模板&＃xff0c;TEMPLATE_NAME是模板的名称&＃xff0c;接下来双引号之间的内容为模板的内容。

这里还有一个 OPTION &＃xff0c; 它指定了模板的功能&＃xff0c;支持选项为sql和stdsql&＃xff0c;在使用数据库存储的时候会用到。

生成动态文件名

模板可以用来生成动态文件名&＃xff0c;就如之前所述&＃xff0c;在使用动态文件名的时候&＃xff0c;需要在 ACTION 中的模板名称前增加?表明该文件名是动态生成的。

例如:

$template DynamicFile,"/var/log/test_logs/%timegenerated%-test.log"
*.* ?DynamicFile


timegenerated属性从日志信息中提取出消息的时间戳&＃xff0c;这样可以为每个日志生成唯一文件名称。

属性

在模板中使用的属性是在%之间的内容&＃xff0c;使用属性可以访问日志消息中的内容。

%PROPERTY_NAME[:FROM_CHAR:TO_CHAR:OPTION]%


可用的属性列表见man rsyslog.conf。

全局指令

全局指令是rsyslogd守护进程的配置指令。所有的全局指令必须以$开始&＃xff0c;每行只能有一个指令&＃xff0c;例如&＃xff1a;

$MainMsgQueueSize 50000


在新的配置格式中(rsyslog v6)&＃xff0c;已经不在使用这种方式的指令&＃xff0c;但是它们仍然是可用的。

队列

在 rsyslog 中&＃xff0c;队列用来传输数据&＃xff0c;当 rsyslog 接收到一个消息的时候&＃xff0c;首先传递消息预处理器&＃xff0c;然后加入到主消息队列&＃xff0c;接下来消息会从队列中取出传递给规则处理器。

规则处理器是一个解析过滤引擎&＃xff0c;它会基于配置文件中定义的规则&＃xff0c;执行相应的动作(action)&＃xff0c;每一个动作都有自己的动作队列&＃xff0c;消息通过这个队列发送到对应的动作处理器&＃xff0c;然后输出。

对于同一个消息来说&＃xff0c;可以同时传递这个消息给多个动作队列。

定义队列

在配置文件/etc/rsyslog.conf文件中

$objectQueueType queue_type


这里的队列类型可选值为 direct , linkedlist , fixedarray (内存队列), 或者 disk 。

默认情况下&＃xff0c;对于主队列&＃xff0c;使用的是FixedArray队列&＃xff08;10000个消息长度&＃xff09;&＃xff0c;动作队列采用的是direct 队列。

PHP 使用 syslog 输出日志

在PHP 中&＃xff0c;调用系统日志系统的函数有三个

bool openlog ( string $ident , int $option , int $facility )
bool syslog ( int $priority , string $message )
bool closelog ( void )


函数openlog用于打开到系统日志系统的连接&＃xff0c;第一个参数$ident是一个字符串&＃xff0c;syslog 会将该字符串自动加到使用syslog函数输出的所有日志消息的前面。第二个参数是日志选项&＃xff0c;第三个参数是记录日志的设施。

函数openlog()和closelog()是可选的。

例如&＃xff0c;我们在/etc/rsyslog.conf配置文件中增加如下配置

local5.* /tmp/php_test.log


增加后需要重启 rsyslog 进程(sudo /etc/init.d/rsyslog restart)

在 PHP 脚本中&＃xff0c;执行如下操作

php
openlog("LogHeader", LOG_PID, LOG_LOCAL5);
syslog(LOG_DEBUG, "Hello, Logger");


执行上述脚本&＃xff0c;我们可以在/tmp目录中看到出现名为php_test.log的文件

Mar 10 14:47:04 vm-hp LogHeader[8261]: Hello, Logger


第一部分Mar 10 14:47:04为日志时间&＃xff0c;第二部分vm-hp为主机的 HOSTNAME , 我们在 调用openlog函数的时候&＃xff0c;指定了 indent为LogHeader&＃xff0c; 同时在日志中加入进程的 PID&＃xff08;LOG_PID&＃xff09;。

上述日志消息&＃xff0c;如果要使用模板的话&＃xff0c;是下面这样的

$template LOG_TMP,"%timegenerated% %HOSTNAME% %msg%"
local5.* /tmp/php_test.log;LOG_TMP


我们将所有支持的模板属性变量输出如下

msg: Hello, Logger,
rawmsg: <175>Mar 10 15:52:49 LogHeader[13845]: Hello, Logger,
HOSTNAME: vm-28-234-pro01-hp,
FROMHOST: vm-28-234-pro01-hp,
syslogtag: LogHeader[13845]:,
programname: LogHeader,
PRI: 175,
PRI-text: local5.debug,
IUT: 1,
syslogfacility: 21,
syslogfacility-text: local5,
syslogseverity: 7,
syslogseverity-text: debug,
timereported: Mar 10 15:52:49,
TIMESTAMP: Mar 10 15:52:49,
timegenerated: Mar 10 15:52:49,
PROTOCOL-VERSION: 0,
STRUCTURED-DATA: -,
APP-NAME: LogHeader,
PROCID: 13845,
MSGID: -


参考: Red Hat Enterprise linux 6 Deployment Guide: Chapter 23. Viewing and Managing Log Files