Logback和Logstash的集成

有一段时间没有关注Logstash这个项目了，现在几个项目统一在ElasticSearch下面了。可喜！

http://www.elasticsearch.org/overview/elkdownloads/

Logstash是什么

大家在每台服务器上都有Log，规模小的话，一台一台机器登进去看当然没问题。但是当你有上十台以上，管理成本开始增加了，Logstash就是为了解决这个问题。

现在的应用通常以分布式的服务为主，一个流程调用这里一个服务，那里一个服务，当问题发生的时候，排查上比较困难，你必须得在每台相关的服务器上看日志，过程比较花时间。

以往有syslogd等工具可以汇总到一台机器，但都是以文件方式，搜索不方便。Logstash可配置输出到ElasticSearch服务帮忙做搜索功能，可以做到实时的关键字搜索，作为系统管理员，这个配置非常方便。

Logstash有相当多的渠道去获取Log，得到原始Log之后，可以配置做一下格式的转换，把关键的信息抽取出来，再输出到不同的地方，而ElasticSearch只是其中之一。

目前个人觉得比较方便的界面是Kibana，Kibana是一个比较友好的界面去看到在ElasticSearch上面的Log。

实际用例

在Java开发中，不少人会用到Logback作为日志的工具，由于Logback目前没有渠道直接把Log发到Logstash上，我就做了一个Appender，通过Redis以JSON格式把Log发布到Logstash里。达到的效果是，只要改改logback的配置，就可以把所有应用的Log汇聚在Logstash上。

前期准备：

• Redis服务器，可以与Logstash在同一台服务器
• Logstash＋ElasticSearch＋Kibana：安装过程参考官方文档

配置logback，需要一个转接的Appender，可以通过Maven依赖加到项目中：

  com.cwbase
  logback-redis-appender
  1.0.0

非Maven（如Scala）就要按情况改变一下。

配上对应的logback.xml（或者相应的配置文件）

  
    YOUR_APPLICATION_NAME
    test
    YOUR_REDIS_SERVER
    logstash   
    test
    true
    true
    0
  

  
    
  

每一个配置项可以参考项目的说明 https://github.com/kmtong/logback-redis-appender

简单的 Logstash Input 配置：http://www.logstash.net/docs/1.4.2/inputs/redis

input {
  redis {
    host => 'YOUR_REDIS_SERVER',
    key => 'logstash',
    data_type => 'list',
    format => 'json_event'
    # password => ... # password (optional)
    # port => ... # number (optional), default: 6379
    # tags => ... # array (optional)
    # type => ... # string (optional)
  }
}

现在就可以享受中央储存和搜索Log的好处了。