Elasticsearch学习(5)Elasticsearch+logstash+filebeat+log4j的日志系统

最近需要使用Elasticsearch做一个日志系统&＃xff0c;本文只介绍log4j内容同步到Elasticsearch&＃xff0c;至于日志的查询和分类&＃xff0c;会在后面介绍。

一、配置并打开Elasticsearch

　　这个操作不在叙述&＃xff0c;需要注意的是&＃xff0c;本文使用的是elasticsearch-5.6.8版本的elasticsearch&＃xff0c;所以logstash和filebeat也是5.6.8&＃xff0c;本文使用的环境是windows系统。

二、配置filebeat

　　之前我们已经介绍了使用logstash来同步mysql数据库&＃xff0c;那么logstash是否也能同步log4j&＃xff1f;在查询文档后发现&＃xff0c;logstash在低版本情况下是可以直接同步log4j的&＃xff0c;但是如果使用logstash5.X的版本&＃xff0c;logstash变不在支持log4j转而将这个功能放入到了Filebeat实现&＃xff0c;所以使用log4j的日志系统将采用Elasticsearch&＃43;logstash &＃43;filebeat&＃43;log4j的形式。

       首先介绍一下什么是Filebeat。Filebeat是一个日志文件托运工具&＃xff0c;在你的服务器上安装客户端后&＃xff0c;filebeat会监控日志目录或者指定的日志文件&＃xff0c;追踪读取这些文件&＃xff08;追踪文件的变化&＃xff0c;不停的读&＃xff09;&＃xff0c;并且转发这些信息到elasticsearch或者logstarsh中存放&＃xff0c;接下来将介绍配置filebeat。

　　1.下载filebeat&＃xff0c;需要注意的是filebeat版本应该elasticsearch版本一致&＃xff0c;官网地址&＃xff1a;

　　 https://www.elastic.co/downloads/beats/filebeat

　　2.修改filebeat文件中的filebeat.yml文件

　　　input_type:long

　　　path:

　　　　- 你的log4j文件绝对路径　

　　　　在filebeat.yml文件中的Elasticsearch output项可以修改Elasticsearch 的地址

　　　　在filebeat.yml文件中的Logstash  output项修改Logstash的地址&＃xff08;这个地址和端口号必须与接下来配置Logstash的.conf文件一致&＃xff09;

　　　　以上的配置已经可以同步&＃xff0c;其他的详细配置&＃xff0c;可以参考这篇博客&＃xff1a;https://blog.csdn.net/haozhuxuan/article/details/79738447

　　3.启动filebeat

　　　　打开命令终端&＃xff0c;进入filebeat文件夹运行&＃xff1a;　　　　　

三、配置Logstash文件

　　1.在Logstash文件夹下创建conf文件夹

　　2.在创建的conf文件夹中创建log4j.conf文件&＃xff0c;文件的内容为&＃xff1a;

 　3.运行log4j.conf文件&＃xff1a;

　　使用windows终端进入Logstash文件下&＃xff0c;运行&＃xff1a;

   完成这一步&＃xff0c;整个同步过程就已经完成了

四、测试

 　　本文使用的是spring boot项目&＃xff0c;需要添加log4j的依赖&＃xff1a;

　  在application.properties同一级下创建log4j.properties文件&＃xff1a;

编写测试代码&＃xff1a;

import org.apache.log4j.Logger;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;&＃64;RestController
public class LoginController {private static final Logger logger &＃61; Logger.getLogger(LoginController.class);&＃64;RequestMapping("/getUser")public String getUser(){logger.debug("debug message!");logger.info("info message!");logger.warn("warn message!");logger.error("error message!");try{System.out.println(10/0);}catch(Exception e){logger.error(e);}return "返回成功";}}

测试代码

访问&＃xff1a;http://localhost:8880/getUser 后&＃xff0c;我们可以在head中看见&＃xff0c;刚才的日志信息已经同步到Elasticsearch中