微服务架构系列主题：SpringCloud分布式日志采集方案

本文转自&＃xff1a;Java高性能架构

目录

01 sleuth

02 搭建ELK

03 查询日志

由于微服务架构中每个服务可能分散在不同的服务器上&＃xff0c;因此需要一套分布式日志的解决方案。spring-cloud提供了一个用来trace服务的组件sleuth。它可以通过日志获得服务的依赖关系。基于sleuth&＃xff0c;可以通过现有的日志工具实现分布式日志的采集。

这里使用的是ELK&＃xff0c;也就是elasticsearch、logstash、kibana。

01 sleuth

第一步&＃xff1a;sleuth管理端

sleuth一般单独放在一个工程中。需要添加如下依赖

  io.zipkin.java  zipkin-autoconfigure-ui  runtime     io.zipkin.java  zipkin-server    


配置服务注册中心的地址

eureka: client: serviceUrl: defaultZone: http://localhost:1111/eureka/


启动类加入服务发现的注解和zipkin的注解&＃xff0c;如下

package com.wlf.demo;import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.cloud.client.discovery.EnableDiscoveryClient;import zipkin.server.EnableZipkinServer;&＃64;EnableDiscoveryClient 
&＃64;EnableZipkinServer  
&＃64;SpringBootApplication  
public class Application {public static void main(String[] args) {  SpringApplication.run(Application.class, args);  }  }


这个时候启动并访问该微服务的地址&＃xff0c;可以看到zipkin的管理页面了

第二步&＃xff1a;被管理的微服务端

在我们的其他微服务端需要简单的配置&＃xff0c;纳入到zipkin的管理之中

引入依赖

  org.springframework.cloud  spring-cloud-starter-sleuth      org.springframework.cloud  spring-cloud-sleuth-zipkin  


加入如下配置

spring: sleuth: sampler: percentage: 1zipkin: base-url: http://localhost:9411


spring.sleuth.sampler.percentage&＃xff1a;这个参数的意思是抓取100%的日志&＃xff0c;只有通过抓取日志&＃xff0c;才能获知依赖关系。但是如果始终抓取日志的话对性能会有影响&＃xff0c;因此可以自己配置。一般在开发环境&＃xff0c;该值设置为1&＃xff0c;生产环境视情况而定。

spring.zipkin.base-url&＃xff1a;为第一步配置的zipkin管理端微服务的地址

现在分别启动服务注册中心&＃xff0c;网关&＃xff0c;需要的微服务&＃xff0c;以及sleuth。

随便调用一个微服务

然后我们可以看到相关的跟踪日志

同样我们也可以看到微服务之间的依赖关系&＃xff0c;这里是通过网关调用了myservice-consumer-feign微服务&＃xff0c;然后通过myservice-consumer-feign微服务调用了myservice-provider微服务

02 搭建ELK

1、elasticsearch的安装与配置&＃xff0c;由于之前的文章已经介绍了elasticsearch的单点&＃xff0c;集群的安装&＃xff0c;head插件的安装。这里不再总结。

2、kibana的安装&＃xff0c;没什么好说的&＃xff0c;解压&＃xff0c;运行就可以了

3、logstash的安装&＃xff0c;解压即可

在config下新建配置文件

output {
input {tcp {port &＃61;> 4560codec &＃61;> json_lines}
}output {elasticsearch {hosts &＃61;> ["192.168.160.66:9200","192.168.160.88:9200","192.168.160.166:9200"]index &＃61;> "applog"}
}


其中port为端口号&＃xff0c;codec表示通过json格式&＃xff0c;elasticsearch.hosts表示elasticsearch的地址&＃xff0c;这里是集群。index 为日志存储的elasticsearch索引。

启动需要调用bin下的logstash命令&＃xff0c;通过-f指定配置文件

4、使用kibana

启动elasticsearch、head、kibana、logstash

创建索引applog

将applog配置到kibana中&＃xff0c;在index pattern中输入我们的applog索引

最后点击create即可

点击菜单中的discover即可查看日志

三、logback配置

spring-cloud、logstash都是支持logback的&＃xff0c;因此需要为微服务配置好相应的logback-spring.xml

这里值得注意的是&＃xff0c;在spring-boot中&＃xff0c;logback-spring.xml的加载在application.yml之前。而我们需要在logback-spring.xml中使用spring.application.name。因此&＃xff0c;我们需要把spring.application.name配置提到bootstrap.yml中。

加载顺序为bootstrap.yml&＃xff0c;logback-spring.xml&＃xff0c;application.yml

相比普通的logback-spring.xml&＃xff0c;我们主要配置这几样东西spring.application.name&＃xff0c;logstash的appender

这里提供一个logback-spring.xml的例子


                          true${CONSOLE_LOG_PATTERN}utf8      192.168.160.66:4560 UTC{"severity":"%level","service": "${springAppName:-}",  "trace": "%X{X-B3-TraceId:-}",  "span": "%X{X-B3-SpanId:-}",  "exportable": "%X{X-Span-Export:-}",  "pid": "${PID:-}",  "thread": "%thread",  "class": "%logger{40}",  "rest": "%message"  }main.logmain.%d{yyyy-MM-dd}.log30         %d{HH:mm:ss.SSS} [%thread] %-5level %logger{35} - %msg %n        DEBUG                  



我们把message信息配置到了rest字段中。

03 查询日志

启动服务注册中心&＃xff0c;网关&＃xff0c;需要的微服务&＃xff0c;以及sleuth。

启动elasticsearch&＃xff0c;head&＃xff0c;kibana&＃xff0c;logstash&＃xff0c;随便运行一个服务&＃xff0c;比如

这里会输出一行日志&＃xff0c;内容为myService-provider userController&＃xff0c;通过网关调用

eclipse控制台输出日志

在kibana中搜索日志

我们看到日志信息在rest字段中。另外&＃xff0c;通过trace和span还可以跟踪到整个微服务的调用过程。到此为止&＃xff0c;整个日志采集就搭建完成了。系统上线后只需要在elasticsearch中就能搜索到各个服务器上&＃xff0c;各个微服务的日志内容了。