【分布式链路追踪】Skywalking分布式链路追踪基于Docker安装与使用

原标题：【分布式链路追踪】Skywalking分布式链路追踪基于Docker安装与使用

1. 服务监控三要素^[1]

服务监控需要满足的三要素分别如下：

• 日志监控


• 指标监控


• 请求链路追踪

服务监控只要能满足这三个要素，基本就能实现我们想要的监控效果。

1.1.主流APM系统^[1:1]

APM 系统（Application Performance Management，即应用性能管理）是对企业的应用系统进行实时监控，实现对应用性能管理和故障定位的系统化解决方案，在运维中常用。

• 
  CAT（开源）： 由国内美团点评开源的，基于 Java 语言开发，目前提供 Java、C/C++、Node.js、Python、Go 等语言的客户端，监控数据会全量统计。国内很多公司在用，例如美团点评、携程、拼多多等。CAT 需要开发人员手动在应用程序中埋点，对代码侵入性比较强。


• 
  Zipkin（开源）： 由 Twitter 公司开发并开源，Java 语言实现。侵入性相对于 CAT 要低一点，需要对web.xml 等相关配置文件进行修改，但依然对系统有一定的侵入性。Zipkin 可以轻松与 Spring Cloud 进行集成，也是 Spring Cloud 推荐的 APM 系统。


• 
  Pinpoint（开源）： 韩国团队开源的 APM 产品，运用了字节码增强技术，只需要在启动时添加启动参数即可实现 APM 功能，对代码无侵入。目前支持 Java 和 PHP 语言，底层采用 HBase 来存储数据，探针收集的数据粒度非常细，但性能损耗较大，因其出现的时间较长，完成度也很高，文档也较为丰富，应用的公司较多。


• 
  SkyWalking（开源）： 国人开源的产品，2019 年 4 月 17 日 SkyWalking 从 Apache 基金会的孵化器毕业成为顶级项目。目前 SkyWalking 支持 Java、.Net、Node.js 等探针，数据存储支持MySQL、ElasticSearch等。


• 还有很多不开源的 APM 系统，例如，淘宝鹰眼、Google Dapper 等等。

2. SkyWalking^[2]

SkyWalking 是分布式系统的应用程序性能监视工具，专为微服务、云原生架构和基于容器（Docker、K8s、Mesos）架构而设计。

提供分布式追踪、服务网格遥测分析、度量聚合和可视化一体化解决方案

2.1 功能列表

• 多种监控手段。可以通过语言探针和 service mesh 获得监控是数据。


• 多个语言自动探针。包括 Java，.NET Core 和 Node.JS。


• 轻量高效。无需大数据平台，和大量的服务器资源。


• 模块化。UI、存储、集群管理都有多种机制可选。


• 支持告警。


• 优秀的可视化解决方案。

2.2 整体架构

整个架构，分成上、下、左、右四部分：

• 上部分 Agent ：负责从应用中，收集链路信息，发送给 SkyWalking OAP 服务器。目前支持 SkyWalking、Zikpin、Jaeger 等提供的 Tracing 数据信息。而我们目前采用的是，SkyWalking Agent 收集 SkyWalking Tracing 数据，传递给服务器。


• 下部分 SkyWalking OAP ：负责接收 Agent 发送的 Tracing 数据信息，然后进行分析(Analysis Core) ，存储到外部存储器( Storage )，最终提供查询( Query )功能。


• 右部分 Storage ：Tracing 数据存储。目前支持 ES、MySQL、Sharding Sphere、TiDB、H2 多种存储器。而我们目前采用的是 ES ，主要考虑是 SkyWalking 开发团队自己的生产环境采用 ES 为主。


• 左部分 SkyWalking UI ：负责提供控台，查看链路等等。

2.3 搭建SkyWalking 单机环境

• 第一步，搭建一个 Elasticsearch 服务。


• 第二步，下载 SkyWalking 软件包。


• 第三步，搭建一个 SkyWalking OAP 服务。


• 第四步，启动一个 Spring Boot 应用，并配置 SkyWalking Agent。


• 第五步，搭建一个 SkyWalking UI 服务。

环境说明

操作系统：Centos 7.6

Docker：20.10.18

Skywalking OAP：8.9.1

Skywalking UI：8.9.1

Skywalking Agent：8.14

Elasticsearch：7.1.1

下载镜像

docker pull docker.io/elasticsearch:7.1.1
docker pull apache/skywalking-ui:8.9.1
docker pull apache/skywalking-oap-server:8.9.1


说明：Skywalking 8.9.1是 Skywalking 8 的最后一个版本，并且修复了Log4j的JNDI注入漏洞CVE-2021-44228

下载镜像时如提示 command not found ，请先去安装docker

下载Java Agent源码包，后续在项目中会用到

https://archive.apache.org/dist/skywalking/java-agent/8.14.0/apache-skywalking-java-agent-8.14.0.tgz


安装Elasticsearch

先运行es容器

docker run -d --name=es --restart=always -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" -e ES_JAVA_OPTS="-Xms2048m -Xmx2048m" b0e9f9f047e6


可根据自己的情况修改 ES_JAVA_OPTS 的值

创建持久化文件

mkdir -p /home/elasticsearch/


复制容器内的文件

docker cp es:/usr/share/elasticsearch/data /home/elasticsearch/
docker cp es:/usr/share/elasticsearch/logs /home/elasticsearch/


删除es容器

docker rm -f es


以挂载模式运行

docker run -d --name=es --restart=always -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" -v /home/elasticsearch/data:/usr/share/elasticsearch/data -v /home/elasticsearch/logs:/usr/share/elasticsearch/logs -e ES_JAVA_OPTS="-Xms2048m -Xmx2048m" b0e9f9f047e6


使用 docker logs -f es 查看启动日志，当看到下面的内容时说明启动成功

"publish_address {172.17.0.2:9300}, bound_addresses {0.0.0.0:9300}"


或者访问 http://ip:9200 时出现下面内容也说明启动成功

{
"name" : "a1c4bc953b44",
"cluster_name" : "docker-cluster",
"cluster_uuid" : "sjssODkzTTy0bTrTEqlZfQ",
"version" : {
"number" : "7.1.1",
"build_flavor" : "default",
"build_type" : "docker",
"build_hash" : "7a013de",
"build_date" : "2019-05-23T14:04:00.380842Z",
"build_snapshot" : false,
"lucene_version" : "8.0.0",
"minimum_wire_compatibility_version" : "6.8.0",
"min文章来源地址86719.htmlimum_index_compatibility_version" : "6.0.0-beta1"
},
"tagline" : "You Know, for Search"
}


进入容器内安装ik分词器

./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.1.1/elasticsearch-analysis-ik-7.1.1.zip


Elasticsearch设置密码访问^[3]

进入容器

docker exec -it es /bin/bash


修改配置文件

vi config/elasticsearch.yml


在文件尾部添加如下内容

# 开启跨域访问 允许外部连接
http.cors.enabled: true
http.cors.allow-origin: "*"
# 开启密码验证
xpack.security.enabled: true
xpack.license.self_generated.type: basic
xpack.security.transport.ssl.enabled: true


重启ES容器后再进入容器内，执行如下命令

./elasticsearch-setup-passwords interactive


然后输入你想设置的密码，我这里密码设置为 yourpassword 方便后续演示

接下来就是会默认的创建6个用户，并让你设置这6个用户的密码，忽略掉用户名，这些用户权限都是相同的，设置完成以后，这时候再访问es的地址，就会提示需要授权输入账号密码访问了

安装 Skywalking OAP^[4]

等待elasticsearch完全启动完后，再启动oap

docker run --name oap-8.9.1 -d --restart=always -e TZ=Asia/Shanghai -p 12800:12800 -p 11800:11800 --link es:es -e SW_STORAGE=elasticsearch -e SW_STORAGE_ES_CLUSTER_NODES=es:9200 -e SW_ES_USER=elastic -e SW_ES_PASSWORD=yourpassword apache/skywalking-oap-server:8.9.1


这里指定了ES存储数据，并输入ES授权的账户密码

安装 Skywalking UI

docker run -d --name skywalking-ui-8.9.1 --restart=always -e TZ=Asia/Shanghai -www.yii666.comp 8088:8080 --link oap-8.9.1:oap -e SW_OAP_ADDRESS=http://oap:12800 apache/skywalking-ui:8.9.1


这里映射的端口为8088，防止端口冲突，也可根据你的情况设置

命令中 oap-8.9.1:oap 的 oap-8.9.1 是已运行并需要连接的容器名，oap是取的别名。后续容器内请求 http://oap/ 便会请求到 oap-8.9.1 容器内，并且别名不能有 . 的出现，防止地址解析失败

启动完成后请求 www.yii666.comhttp://ip:8088/

因为懒加载机制，当有请求时才会有数据显示，当第一次访问时会没有数据

2.4 项目集成Skywalking

将上面下载到的 Java Agent 拷贝到项目能访问到的地址，增加JVM的启动参数

-javaagent:D:\tools\skywalking-agent-8.14\skywalking-agent.jar
-Dskywalking.agent.service_name=xxx-server
-Dskywalking.collector.backend_service=ip:11800
-Dskywalking.plugin.jdbc.trace_sql_parameters=true


trace_sql_parameters 参数为true时会收集sql语句的占位参数

更多详细参数请参考^[5]

IDEA中启动项目

命令启动项目

如使用命令启动，在java -jar xxx.jar 中增加命令

java -jar -javaagent:D:\tools\skywalking-agent-8.14\skywalking-agent.jar -Dskywalking.agent.service_name=xxx-server -Dskywalking.collector.backend_service=ip:11800 -Dskywalking.plugin.jdbc.trace_sql_parameters=true xxx.jar


Docker 启动项目^{[6]文章来源地址86719.html}

我们构建java运行的jdk基础镜像时，加入skywalking agent

Dockerfile:

# FROM openjdk:8-jdk-alpine
FROM adoptopenjdk/openjdk8
VOLUME /tmp
# 其他的一些运行参数可以放这里，比如-Xmx1024m
ENV JAVA_OPTS=""
ENV SKYWALKING_AGENT_SERVICE_NAME="xxx-server"
ENV SKYWALKING_COLLECTOR_BACKEND_SERVICE="ip:1088"
ENV SKYWALKING_PLUGIN_JDBC_TRACE_SQL_PARAMETERS="true"
COPY /etc/localtime /etc/localtime
# 这里是agent的文件夹，按照自己的情况设置
COPY /opt/skywalking-agent-8.14 /usr/local/agent
RUN echo "Asia/Shanghai" > /etc/timezone
ONBUILD COPY app.jar app.jar
ENTRYPOINT [ "java", "-jar", " $JAVA_OPTS -javaagent:/usr/local/agent/skywalking-agent.jar -Dskywalking.agent.service_name=$SKYWALKING_AGENT_SERVICE_NAME -Dskywalking.collector.backend_service=$SKYWALKING_COLLECTOR_BACKEND_SERVICE -Dskywalking.collector.backend_service=$SKYWALKING_COLLECTOR_BACKEND_SERVICE -Dskywalking.plugin.jdbc.trace_sql_parameters=$SKYWALKING_PLUGIN_JDBC_TRACE_SQL_PARAMETERS app.jar" ]


然后在Dockerfile所在目录通过docker build -t 镜像名 构建好镜像即可运行

2.5 项目日志收集

logback日志收集^[7]



org.apache.skywalking
apm-toolkit-trace
8.14.0



org.apache.skywalking
apm-toolkit-logback-1.x
8.14.0



编写logback日志配置文件。在resources下新建一个logback-spring.xml文件，根据官网文档编写配置文件，可以写作以下两种。
两者的区别就是layout中是采用TraceIdPatternLogbackLayout还是TraceIdMDCPatternLogbackLayout，如果采用TraceIdMDCPatternLogbackLayout，需要将[%tid]改为[%X{tid}]





%d{yyyy-MM-dd HH:mm:ss.SSS} [%tid] [%thread] %-5level %logger{36} -%msg%n








%d{yyyy-MM-dd HH:mm:ss.SSS} [%X{tid}] [%thread] %-5level %logger{36} -%msg%n









其他日志框架的引入详见官网

参考链接

来源于：【分布式链路追踪】Skywalking分布式链路追踪基于Docker安装与使用