作者：Bqiwei12890 | 来源：互联网 | 2023-09-06 13:54
总体架构图
业务范围
•日志查询•链路跟踪•业务系统功能埋点•轨迹跟踪•量化统计（可扩展的根据日志提取信息到kafka）
实施步骤
•业务系统filebeat配置
#============== Filebeat inputs ===========
filebeat.inputs:
- type: log
enabled: true
paths:
- /opt/xx/yyy/logs/jeecg/*.log
tags: ["xxx"]
tail_files: true
.....
#------------ Logstash output ------------
max_procs: 1
output:
logstash:
hosts: ["x.x.x.x:5044"]
compression: gzip
max_message_bytes: 2000000
•LogStash配置
if[message] =~ /.*KF:TRACK.*/ {
kafka{
bootstrap_servers => "x.x.x.x:9092"
codec => json
compression_type => "gzip"
topic_id => "track"}
}
•【可选】如果日志中要整合链路跟踪
在pom.xml
加入依赖：
org.apache.skywalking
apm-toolkit-logback-1.x
8.1.0
并定义日志格式定义通过：[%tid]
输出traceid
，根据这个traceid
在skyworking
里查询链路跟踪情况。
通过在线编程平台接收kafka
推送信息，调用脚本库函数存库。
•通过grafana
工具，连接数据源，展现报表数据，支持数据钻取。
总结
通过该台日志集采系统，可实现基于日志分析统计的业务，应用场景广泛，比如开发业务系统监控系统，日志查询展现系统，基于日志的业务统计功能等。而且具有高度可扩展性，通过在logstash
扩展输出可指定任意的kafka topic
用于不同的业务需要。
你可以继续阅读：
一款自动生成后台代码的管理系统的设计与实现 | “大”中台，“小”前端的架构演变| 云服务平台中推送服务的设计与实现 | 对微服务的理解以及实现一套微服务对外发布API管理平台 | 项目开发中常用的设计模式整理 | 异构语言调用平台的设计与实现 | 大话正则表达式 | 云API平台的设计与实现 | 个税改了，工资少了，不要慌！文末附计算器
关注我们的公众号
长按识别二维码关注我们
京公网安备 11010802041100号