filebeat+redis+elk构建多服务器日志收集系统配置文件说明

前言

  很多时候，我们需要将多台服务器上的日志文件（系统日志、站点日志、业务日志等）汇总到一台日志服务器上，同时需要对日志进行汇总分析、或从大量的日志数据中找到自己需要的日志信息，如何快速汇总和检索日志数据是需要解决的问题。本文主要介绍通过filebeat收集日志，再使用redis作为消息队列进行传输，最终存储到ES中，使用kibana进行统计和查询。本文主要记录配置信息，方便后期查看，原理这些不会介绍，有兴趣的可以看下我之前的博客。

系统结构说明

QA答疑：

• 为什么使用filebeat收集应用服务器上的数据，而不是logstash？答：因为logstash依赖JVM，运行期间占用服务器资源也很大，而filebeat没有依赖，更加轻量，部署很方便。


• 为什么使用redis作为消息队列，kafka是否可以？为什么需要消息队列？答：kafka也可以，根据自身业务需求自行选择即可。采用消息队列是考虑到随着业务服务器的越来越多，直接将filebeat搜集的数据传输给logstash，logstash接收数据会出现延迟甚至是宕机，从而导致数据丢失，通过消息队列作为数据缓冲层可以有效减轻logstash的压力，提高整个架构的稳定性。


• 为什么在redis和ES之间又加了logstash，是不是太多余了？答：这里的logstash不是必须的，可以将队列的里数据存储到ES中，博主这边之所以加一层logstash是因为从业务角度出发，需要将filebeat搜集上来的数据进行有目的的过滤，filebeat虽然也有filter，但是过于简单，不满足我的需求，所以将数据过滤的逻辑放到了logstash中。

配置及启动说明

filebeat

配置文件名：filebeat.yml

配置内容

# ============================== Filebeat 输入配置==============================
filebeat.inputs:
- type: log
enabled: true
# 每 5 秒检测一次文件是否有新的一行内容需要读取
backoff: "5s"
# 是否从文件末尾开始读取
tail_files: false
# 需要收集的数据所在的目录
paths:
- D:/web/openweb/Log/2021/*.log
# 自定义字段，在logstash中会根据该字段来在ES中建立不同的索引
fields:
filetype: apiweb_producelog
# 这里是收集的第二个数据，多个依次往下添加
- type: log
enabled: true
backoff: "5s"
tail_files: false
paths:
- D:/web/openweb/Logs/Warn/*.log
fields:
filetype: apiweb_supplierlog
# ============================== Filebeat modules ==============================
filebeat.config.modules:
path: ${path.config}/modules.d/*.yml
reload.enabled: false
setup.template.settings:
index.number_of_shards: 1
setup.kibana:
# ============================== Filebeat 输出配置====================
output.redis:
enabled: true
# redis地址
hosts: ["192.168.1.103:6379"]
# redis密码，没有密码则不添加该配置项
password: 123456
# 数据存储到redis的key值
key: apilog
# 数据存储到redis的第几个库
db: 1
# 数据存储类型
datatype: list
# ================================= Processors =================================
processors:
- add_host_metadata:
when.not.contains.tags: forwarded
- add_cloud_metadata: ~
- add_docker_metadata: ~
- add_kubernetes_metadata: ~


启动说明

# 进入执行文件目录
cd /d D:/ELK/filebeat-7.14.0
# 启动
.\filebeat -e -c filebeat.yml


logstash

配置文件名：logstash.conf（在bin目录下新建文件）

配置内容

# 输入
input {
redis {
host => "10.188.88.81"
port => 6379
password => "redis"
key => "apilog" #这里的key值和filebeat配置文件中output.redis的key值保持一致
data_type => "list"
db =>1
}
}
# 过滤
filter {
if [fields][filetype] == "apiweb_producelog" {
json {
source => "message"
remove_field => ["_type","beat","offset","tags","prospector"] #移除字段，不需要采集
}
date {
match => ["timestamp", "dd/MMM/yyyy:HH:mm:ss Z"] #匹配timestamp字段
target => "@timestamp" #将匹配到的数据写到@timestamp字段中
}
}
}
# 输出
output {
# 输出到 Elasticsearch，根据filebeat中配置的filetype，在ES中建立不同的索引
if [fields][filetype] == "apiweb_producelog" {
elasticsearch {
# Elasticsearch 地址
hosts => ["localhost:9200"]
# Elasticsearch 索引名
index => "producelog-%{+YYYY.MM.dd}"
}
} else if [fields][filetype] == "apiweb_supplierlog" {
elasticsearch {
hosts => ["localhost:9200"]
index => "supplierlog-%{+YYYY.MM.dd}"
}
} else {
elasticsearch {
hosts => ["localhost:9200"]
index => "apilog-%{+YYYY.MM.dd}"
}
}
}


启动说明

# 进入目录
cd /d D:/ELK/logstash-7.7.0
# 启动服务
bin\logstash -f bin\logstash.conf


elasticsearch

配置文件名：elasticsearch.yml

配置内容

# 数据存放目录
path.data: D:/ELK/elasticsearch-7.7.0/data
# 日志存放目录
path.logs: D:/ELK/elasticsearch-7.7.0/logs
# 服务IP
network.host: 127.0.0.1
# 服务端口
http.port: 9200


启动说明

# 进入目录
cd /d D:/ELK/elasticsearch-7.7.0
# 启动服务
bin\elasticsearch


kibana

配置文件名：kibana.yml

配置内容

# 服务地址，根据实际情况自行调整
server.host: "localhost"
# 服务端口
server.port: 5601
# ES的地址
elasticsearch.hosts: ["http://localhost:9200"]
# kibana的索引
kibana.index: ".kibana"
# 界面语言，默认是en
i18n.locale: "zh-CN"


以上就是filebeat、ELK的全部配置说明，本文主要是作记录使用