Filebeat部署指南：详细步骤与最佳实践

解压安装包

tar -zxf filebeat-6.1.1-linux-x86_64.tar.gz

配置filebeat.yml
vi /home/elk/filebeat-6.4.2-linux-x86_64/filebeat.yml

基本配置项

filebeat:
prospectors:
- type: log
paths:
- /var/log/*.log
multiline:
pattern: &＃39;^[&＃39;
match: after


用于指定需要关注的文件。

filebeat.prospectors:
- type: log
enabled: true
paths:
- /var/log/*.log
-


如果使用 filebeat 直接向 elasticsearch 输出数据&＃xff0c;需要配置 output.elasticsearch 。
output.elasticsearch:
hosts: [“192.168.1.42:9200”]

如果使用filebeat向redis中输出数据&＃xff0c;需要配置output.redis
output.redis:
hosts: [“192.168.40.133”]
port: 6379
key: “nginx-log”

logstash从redis中间键中读取数据&＃xff0c;需在logstash.conf配置文件中配置

input {redis {port &＃61;> "6379"host &＃61;> "192.168.40.133"data_type &＃61;> "list"type &＃61;> "log"key &＃61;> "nginx-log"}
}


如果使用 filebeat 向 logstash输出数据&＃xff0c;然后由 logstash 再向elasticsearch 输出数据&＃xff0c;需要配置output.logstash。
output.logstash:
hosts: [“127.0.0.1:5044”]

此外&＃xff0c;还需要在 logstash 的配置文件&＃xff08;如 logstash.conf&＃xff09;中指定 beats input 插件&＃xff1a;

input {
beats {
port &＃61;> 5044 # 此端口需要与 filebeat.yml 中的端口相同
}
}
output {
elasticsearch {
hosts &＃61;> "localhost:9200"
manage_template &＃61;> false
index &＃61;> "%{[&＃64;metadata][beat]}-%{[&＃64;metadata][version]}-%{&＃43;YYYY.MM.dd}"
document_type &＃61;> "%{[&＃64;metadata][type]}"
}
}


如果打算使用 Filebeat 提供的 Kibana 仪表板&＃xff0c;需要配置 setup.kibana
setup.kibana:
host: “localhost:5601”

#为了在 Kibana 中加载 Filebeat 的仪表盘&＃xff0c;需要在 filebeat.yml 配置中启动开关&＃xff1a;
setup.dashboards.enabled: true

启动filebeat
./filebeat run -e -c filebeat.yml -d “publish”
./filebeat -e -c filebeat.yml -d “publish” # run 可以省略
./filebeat -c /home/elk/config/demo.yml > filebeat.log & – 后台启动

运行加载模块
执行下面命令&＃xff0c;filebeat 会加载推荐索引模板。
./filebeat setup -e

执行下面命令&＃xff0c;指定希望加载的模块。
./filebeat -e --modules system,nginx,mysql