elk替代mysql_ELKstack之Filebeat替代Logstash收集日志|逗哥架构师之路

FileBeat 相比 Logstash&＃xff0c;更加轻量化。

在任何环境下&＃xff0c;应用程序都有停机的可能性。 Filebeat 读取并转发日志行&＃xff0c;如果中断&＃xff0c;则会记住所有事件恢复联机状态时所在位置。

Filebeat带有内部模块(auditd&＃xff0c;Apache&＃xff0c;Nginx&＃xff0c;System和MySQL)&＃xff0c;可通过一个指定命令来简化通用日志格式的收集&＃xff0c;解析和可视化。

FileBeat 不会让你的管道超负荷。FileBeat 如果是向 Logstash 传输数据&＃xff0c;当 Logstash 忙于处理数据&＃xff0c;会通知 FileBeat 放慢读取速度。一旦拥塞得到解决&＃xff0c;FileBeat 将恢复到原来的速度并继续传播。

一、部署Filebeat

确认日志json格式&＃xff0c;后续会用日志做统计

先访问web服务器&＃xff0c;以产生一定的日志&＃xff0c;然后确认是json格式&＃xff0c;因为下面会使用到

查看web日志

安装配置Filebeat

如果您之前就没用logstach&＃xff0c;可以直接安装即可。

二、配置filebeat收集系统日志

启动filebeat服务并验证本地文件是否有数据

后面可以将filebeat收集的日志传输到logsearch进行分类过滤&＃xff0c;或者写入redis进行缓存&＃xff0c;解决由于logsearch宕机造成的数据丢失&＃xff0c;请根据您业务的情况&＃xff0c;进行调整即可。