Filebeat—Overview

目录

什么是Filebeat

Filebeat 是一个轻量级的转发、集中日志数据的采集器。它会被作为一个代理安装在你的服务器上&＃xff0c;然后监控着你指定的日志文件或者位置&＃xff0c;同时还会收集日志事件&＃xff0c;并且将它们转发给 Elasticsearch 或者 Logstash 进行索引。

Filebeat 和 beats

filebeat 是 Beats 中的一员。
Beats 是轻量级数据采集器&＃xff0c;其实Beats家族有6个成员&＃xff1a;

• Packetbeat&＃xff1a;网络数据&＃xff08;收集网络流量数据&＃xff09;
• Metricbeat&＃xff1a;指标&＃xff08;收集系统、进程和文件系统级别的CPU和内存使用情况等数据&＃xff09;
• Filebeat&＃xff1a;日志文件&＃xff08;收集文件数据&＃xff09;
• Winlogbeat&＃xff1a;windows事件日志&＃xff08;收集Windows事件日志数据&＃xff09;
• Auditbeat&＃xff1a;审计数据&＃xff08;收集审计日志&＃xff09;
• Heartbeat&＃xff1a;运行时间监控&＃xff08;收集系统运行时的数据&＃xff09;

Filebeat 和 Logstash

因为logstash是jvm跑的&＃xff0c;资源消耗比较大&＃xff0c;所以后来作者又用golang写了一个功能较少但是资源消耗也小的轻量级的logstash-forwarder。不过作者只是一个人&＃xff0c;加入 elastic.co 公司以后&＃xff0c;因为es公司本身还收购了另一个开源项目packetbeat&＃xff0c;而这个项目专门就是用golang的&＃xff0c;有整个团队&＃xff0c;所以es公司干脆把logstash-forwarder的开发工作也合并到同一个golang团队来搞&＃xff0c;于是新的项目就叫filebeat了。

工作方式

Filebeat的工作方式如下&＃xff1a;启动Filebeat时&＃xff0c;它将启动一个或多个 input&＃xff0c;这些 input 将在为日志数据指定的位置中查找。对于Filebeat所找到的每个日志&＃xff0c;Filebeat都会启动收集器。每个收集器都读取单个日志以获取新内容&＃xff0c;并将新日志数据发送到libbeat&＃xff0c;libbeat将聚集事件&＃xff0c;并将聚集的数据发送到为Filebeat配置的 output。

基本概念

harvester

负责读取单个日志文件的内容。

harvester一行一行的读取日志文件&＃xff0c;然后将日志内容发送到 output。harvester还负责打开/关闭文件。这也就意味着在 harvester 运行期间文件描述符会保持着打开状态。

input

负责管理 harvester 以及查找所有可读取的资源。

如果输入类型为 log&＃xff0c;则输入将查找驱动器上与定义的全局路径匹配的所有文件&＃xff0c;并为每个文件启动收集器。每个输入都在其自己的Go例程中运行。

input包括以下几种类型&＃xff1a;Azure Event Hub, Cloud Foundry, Container, Docker, Google Pub/Sub, HTTP Endpoint, HTTP JSON, Kafka, Log, MQTT, NetFlow, Office 365 Management Activity API, Redis, S3, Stdin, Syslog, TCP, UDP