ELK之配置多个客户端使用不同的索引

一、Filebeat 的基础概念

1.输入

输入可以指定&＃xff1a;file, stdin, redis, udp, docker, tcp, syslog。

2.收集器

&＃xff08;1&＃xff09;. 对于每个单独的文件&＃xff0c;会启动一个收集器按行读取文件&＃xff0c;并发送到输出端。
&＃xff08;2&＃xff09;. 收集器负责管理文件描述符&＃xff0c;即使一个文件被重命名了&＃xff0c;它仍会继续读该文件。
&＃xff08;3&＃xff09;. 当日志内容一段时间没有变化时&＃xff0c;收集器会关闭。

3.输出

输出可以指定&＃xff1a;elasticsearch, logstash, kafka, redis, file, console, cloud。

4.消息队列

Filebeat 使用一个内部队列来暂时存储消息&＃xff0c;有内存队列和磁盘队列两种形式。消息队列会等待输出的应答&＃xff0c;如果队列满了&＃xff0c;就不再接收新消息。

二、Filebeat 配置说明

filebeat.yml 配置文件说明如下&＃xff1a;

filebeat.inputs:
- type: log # 输入类型enabled: true # 启用或禁用配置paths: - /home/source/api/logs/*.outencoding: gbk # 编码include_lines: [&＃39;WARN -&＃39;, &＃39;ERROR-&＃39;, &＃39;INFO -&＃39;, &＃39;DEBUG-&＃39;] # 采集包含指定内容的行exclude_files: [&＃39;\.swp$&＃39;] # 排除日志文件正则表达tags: ["shop_dev"] # 标识output.logstash: # 指定 Logstash 作为输出enabled: true # 启用或禁用hosts: hosts: ["localhost:5044"]


三、多个客户端使用不同的索引

多个客户端在 filebeat.yml 配置中定义不同的 tags&＃xff0c;如&＃xff1a;
第一个客户端&＃xff1a;

tags: ["shop_dev"] # 标识


第二个客户端&＃xff1a;

tags: ["shop_prod"] # 标识


然后在 Logstash 的 config/logstash-sample.conf 中加入判断&＃xff1a;

input {beats {port &＃61;> 5044codec &＃61;> "json"}
}filter {mutate {remove_field &＃61;> [ "host" ]}
}output {if "shop_dev" in [tags] {elasticsearch {hosts &＃61;> ["localhost:9200"]index &＃61;> "shop_dev-%{&＃43;YYYY.MM.dd}"}}if "shop_prod" in [tags] {elasticsearch {hosts &＃61;> ["localhost:9200"]index &＃61;> "shop_prod-%{&＃43;YYYY.MM.dd}"}}elasticsearch {hosts &＃61;> ["http://localhost:9200"]index &＃61;> "user-%{&＃43;YYYY.MM.dd}"}
}