ElasticStack之EBK安装

The Elastic Stack包括 Elasticsearch、Kibana、Beats 和 Logstash&＃xff08;也称为 ELK Stack&＃xff09;&＃xff0c;能够安全可靠地获取任何来源、任何格式的数据&＃xff0c;然后实时地对数据进行搜索、分析和可视化。
Elasticsearch 是一个分布式、RESTful 风格的搜索和数据分析引擎&＃xff0c;能够解决不断涌现出的各种用例。Kibana 是一个免费且开放的用户界面&＃xff0c;能够让您对 Elasticsearch 数据进行可视化&＃xff0c;并让您在 Elastic Stack 中进行导航。Beats 是一个免费且开放的平台&＃xff0c;集合了多种单一用途轻量型数据采集器。Logstash 是免费且开放的服务器端数据处理管道&＃xff0c;能够从多个来源采集数据&＃xff0c;集中、转换和存储数据。

本示例运行在centos7&＃xff0c;通过直接下载tar包进行安装&＃xff0c;不使用docker方式。
关于es的windows安装和使用语法&＃xff0c;可参见【https://blog.csdn.net/weixin_44153121/article/details/89288452】

1.1、下载安装包&＃xff0c;并解压

curl -L -O https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.13.0-linux-x86_64.tar.gz
tar -xzvf elasticsearch-7.13.0-linux-x86_64.tar.gz

1.2、创建elk用户&＃xff0c;并赋权

因Elasticsearch默认不支持root用户启动&＃xff0c;故此创建elk用户&＃xff0c;用于启动Elastic Stack相关程序。

adduser elk
passwd elk yourpw
chown -R elk elasticsearch-7.13.0

1.3、启动&＃xff08;elk用户&＃xff09;

cd elasticsearch-7.13.0
./bin/elasticsearch

1.4、更改network参数

更改config目录下elasticsearch.yml中的network参数&＃xff0c;以便支持其他机器的访问。

network.host: 0.0.0.0

再次启动ES&＃xff0c;后台报错&＃xff0c;如下&＃xff1a;

ERROR: [4] bootstrap checks failed. You must address the points described in the following [4] lines before starting Elasticsearch.
bootstrap check failure [1] of [4]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65535]
bootstrap check failure [2] of [4]: max number of threads [3757] for user [elk] is too low, increase to at least [4096]
bootstrap check failure [3] of [4]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
bootstrap check failure [4] of [4]: the default discovery settings are unsuitable for production use; at least one of [discovery.seed_hosts, discovery.seed_providers, cluster.initial_master_nodes] must be configured


按以上提示进行更改&＃xff0c;需要注意的是修改安全限制文件后&＃xff0c;存在不生效的情况&＃xff0c;通过重启操作系统&＃xff0c;可以使变更生效。
1.4.1、 修改安全限制配置文件
vi /etc/security/limits.conf

1.4.2、 vim /etc/sysctl.conf

1.5、更改防火墙配置

1.6、运行效果

参照第一步中ES的安装&＃xff0c;Kibana安装简化如下&＃xff1a;

curl -L -O https://artifacts.elastic.co/downloads/kibana/kibana-7.13.0-linux-x86_64.tar.gz
tar xzvf kibana-7.13.0-linux-x86_64.tar.gz
cd kibana-7.13.0-linux-x86_64/
./bin/kibana

修改 config/kibaba.yml 下的 server.host 为 0.0.0.0&＃xff0c; 默认是注释掉的或者是localhost

本示例使用tomcat日志进行演示&＃xff0c;故此安装Filebeat组件

3.1、Filebeat安装

curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.13.0-linux-x86_64.tar.gz
tar -xzvf filebeat-7.13.0-linux-x86_64.tar.gz
cd filebeat-7.13.0-linux-x86_64/

3.2、修改filebeat.yml配置文件

配置ES地址&＃xff0c;及用户和密码信息

3.3、配置apache模块

3.3.1、 启动apache模块

./filebeat modules enable apache

3.3.2、 更改配置 modules.d \ apache.yml&＃xff0c;增加log日志文件路径

3.4、启动Filebeat

创建assets&＃xff0c;并启动
Filebeat comes with predefined assets for parsing, indexing, and visualizing your data.

./filebeat setup
./filebeat -e

3.5、Kibana展示日志数据

使用菜单导航中的Discover功能
In the side navigation, click Discover. To see Filebeat data, make sure the predefined filebeat-* index pattern is selected.

使用KQL查询条件&＃xff0c;过滤数据