Linux安装配置ELK日志收集系统，elasticsearch+kibana+filebeat轻量级配置安装

一&＃xff1a;ELK简介

ELK是三个开源软件的缩写&＃xff0c;分别表示&＃xff1a;Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat&＃xff0c;它是一个轻量级的日志收集处理工具(Agent)&＃xff0c;Filebeat占用资源少&＃xff0c;适合于在各个服务器上搜集日志后传输给Logstash&＃xff0c;官方也推荐此工具。

Elasticsearch是个开源分布式搜索引擎&＃xff0c;提供搜集、分析、存储数据三大功能。它的特点有&＃xff1a;分布式&＃xff0c;零配置&＃xff0c;自动发现&＃xff0c;索引自动分片&＃xff0c;索引副本机制&＃xff0c;restful风格接口&＃xff0c;多数据源&＃xff0c;自动搜索负载等。

Logstash 主要是用来日志的搜集、分析、过滤日志的工具&＃xff0c;支持大量的数据获取方式。一般工作方式为c/s架构&＃xff0c;client端安装在需要收集日志的主机上&＃xff0c;server端负责将收到的各节点日志进行过滤、修改等操作在一并发往elasticsearch上去。

Kibana 也是一个开源和免费的工具&＃xff0c;Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面&＃xff0c;可以帮助汇总、分析和搜索重要数据日志。

Filebeat隶属于Beats。目前Beats包含四种工具&＃xff1a;

• Packetbeat&＃xff08;搜集网络流量数据&＃xff09;
• Topbeat&＃xff08;搜集系统、进程和文件系统级别的 CPU 和内存使用情况等数据&＃xff09;
• Filebeat&＃xff08;搜集文件数据&＃xff09;
• Winlogbeat&＃xff08;搜集 Windows 事件日志数据&＃xff09;

官方文档&＃xff1a;https://www.elastic.co/guide/index.html
官方安装文档&＃xff1a;https://www.elastic.co/guide/en/elastic-stack/current/installing-elastic-stack.html

二&＃xff1a;ELK安装

官方提供多种安装方式&＃xff0c;有压缩包安装&＃xff0c;源仓库在线安装&＃xff0c;docker安装等。

这里直接用源仓库在线安装&＃xff0c;选择自己系统版本&＃xff0c;这里是ubuntu版本。

根据官方文档安装&＃xff1a;https://www.elastic.co/guide/en/elasticsearch/reference/7.16/deb.html

1&＃xff1a;下载并安装公共签名密钥

wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -


2&＃xff1a;安装apt-transport-https扩展包

sudo apt-get install apt-transport-https


3&＃xff1a;保存仓库源

echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-7.x.list


4&＃xff1a;更新后安装

所有软件公用一个仓库源&＃xff0c;添加后&＃xff0c;可在线安装所有最新版软件&＃xff0c;根据自己架构选择软件&＃xff0c;我只需要简单的nginx日志收集&＃xff0c;所以选择elasticsearch&＃xff0c;kibana&＃xff0c;filebeat&＃xff08;轻量级&＃xff09;三个软件即可。

filebeat直接采集日志到elasticsearch即可&＃xff0c;不需要Logstash采集和通过Logstash 传送至elasticsearch。所以不需要安装Logstash。

#1&＃xff1a;安装elasticsearch
sudo apt-get update && sudo apt-get install elasticsearch
#2&＃xff1a;安装kibana
sudo apt-get install kibana
#3&＃xff1a;安装filebeat(在需要采集日志的客户端安装)
sudo apt-get install filebeat


5&＃xff1a;设置开机启动

#分别设置elasticsearch/filebeat/kibana
sudo systemctl enable elasticsearch


三&＃xff1a;ELK配置

1&＃xff1a;elasticsearch配置文件

编辑配置文件

sudo vim /etc/elasticsearch/elasticsearch.yml


配置文件都挺全&＃xff0c;取消注释即可&＃xff0c;必备的配置选项

# ------------------------------------ Node ------------------------------------
node.name: node-1
# ----------------------------------- Paths ------------------------------------
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
# ---------------------------------- Network -----------------------------------
network.host: 0.0.0.0
http.port: 9200
# --------------------------------- Discovery ----------------------------------
cluster.initial_master_nodes: ["node-1"]
# ---------------------------------- Security ----------------------------------
xpack.security.enabled: true
xpack.license.self_generated.type: basic
xpack.security.transport.ssl.enabled: true


配置文件说明&＃xff1a;
Paths路径默认即可&＃xff0c;无需更改。

Network监听地址&＃xff0c;默认只监听本地127.0.0.1&＃xff0c;如果需要所有地方可监听访问&＃xff0c;改为0.0.0.0。端口默认9200。

由于改了监听地址&＃xff0c;启动会报错&＃xff0c;需要配置node.name: node-1和cluster.initial_master_nodes: ["node-1"]两个选项&＃xff0c;启动正常。

Security选项&＃xff0c;如果配置kibana&＃xff0c;许多功能&＃xff0c;需要基本的安全策略才可以使用&＃xff0c;这里配置基本密码安全策略。

初始化密码&＃xff1a;
找到安装目录&＃xff0c;我在线安装目录为/usr/share/elasticsearch&＃xff0c;如不知道&＃xff0c;可用命令whereis查询。

cd /usr/share/elasticsearch


执行命令

bin/elasticsearch-setup-passwords interactive


执行后&＃xff0c;选择y&＃xff08;yes&＃xff09;,选择分别设置elastic&＃xff08;超级管理员&＃xff09;&＃xff0c;kibana_system&＃xff0c;logstash_system&＃xff0c;beats_system&＃xff0c;apm_system&＃xff0c;remote_monitoring_user等用户的密码。这里设置所有为123456

密码配置官方参考文档&＃xff1a;https://www.elastic.co/guide/en/elasticsearch/reference/7.16/built-in-users.html#set-built-in-user-passwords

配置完成&＃xff0c;在浏览器输入地址端口&＃xff0c;然后输入账号elastic&＃xff0c;密码123456。可得到返回值&＃xff0c;说明正常。

2&＃xff1a;kibana配置文件

编辑配置文件

sudo vim /etc/kibana/kibana.yml


基础配置选项

# 默认端口
server.port: 5601
# 默认监听地址&＃xff0c;访问地址&＃xff0c;改为所有地方可访问
server.host: "0.0.0.0"
# 公共访问地址
server.publicBaseUrl: "http://192.168.152.100:5601"
# 服务名称
server.name: "kibana"
# 连接elasticsearch地址
elasticsearch.hosts: ["http://192.168.152.100:9200"]
# dashboards. Kibana creates a new index if the index doesn&＃39;t already exist.
kibana.index: ".kibana"
# 连接elasticsearch账号密码&＃xff0c;上面自己设置的密码
elasticsearch.username: "elastic"
elasticsearch.password: "123456"
# Supported languages are the following: English - en , by default , Chinese - zh-CN .
# 设置中文
i18n.locale: "zh-CN"#密钥设置&＃xff0c;否则在安全选项相关功能无法查看使用。用密码生成器生成至少32位即可
xpack.encryptedSavedObjects.encryptionKey: iGhu317CGomTQ3UH1nQwYF7yZ8asWPKHHYMwjBUJ
xpack.security.encryptionKey: iGhu317CGomTQ3UH1nQwYF7yZ8asWPKHHYMwjBUJ
xpack.reporting.encryptionKey: iGhu317CGomTQ3UH1nQwYF7yZ8asWPKHHYMwjBUJ


3&＃xff1a;filebeat配置文件

编辑配置文件

sudo vim /etc/kibana/filebeat.yml


需要更改的配置内容&＃xff0c;其他默认即可。

filebeat.inputs:
- type: filestream# Change to true to enable this input configuration.# 配置是否生效&＃xff0c;false改为trueenabled: true# Paths that should be crawled and fetched. Glob based paths.# 指定要监控的日志&＃xff0c;可以指定具体得文件或者目录paths:- /var/log/*.log
# &＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61; Kibana &＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;
setup.kibana:# kibana主机地址host: "192.168.152.100:5601"# ---------------------------- Elasticsearch Output ----------------------------
output.elasticsearch:# Array of hosts to connect to.# elasti地址hosts: ["192.168.152.100:9200"]# elasti账号密码username: "elastic"password: "123456"


三&＃xff1a;登录kibana&＃xff0c;查看索引节点

浏览器输入kibana配置的地址加上5601端口&＃xff0c;我这里为 http://192.168.152.100:5601&＃xff0c;输入密码。

查看客户端的filebeat是否添加成功&＃xff0c;在栈堆检测中&＃xff0c;可查看已添加成功的节点和索引

添加的filebeat客户端索引默认格式为&＃xff1a;filebeat-7.16.0-2021.12.14-000001

添加成功后&＃xff0c;在主机也可以查看到主机&＃xff0c;或者在日志中&＃xff0c;查看实时日志数据。


安装完成。