ELK技术1收集nginx正确和错误日志

文章目录

• 一.ELK介绍




• 1.ELK的提出


• 2.ELK简介




• 二.日志收集分类


• 三.安装部署ELK




• 1.安装配置elasticsearch


• 2.安装配置kibana




• 四.使用filebeat配置nginx日志收集




• 1.filebeat收集nginx日志信息


• 2.filebeat收集nginx的JSON日志信息


• 3.filebeat收集nginx的自定义索引日志信息




• 3.1 filebeat收集单台nginx的自定义索引日志信息


• 3.2 filebeat收集多台nginx的自定义索引日志信息




• 4.filebeat收集nginx的正确和错误日志信息




• 4.1 filebeat收集单台nginx的正确和错误日志信息


• 4.2 filebeat收集多台nginx的正确和错误日志信息

一.ELK介绍

1.ELK的提出

1.一般我们需要进行日志分析场景：直接在日志文件中 grep、awk 就可以获得自己想要的信息。
2.但在规模较大的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。
3.常见解决思路是建立集中式日志收集系统，将所有节点上的日志统一收集，管理，访问。
4.ELK提供了一整套解决方案，并且都是开源软件，之间互相配合使用，完美衔接，高效的满足了很多场合的应用。目前主流的一种日志系统。


2.ELK简介

ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输到Elasticsearch，官方也推荐此工具。
Elasticsearch是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。
Logstash 主要是用来日志的搜集、分析、过滤日志的工具，支持大量的数据获取方式。一般工作方式为c/s架构，client端安装在需要收集日志的主机上，server端负责将收到的各节点日志进行过滤、修改等操作在一并发往elasticsearch上去。
Kibana 也是一个开源和免费的工具，Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助汇总、分析和搜索重要数据日志。

二.日志收集分类

代理层：nginx,haproxy
web层：nginx,tomcat
数据库层：mysql,redis,mongo,elasticsearch
操作系统层：source,message

三.安装部署ELK

架构图

环境准备：

[[email&＃160;protected] ~]# cat /etc/hosts
10.0.0.51 db01
10.0.0.52 db02
10.0.0.53 db03
[[email&＃160;protected] ~]# cat /etc/hosts
10.0.0.51 db01
10.0.0.52 db02
[[email&＃160;protected] ~]# cat /etc/hosts
10.0.0.51 db01
10.0.0.53 db03


1.安装配置elasticsearch

在db01操作：
安装部署elasticsearch：
1.安装Java
yum install -y java-1.8.0-openjdk.x86_64
2.下载安装软件
mkdir /data/soft -p
cd /data/soft/
rz -E
#上传elasticsearch-6.6.0.rpm
rpm -ivh elasticsearch-6.6.0.rpm
3.配置启动
systemctl daemon-reload
systemctl enable elasticsearch.service
systemctl start elasticsearch.service
4.检查是否安装成功（要隔一会才会启动起来）
netstat -lntup|grep 9200
tcp6 0 0 127.0.0.1:9200 :::* LISTEN 6440/java
tcp6 0 0 ::1:9200 :::* LISTEN 6440/java
curl 127.0.0.1:9200
[[email&＃160;protected] ~]#mkdir /data/elasticsearch
[[email&＃160;protected] ~]#chown -R elasticsearch:elasticsearch /data/elasticsearch/
[[email&＃160;protected] ~]# chmod a+x /data
[[email&＃160;protected] ~]# chmod a+x /data/elasticsearch
[[email&＃160;protected] ~]# ll -d /data
drwxr-xr-x 5 root root 60 Jul 10 17:15 /data
[[email&＃160;protected] ~]# ll -d /data/elasticsearch/
drwxr-xr-x 3 elasticsearch elasticsearch 19 Jul 10 18:57 /data/elasticsearch/
[[email&＃160;protected] ~]# vim /etc/elasticsearch/elasticsearch.yml
node.name: node-1 #节点名称
path.data: /data/elasticsearch #数据目录
path.logs: /var/log/elasticsearch #日志目录
bootstrap.memory_lock: true #锁定内存
network.host: 10.0.0.51 #绑定IP地址
http.port: 9200 #端口号
[[email&＃160;protected] ~]#vim /etc/elasticsearch/jvm.options
#如果是1G的内存，需要修改一下这里的内存。改为512m
#如果是1G内存，则默认就可以了
-Xms1g
-Xmx1g
内存限制：
1.不要超过32G
2.最大最小内存设置为一样
3.配置文件设置锁定内存
4.至少给服务器本身空余50%的内存
2.修改配置：
[[email&＃160;protected] ~]#cd /etc/elasticsearch/
[[email&＃160;protected] elasticsearch]#systemctl edit elasticsearch
# 增加如下参数
[Service]
LimitMEMLOCK=infinity
3.重新启动：
systemctl daemon-reload
systemctl restart elasticsearch
systemctl status elasticsearch
4.查看是否启动成功
[[email&＃160;protected] ~]# netstat -lntup|grep 9200
tcp6 0 0 10.0.0.51:9200 :::* LISTEN 8344/java
所有机子操作：
配置时间同步：
yum install ntpdate -y


2.安装配置kibana

在db01操作：
[[email&＃160;protected] ~]# mkdir /data/soft -p
[[email&＃160;protected] ~]# cd /data/soft
[[email&＃160;protected] soft]# ls
elasticsearch-6.6.0.rpm
filebeat-6.6.0-x86_64.rpm
kibana-6.6.0-x86_64.rpm
安装配置kibana：
[[email&＃160;protected] soft]# rpm -ivh kibana-6.6.0-x86_64.rpm
[[email&＃160;protected] soft]#vim /etc/kibana/kibana.yml
server.port: 5601
server.host: "10.0.0.51"
server.name: "m01"
elasticsearch.hosts: ["http://10.0.0.51:9200"]
kibana.index: ".kibana"
systemctl start kibana
systemctl status kibana
[[email&＃160;protected] soft]# netstat -lntup|grep 5601
tcp 0 0 10.0.0.51:5601 0.0.0.0:* LISTEN 6250/node


查看：

http://10.0.0.51:5601/app/kibana#/home?_g=()

1.filebeat收集nginx日志信息

在db01操作：
收集nginx日志
1.安装nginx和ab工具
[[email&＃160;protected] soft]# yum install nginx httpd-tools -y
2.启动测试
[[email&＃160;protected] soft]#systemctl start nginx
[[email&＃160;protected] soft]# netstat -lntup|grep nginx
tcp 0 0 0.0.0.0:80 0.0.0.0:* LISTEN 1888/nginx: master
tcp6 0 0 :::80 :::* LISTEN 1888/nginx: master
[[email&＃160;protected] soft]# ab -c 10 -n 100 10.0.0.51/
[[email&＃160;protected] soft]# ab -c 10 -n 100 10.0.0.51/test.html
3.查看日志
[[email&＃160;protected] soft]# tail -f /var/log/nginx/access.log
[[email&＃160;protected] soft]# rpm -ivh filebeat-6.6.0-x86_64.rpm
[[email&＃160;protected] soft]# cp /etc/filebeat/filebeat.yml /root
[[email&＃160;protected] soft]# vim /etc/filebeat/filebeat.yml
filebeat.inputs:
- type: log
enabled: true
paths:
- /var/log/nginx/access.log
output.elasticsearch:
hosts: ["10.0.0.51:9200"]
[[email&＃160;protected] filebeat]# systemctl restart filebeat


查看：

用Kibana 分析日志：

2.filebeat收集nginx的JSON日志信息

在db01操作：
[[email&＃160;protected] filebeat]# vim /etc/nginx/nginx.conf
#找到配置文件中log_format json 这部分，然后在其部分结束后面添加这一部分
log_format json '{ "time_local": "$time_local", '
'"remote_addr": "$remote_addr", '
'"referer": "$http_referer", '
'"request": "$request", '
'"status": $status, '
'"bytes": $body_bytes_sent, '
'"agent": "$http_user_agent", '
'"x_forwarded": "$http_x_forwarded_for", '
'"up_addr": "$upstream_addr",'
'"up_host": "$upstream_http_host",'
'"upstream_time": "$upstream_response_time",'
'"request_time": "$request_time"'
' }';
access_log /var/log/nginx/access.log json;
access_log /var/log/nginx/access.log ;#删除这一行
[[email&＃160;protected] filebeat]# nginx -t
nginx: the configuration file /etc/nginx/nginx.conf syntax is ok
nginx: configuration file /etc/nginx/nginx.conf test is successful
[[email&＃160;protected] filebeat]# >/var/log/nginx/access.log
[[email&＃160;protected] filebeat]# systemctl restart nginx
[[email&＃160;protected] ~]# ab -c 10 -n 100 10.0.0.51/


因为跟之前的格式不一样了，所以删除之前的filebeat和kibana的项目，然后进行操作

删除filebeat项目：

删除kibana项目

问题及反思：

第一种情况：不断重启filebeat时，写入重复数据

[[email&＃160;protected] filebeat]# systemctl restart filebeat

第二种情况：停掉filebeat时nginx写入数据

[[email&＃160;protected] ~]# >/var/log/nginx/access.log

[[email&＃160;protected] ~]# ab -c 10 -n 100 10.0.0.51/

[[email&＃160;protected] ~]# systemctl stop filebeat

[[email&＃160;protected] ~]# ab -c 10 -n 100 10.0.0.51/

[[email&＃160;protected] ~]# systemctl start filebeat

[[email&＃160;protected] ~]# ab -c 20 -n 20 10.0.0.51/

此时nginx改为JSON格式后，filebeat并没有识别，因此需要修改下面配置文件

在db01操作：
[[email&＃160;protected] soft]# vim /etc/filebeat/filebeat.yml
filebeat.inputs:
- type: log
enabled: true
paths:
- /var/log/nginx/access.log
#添加这2行(注意这2行代码的位置，不然会实现不了效果）：
json.keys_under_root: true//这2行把整串字符变成键值处理，可以针对某个键值处理）
json.overwrite_keys: true
output.elasticsearch:
hosts: ["10.0.0.51:9200"]
删除filebeat和kinaba的项目，然后执行下面命令
[[email&＃160;protected] filebeat]# systemctl restart filebeat
制造日志：
[[email&＃160;protected] ~]# >/var/log/nginx/access.log
[[email&＃160;protected] ~]# ab -c 100 -n 100 http://10.0.0.51/abcx200s404.html


查看

3.filebeat收集nginx的自定义索引日志信息

3.1 filebeat收集单台nginx的自定义索引日志信息

按照需求自定义索引，使得可以不出现那么多干扰的搜索功能

先删除filebeat和kibana的项目，然后进行操作
在db01操作：
[[email&＃160;protected] filebeat]# >/etc/filebeat/filebeat.yml
[[email&＃160;protected] filebeat]# vim /etc/filebeat/filebeat.yml
filebeat.inputs:
- type: log
enabled: true
paths:
- /var/log/nginx/access.log
json.keys_under_root: true
json.overwrite_keys: true
setup.kibana:
host: "10.0.0.51:5601"
output.elasticsearch:
hosts: ["10.0.0.51:9200"]
index: "nginx-%{[beat.version]}-%{+yyyy.MM}"
setup.template.name: "nginx"
setup.template.pattern: "nginx-*"
setup.template.enabled: false
setup.template.overwrite: true
~
~
"filebeat.yml" 19L, 409C written
[[email&＃160;protected] filebeat]# systemctl restart filebeat
[[email&＃160;protected] filebeat]# ab -c 100 -n 100 10.0.0.51/


查看：

3.2 filebeat收集多台nginx的自定义索引日志信息

部署3台机子：
先删除filebeat和kibana的项目，然后进行操作
在db02和db03操作：
mkdir /data/soft -p
在db01操作：
cd /data/soft
上传filebeat-6.6.0-x86_64.rpm
scp filebeat-6.6.0-x86_64.rpm db02:/data/soft/
scp filebeat-6.6.0-x86_64.rpm db03:/data/soft/
scp /etc/nginx/nginx.conf db02:/etc/nginx
scp /etc/nginx/nginx.conf db03:/etc/nginx
scp /etc/filebeat/filebeat.yml db02:/etc/filebeat/filebeat.yml
scp /etc/filebeat/filebeat.yml db03:/etc/filebeat/filebeat.yml
>/var/log/nginx/access.log
ab -c 100 -n 100 10.0.0.51/
ab -n 100 -c 100 http://10.0.0.52/
ab -n 100 -c 100 http://10.0.0.53/
ab -n 100 -c 100 http://10.0.0.52/db02.html
ab -n 100 -c 100 http://10.0.0.53/db03.html
在db02和db03操作：
cd /data/soft/
rpm -ivh filebeat-6.6.0-x86_64.rpm
yum makecache fast
yum install -y nginx
nginx -t
systemctl start nginx
systemctl start filebeat
tail -f /var/log/nginx/access.log
cat /etc/filebeat/filebeat.yml


访问：

4.filebeat收集nginx的正确和错误日志信息

4.1 filebeat收集单台nginx的正确和错误日志信息

先删除filebeat和kibana的项目，然后进行操作
在db01操作：
[[email&＃160;protected] soft]# vim /etc/filebeat/filebeat.yml
filebeat.inputs:
- type: log
enabled: true
paths:
- /var/log/nginx/access.log
json.keys_under_root: true
json.overwrite_keys: true
tags: ["access"]
- type: log
enabled: true
paths:
- /var/log/nginx/error.log
tags: ["error"]
setup.kibana:
host: "10.0.0.51:5601"
output.elasticsearch:
hosts: ["10.0.0.51:9200"]
#index: "nginx-%{[beat.version]}-%{+yyyy.MM}"
indices:
- index: "nginx-access-%{[beat.version]}-%{+yyyy.MM}"
when.contains:
tags: "access"
- index: "nginx-error-%{[beat.version]}-%{+yyyy.MM}"
when.contains:
tags: "error"
setup.template.name: "nginx"
setup.template.pattern: "nginx-*"
setup.template.enabled: false
setup.template.overwrite: true
[[email&＃160;protected] soft]# systemctl restart filebeat
[[email&＃160;protected] soft]# ab -n 100 -c 100 http://10.0.0.51/db01.html


查看：

4.2 filebeat收集多台nginx的正确和错误日志信息

上面的操作只能查一台，下面让其可以查多台分类日志：

在db01操作：
[[email&＃160;protected] soft]# scp /etc/filebeat/filebeat.yml db02:/etc/filebeat/filebeat.yml
[email&＃160;protected]'s password:
filebeat.yml 100% 729 584.9KB/s 00:00
[[email&＃160;protected] soft]# scp /etc/filebeat/filebeat.yml db03:/etc/filebeat/filebeat.yml
[email&＃160;protected]'s password:
filebeat.yml 100% 729 715.8KB/s 00:00
在db02和db03操作：
[[email&＃160;protected] soft]# systemctl restart filebeat
[[email&＃160;protected] soft]# systemctl restart filebeat
在db01操作：
[[email&＃160;protected] soft]# ab -n 100 -c 100 http://10.0.0.51/db01.html
[[email&＃160;protected] soft]# ab -n 100 -c 100 http://10.0.0.52/db02.html
[[email&＃160;protected] soft]# ab -n 100 -c 100 http://10.0.0.53/db03.html


本文地址：https://blog.csdn.net/weixin_44736359/article/details/107288965