热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

ELK日志分析系统的部署

一、ELK前言1)我们需要收集哪些日志?收集**系统日志**:为监控做准备,要收集tomcat系统日志,t

一、ELK前言


1)我们需要收集哪些日志?


  1. 收集**系统日志**:为监控做准备,要收集tomcat系统日志,tomcat所在节点的日志
  2. 收集**服务日志**:比如数据库mysql,收集慢查询日志、错误日志、普通日志,要收集tomcat服务日志。
  3. 收集**业务日志**(业务日志必须收集):业务口子日志在log4j,log4j是由java环境开发的,跑在tomcat上

2)日志收集后,如何展示(可视化)?


  1. kibana
  2. grafana:可以以地图的方式展示,功能更全面一些,界面会好看一些

3)日志收集展示出来后,怎么使用?


  1. 用于给大数据分析,作为立体化展示的一个数据源
  2. 给研发去使用(排障、解决bug等)
  3. 统计数据流量,作为分析报告的数据源

4)我们要怎么收集日志


  1. 我们需要有针对性的去收集日志
  2. 日志收集是根据我们设置的日志级别来看的,对于不是很重要的日志,日志级别调高一点。比如error的时候报给我,普通日志不用报。这样可以有效降低日志量。像这种业务日志,我们不适合调error级别,我们需要调成warning级别。

二、ELK简介


2.1ElasticSearch介绍

Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是第二流行的企业搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可革,快速,安装使用方便。作。


2.2 ElasticSearch核心概念


  1. 接近实时

    ElasticSearch是一个接近实时的搜索平台

    这就是说,我们从索引一个文档直到这个文档能够被搜索到有一个轻微的延迟(通常是1秒)

  2. 集群化

    集群每一台服务器都有自己的一个唯一标识,比如说id,标识自己在集群中的一个定位。

    个集群就是由一个或多个节点组织在一起,它们共同持有你整个的数据,并一起提供索引和搜索功能。其中一个节点为主节点,这个主节点是可以通过选举产生的,并提供跨节点的联合索引和搜索的功能。

  3. 节点

    节点就是一台单一的服务器,是集群的一部分,存储数据并参与集群的索引和搜索功能。像集群一样,节点也是通过名字来标识,默认是在节点启动时随机分配的字符名。当然,你可以自己定义。该名字也很重要,在集群中用于识别服务器对应的节点。

  4. 索引

    一个索引就是一个拥有几分相似特征的文档的集合。比如说,你可以有一个客户数据的索引,另一个产品日录的索引,还有一个订单数据的索引。一个索引由一个名字来标识(必须全部是小写字母的),并且当我们要对对应于这个索引中的文档进行索引、搜索、更新和删除的时候都要使用到这个名字。在一个集群中,如果你想,可以定义任意多的索引。

  5. 类型

    在一个索引中,你可以定义一种或多种类型。一个类型是你的索引的一个逻辑.上的分类/分区,其语义完全由你来定。通常,会为具有一组共同字段的文档定义一个类型。比如说,我们假设你运营一个博客平台并且将你所有的数据存储到一个索引中。在这个索引中,你可以为用户数据定义一个类型,为博客数据定义另一个类型,当然,也可以为评论数据定义另一个类型。

  6. 文档

    一个文档是一个可被索引的基础信息单元。比如,你可以拥有某一个客户的文档,某一个产品的一个文档,当然,也可以拥有某个订单的一个文档。文档以JSON 格式来表示,而JSON是一个到处存在的互联网数据交互格式。 在一个index/type里面,只要你想,你可以存储任意多的文档。注意,虽然一个文档在物理上位于一个索引中,实际上一个文档必须在一个索引内被索引和分配一个类型。

  7. 分片和副本(默认情况下是5个分片、1个副本,这意味着,如果你的集群至少有两个节点,你的索引将会有5个分片和另外5个副本,)

    在正常情况下,单个节点的存储和索引以及I/O读写效率是很容易遇到瓶颈的。为了提高瓶颈上限,所以在这里,对于存储进行一个分布式,多个节点做一个任务。可以提高存储上线,可以提高搜索上限,同时可以减轻压力均摊。

    elasticsearch提供将索引分成多个分片的功能。当在创建索引时,可以定义想要分片的数量。每一个分片就是一个全功能的独立的索引,可以位于集群中任何节点上。

    • 分片的两个最主要原因: a.提高了扩展能力、b、提高了单机存存储上限,c.分布式并行跨分片操作,提高性能和吞吐量
    • 分布式分片的机制和搜索请求的文档如何汇总完全是由elasticsearch控制的,这些对用户而言是透明的。
    • 网络问题等等其它问题可以在任何时候不期而至,为了健壮性,强烈建议要有一个故障切换机制,无论何种故障以防止分片或者节点不可用
    • 副本也有两个最主要原因:a.高可用性,以应对分片或者节点故障。出于这个原因,分片副本要在不同的节点上。b. 增加了读写性能,增大吞吐量。搜索可以并行在所有副本上执行。

2.2ELK里面有哪些组件


  • Logstash(日志收集):主要用于收集、输出、格式化数据

  • Elasticsearch(日志存储和搜索):用于建立索引,因为它的副本和分片,他的搜索能力很强。

  • Kibana(展示):作为展示用的,展示的话在于日志收集后、由es创建建立索引,并且最后传给kibana,通过kibana展现出来。他的兼容性特别好。


2.3 你们一般用的ES版本是什么?

7.10和7.20,但是有一个特性就是,启动时,必须为非root用户。es启动时很吃内存。而且会卡很久。


三、ELK的工作原理

(1)在所有需要收集日志的服务器上部署Logstash; 或者先将日志进行集中化管理在日志服务器上, 在日志服务器上部署 Logs tash。
(2)Logstash 收集日志,将日志格式化并输出到 Elasticsearch 群集中。
(3)Elasticsearch 对格式化后的数据进行索引和存储。
(4)Kibana 从 ES 群集中查询数据生成图表,并进行前端数据的展示。


四、ELK架构选型

image-20211231103858764

image-20211231103921456


五、ELK日志分析系统集群部署

环境:


服务器类型系统和IP地址需要安装的组件硬件方面
Node1节点CentOS7.4(64 位) 192.168.59.115Elasticsearch 、 Kibana2核4G
Node2节点CentOS7.4(64 位) 192.168.59.116Elasticsearch2核4G
Apache节点CentOS7.4(64 位) 192.168.59.119Logstash Apache2核4G

5.1 ELK Elasticsearch 集群部署(在Node1、Node2节点上操作)


1.环境准备

#更改主机名
Node1节点:hostnamectl set-hostname node1
Node2节点:hostnamectl set-hostname node2#配置域名解析
vim /etc/hosts
192.168.59.115 node1
192.168.59.116 node2#查看Java环境,如果没有安装,yum -y install java
java -version

(1)更改主机名

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jbh1T640-1639736589595)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216141509041.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-JwoxFF2d-1639736589595)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216141601724.png)]

(2)配置域名解析

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-aWjRZGCQ-1639736589596)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216141631648.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-dPUJ0R23-1639736589596)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216141715137.png)]

(3)查看Java环境

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-m7p3U3UH-1639736589597)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216141822210.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7HUMiP0Z-1639736589597)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216141852194.png)]


2.部署 Elasticsearch 软件

(1)#上传elasticsearch-5.5.0.rpm到/opt目录下
cd /opt
rpm -ivh elasticsearch-5.5.0.rpm (2)#加载系统服务
systemctl daemon-reload
systemctl enable elasticsearch.service(3)#修改elasticsearch主配置文件
cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak
vim /etc/elasticsearch/elasticsearch.yml
--17--取消注释,指定集群名字
cluster.name: my-elk-cluster
--23--取消注释,指定节点名字:Node1节点为node1,Node2节点为node2
node.name: node1
--33--取消注释,指定数据存放路径
path.data: /data/elk_data
--37--取消注释,指定日志存放路径
path.logs: /var/log/elasticsearch/
--43--取消注释,改为在启动的时候不锁定内存
bootstrap.memory_lock: false
--55--取消注释,设置监听地址,0.0.0.0代表所有地址
network.host: 0.0.0.0
--59--取消注释,ES 服务的默认监听端口为9200
http.port: 9200
--68--取消注释,集群发现通过单播实现,指定要发现的节点 node1、node2
discovery.zen.ping.unicast.hosts: ["node1", "node2"]#查看主配置文件
grep -v "^#" /etc/elasticsearch/elasticsearch.yml#将node1的配置文件拷贝一份在node2上并去node2上修改
scp /etc/elasticsearch/elasticsearch.yml node2:/etc/elasticsearch/
vim /etc/elasticsearch/elasticsearch.yml
--23--取消注释,指定节点名字:Node1节点为node1,Node2节点为node2
node.name: node2(4)#创建数据存放路径并授权
mkdir -p /data/elk_data
chown elasticsearch:elasticsearch /data/elk_data/(5)#启动elasticsearch是否成功开启
systemctl start elasticsearch.service
netstat -antp | grep 9200(6)#查看节点信息
浏览器访问 ,查看节点 Node1、Node2 的信息
http://192.168.59.115:9200 http://192.168.59.116:9200 #原谅色:green
http://192.168.59.115:9200/_cluster/health?pretty
http://192.168.59.116:9200/_cluster/health?pretty
####### 使用以上方式查看状态并不友好,可以通过 elasticsearch-head插件来直接管理 #####

(1)上传elasticsearch-5.5.0.rpm到/opt目录下

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-OsQn2H85-1639736589598)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216143520268.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-gA1UZj2A-1639736589598)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216143626503.png)]

(2)加载系统服务

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1oE0VsZI-1639736589599)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216143757498.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-kkiR8hzD-1639736589599)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216143658751.png)]

(3)修改elasticsearch主配置文件

先修改node1上的配置文件

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-A6nghNBN-1639736589600)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216144727637.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-woSYIgP4-1639736589600)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216143938435.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-olvFWW1S-1639736589601)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216144133860.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-FKo20xza-1639736589601)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216144605057.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Y4Vh7mW7-1639736589602)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216150020319.png)]

#将node1的配置文件拷贝一份在node2上并去node2上修改

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7Oumsf8i-1639736589602)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216145645807.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7bAekrA8-1639736589603)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216145915828.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-bUc9P8pL-1639736589603)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216150049941.png)]

(4)创建数据存放路径并授权

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-w0YRkiVZ-1639736589604)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216145025748.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-SqsfRbi7-1639736589604)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216150259811.png)]

(5)启动elasticsearch是否成功开启

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-alr9omjD-1639736589605)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216150445667.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ErxTfV2E-1639736589605)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216150618007.png)]

(6)查看节点信息

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-bnK5Rku6-1639736589606)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216150753700.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-8s2v3AuR-1639736589606)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216150833097.png)]

在这里插入图片描述
在这里插入图片描述


3.安装 Elasticsearch-head 插件


  • Elasticsearch 在 5.0 版本后,Elasticsearch-head 插件需要作为独立服务进行安装,需要使用npm工具(NodeJS的包管理工具)安装。
  • 安装 Elasticsearch-head 需要提前安装好依赖软件 node 和 phantomjs。
    • node:是一个基于 Chrome V8 引擎的 Javascript 运行环境。
    • phantomjs:是一个基于 webkit 的JavascriptAPI,可以理解为一个隐形的浏览器,任何基于 webkit 浏览器做的事情,它都可以做到。

(1)#编译安装 node
#上传软件包 node-v8.2.1.tar.gz 到/opt
yum install gcc gcc-c++ make -ycd /opt
tar zxf node-v8.2.1.tar.gzcd node-v8.2.1/
./configure
make -j2 && make install(2)#安装 phantomjs
#上传软件包 phantomjs-2.1.1-linux-x86_64.tar.bz2 到
cd /opt
tar jxf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/src/
cd /usr/local/src/phantomjs-2.1.1-linux-x86_64/bin
cp phantomjs /usr/local/bin(3)#安装 Elasticsearch-head 数据可视化工具
#上传软件包 elasticsearch-head.tar.gz 到/opt
cd /opt
tar zxf elasticsearch-head.tar.gz -C /usr/local/src/
cd /usr/local/src/elasticsearch-head/
npm install(4)#修改 Elasticsearch 主配置文件
vim /etc/elasticsearch/elasticsearch.yml
......
--末尾添加以下内容--
http.cors.enabled: true #开启跨域访问支持,默认为 false
http.cors.allow-origin: "*" #指定跨域访问允许的域名地址为所有systemctl restart elasticsearch(5)#启动 elasticsearch-head 服务
#必须在解压后的 elasticsearch-head 目录下启动服务,进程会读取该目录下的 gruntfile.js 文件,否则可能启动失败。
cd /usr/local/src/elasticsearch-head/
npm run start &> elasticsearch-head@0.0.0 start /usr/local/src/elasticsearch-head
> grunt serverRunning "connect:server" (connect) task
Waiting forever...
Started connect web server on http://localhost:9100#elasticsearch-head 监听的端口是 9100
netstat -natp |grep 9100(6)#通过 Elasticsearch-head 查看 Elasticsearch 信息通过浏览器访问 http://192.168.59.115:9100/ 地址并连接群集。如果看到群集健康值为 green 绿色,代表群集很健康。访问有问题 可以将localhost 改成ip地址
(7)#插入索引
##登录192.168.59.115 node1主机##### 索引为index-demo,类型为test,可以看到成功创建
[root@node1 ~]# curl -X PUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'
{"_index" : "index-demo","_type" : "test","_id" : "1","_version" : 1,"result" : "created","_shards" : {"total" : 2,"successful" : 2,"failed" : 0},"created" : true
}####在192.168.91.100 刷新浏览器输入看索引信息###
node1信息动作 01234
node2信息动作 01234
●上面图可以看见索引默认被分片5个,并且有一个副本点击数据浏览--会发现在node1上创建的索引为index-demo,类型为test, 相关的信息

(1)编译安装 node,这边只演示node2上,node1上的操作相同

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-PqHywtNK-1639736589607)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216152546135.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-zNlibLB5-1639736589608)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216152645541.png)]

(2)#安装 phantomjs

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-vwaKnQXE-1639736589608)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216155519728.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-MK23puNk-1639736589609)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216155541854.png)]

(3)安装 Elasticsearch-head 数据可视化工具

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jvqFTt8a-1639736589609)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216160150097.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-HrMNhBq0-1639736589610)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216160011269.png)]

(4)修改 Elasticsearch 主配置文件(这边展示node1的,node2与之相同)

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-f15UXTXU-1639736589610)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216160439835.png)]
在这里插入图片描述

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-b0xCRSzV-1639736589611)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216160535814.png)]

(5)启动 elasticsearch-head 服务
#必须在解压后的 elasticsearch-head 目录下启动服务,进程会读取该目录下的 gruntfile.js 文件,否则可能启动失败。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-efYLDb67-1639736589611)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216161203799.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-U8krIG8y-1639736589612)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216161228369.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3ejuyxvI-1639736589612)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216161332852.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-oOCorWs8-1639736589613)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216161357304.png)]

(6)浏览器访问:http://192.168.59.115:9100/

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-8BdWfVOq-1639736589613)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216161808135.png)]

(7)插入索引

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-QKUbAMax-1639736589614)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216162415677.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5VvVsdwB-1639736589614)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216162622373.png)]


5.2 ELK Logstash 部署(在 Apache 节点上操作)


1.安装Logstash

(1)#修改主机名
hostnamectl set-hostname apache
su(2)#安装httpd并启动
yum -y install httpd
systemctl start httpd(3)#安装java环境
yum -y install java
java -version(4)#安装logstash
cd /opt
rpm -ivh logstash-5.5.1.rpm
systemctl start logstash.service
systemctl enable logstash.service
cd /usr/share/logstash/
ls
ln -s /usr/share/logstash/bin/logstash /usr/local/bin/

(1)#修改主机名

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ATiOhpW0-1639736589615)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216163231172.png)]

(2)#安装httpd并启动

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-u4ooyGgg-1639736589615)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216163244270.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-MJeiq2Fg-1639736589616)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216163306271.png)]

(3)#安装java环境

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-QnaLAnjR-1639736589616)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216163322353.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ogjsJGih-1639736589616)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216163338115.png)]

(4)#安装logstash

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-fcZ7gKWJ-1639736589617)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216163620742.png)]


2.测试 Logstash(Apache)与elasticsearch(node)功能是否正常,做对接

Logstash这个命令测试
字段描述解释:
● -f 通过这个选项可以指定logstash的配置文件,根据配置文件配置logstash
● -e 后面跟着字符串 该字符串可以被当做logstash的配置(如果是“空”则默认使用stdin做为输入、stdout作为输出)
● -t 测试配置文件是否正确,然后退出logstash -f 配置文件名字 去连接elasticsearch (1)#输入采用标准输入 输出采用标准输出---登录192.168.59.115 在Apache服务器上
logstash -e 'input { stdin{} } output { stdout{} }'16:45:21.422 [[main]-pipeline-manager] INFO logstash.pipeline - Pipeline main started
16:45:21.645 [Api Webserver] INFO logstash.agent - Successfully started Logstash API endpoint {:port=>9600}
www.baidu.com ##需要手动输入
2021-12-16T08:46:14.041Z apache www.baidu.com
www.sina.com ##需要手动输入
2021-12-16T08:46:23.548Z apache www.sina.com(2)#使用 rubydebug 输出详细格式显示,codec 为一种编解码器
logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug } }'16:51:13.127 [[main]-pipeline-manager] INFO logstash.pipeline - Starting pipeline {"id"=>"main", "pipeline.workers"=>2, "pipeline.batch.size"=>125, "pipeline.batch.delay"=>5, "pipeline.max_inflight"=>250}
16:51:13.174 [[main]-pipeline-manager] INFO logstash.pipeline - Pipeline main started
The stdin plugin is now waiting for input:
16:51:13.205 [Api Webserver] INFO logstash.agent - Successfully started Logstash API endpoint {:port=>9600}
www.baidu.com ##需要手动输入
{"@timestamp" => 2021-12-16T08:52:22.528Z,"@version" => "1","host" => "apache","message" => "www.baidu.com"
}(3)##使用logstash将信息写入elasticsearch中
logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.59.115:9200"] } }'

(1)#输入采用标准输入 输出采用标准输出—登录192.168.59.115 在Apache服务器上

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-DXJruolt-1639736589617)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216164701939-16396444225541.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-OnHbthWi-1639736589618)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216164804903.png)]

(2)#使用 rubydebug 输出详细格式显示,codec 为一种编解码器

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-uHwah8HM-1639736589618)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216165511781.png)]

(3)##使用logstash将信息写入elasticsearch中

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-BL7Ckk5H-1639736589619)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216170211919.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5GXXysLf-1639736589619)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216170229959.png)]


3.定义 logstash配置文件

Logstash 配置文件基本由三部分组成:input、output 以及 filter(可选,根据需要选择使用)。(1)#给日志目录可读权限
chmod o+r /var/log/messages #让 Logstash 可以读取日志
(2)#修改 Logstash 配置文件,让其收集系统日志/var/log/messages,并将其输出到 elasticsearch 中。
vim /etc/logstash/conf.d/system.confinput {file{path =>"/var/log/messages" #指定要收集的日志的位置type =>"system" #自定义日志类型标识start_position =>"beginning" #表示从开始处收集}
}
output {elasticsearch { #输出到 elasticsearchhosts => ["192.168.59.115:9200"] #指定 elasticsearch 服务器的地址和端口index =>"system-%{+YYYY.MM.dd}" #指定输出到 elasticsearch 的索引格式}
}(4)#重启服务
systemctl restart logstash(5)#登录192.168.59.116 真机
打开浏览器 输入http://192.168.59.115:9100/ 查看索引信息###多出 system-xxxx

(1)#给日志目录可读权限
在这里插入图片描述

(2)#修改 Logstash 配置文件

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-yGbOLYBq-1639736589621)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216171141000.png)]

(4)#重启服务

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-YcDANOBY-1639736589621)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216171231602.png)]

(5)#浏览器打开http://192.168.59.115:9100/

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-qkgYRIMb-1639736589622)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216171646654.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-btNTxsPg-1639736589622)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216171931277.png)]


5.3 ELK Kiabana 部署(在 Node1 节点上操作)

(1)#安装 Kiabana
#上传软件包 kibana-5.5.1-x86_64.rpm 到/opt目录
cd /opt
rpm -ivh kibana-5.5.1-x86_64.rpm(2)#设置 Kibana 的主配置文件
vim /etc/kibana/kibana.yml
--2--取消注释,Kiabana 服务的默认监听端口为5601
server.port: 5601
--7--取消注释,设置 Kiabana 的监听地址,0.0.0.0代表所有地址
server.host: "0.0.0.0"
--21--取消注释,设置和 Elasticsearch 建立连接的地址和端口
elasticsearch.url: "http://192.168.59.115:9200"
--30--取消注释,设置在 elasticsearch 中添加.kibana索引
kibana.index: ".kibana"(3)#启动 Kibana 服务
systemctl start kibana.service
systemctl enable kibana.service
netstat -natp | grep 5601(4)#验证 Kibana
浏览器访问 http://192.168.59.115:5601第一次登录需要添加一个 Elasticsearch 索引:
Index name or pattern
//输入:system-* #在索引名中输入之前配置的 Output 前缀“system”
单击 “create” 按钮创建,单击 “Discover” 按钮可查看图表信息及日志信息。
数据展示可以分类显示,在“Available Fields”中的“host”,然后单击 “add”按钮,可以看到按照“host”筛选后的结果(5)#将 Apache 服务器的日志(访问的、错误的)添加到 Elasticsearch 并通过 Kibana 显示
vim /etc/logstash/conf.d/apache_log.conf
input {file{path => "/etc/httpd/logs/access_log"type => "access"start_position => "beginning"}file{path => "/etc/httpd/logs/error_log"type => "error"start_position => "beginning"}
}
output {if [type] == "access" {elasticsearch {hosts => ["192.168.59.115:9200"]index => "apache_access-%{+YYYY.MM.dd}"}}if [type] == "error" {elasticsearch {hosts => ["192.168.59.115:9200"]index => "apache_error-%{+YYYY.MM.dd}"}}cd /etc/logstash/conf.d/
/usr/share/logstash/bin/logstash -f apache_log.conf6.#浏览器访问http://192.168.59.115:9100/测试,查看索引信息能发现
apache_error-2019.04.16 apache_access-2019.04.16 #浏览器访问http://192.168.59.115:5601
点击左下角有个management选项---index patterns---create index pattern
----分别创建apache_error-* 和 apache_access-* 的索引

(1)#安装 Kiabana

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-mMIjemQU-1639736589623)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216172427775.png)]

(2)#设置 Kibana 的主配置文件

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-688uk2YT-1639736589623)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216172646355.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-nrk0roDH-1639736589624)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216172631798.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-kP5fBLtb-1639736589624)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216172714643.png)]

(3)#启动 Kibana 服务

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-oFVRx5Xl-1639736589625)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216172806137.png)]

(4)#验证 Kibana,浏览器访问 http://192.168.59.115:5601

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-QQVkJfMC-1639736589625)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216173356868.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-JtPDl3Cg-1639736589625)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216173550045.png)]

(5)#将 Apache 服务器的日志(访问的、错误的)添加到 Elasticsearch 并通过 Kibana 显示

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-yOYjBexc-1639736589626)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216174058814.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ZXtiHEiO-1639736589626)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216174033917.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-EYtJqGh4-1639736589627)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216174849575.png)]

#浏览器访问http://192.168.59.115:9100/测试,查看索引信息能发现两个日志

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-sIPkoP78-1639736589627)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216175506829.png)]

#浏览器访问http://192.168.59.115:5601

添加索引apache_error-*

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-KNeL8x1u-1639736589628)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216175602978.png)]

添加索引apache_access-*

1639736589624)]


推荐阅读
  • Python 数据可视化实战指南
    本文详细介绍如何使用 Python 进行数据可视化,涵盖从环境搭建到具体实例的全过程。 ... [详细]
  • 本文详细介绍了Java代码分层的基本概念和常见分层模式,特别是MVC模式。同时探讨了不同项目需求下的分层策略,帮助读者更好地理解和应用Java分层思想。 ... [详细]
  • 秒建一个后台管理系统?用这5个开源免费的Java项目就够了
    秒建一个后台管理系统?用这5个开源免费的Java项目就够了 ... [详细]
  • Python与R语言在功能和应用场景上各有优势。尽管R语言在统计分析和数据可视化方面具有更强的专业性,但Python作为一种通用编程语言,适用于更广泛的领域,包括Web开发、自动化脚本和机器学习等。对于初学者而言,Python的学习曲线更为平缓,上手更加容易。此外,Python拥有庞大的社区支持和丰富的第三方库,使其在实际应用中更具灵活性和扩展性。 ... [详细]
  • 网站访问全流程解析
    本文详细介绍了从用户在浏览器中输入一个域名(如www.yy.com)到页面完全展示的整个过程,包括DNS解析、TCP连接、请求响应等多个步骤。 ... [详细]
  • 在JavaWeb开发中,文件上传是一个常见的需求。无论是通过表单还是其他方式上传文件,都必须使用POST请求。前端部分通常采用HTML表单来实现文件选择和提交功能。后端则利用Apache Commons FileUpload库来处理上传的文件,该库提供了强大的文件解析和存储能力,能够高效地处理各种文件类型。此外,为了提高系统的安全性和稳定性,还需要对上传文件的大小、格式等进行严格的校验和限制。 ... [详细]
  • 如何高效启动大数据应用之旅?
    在前一篇文章中,我探讨了大数据的定义及其与数据挖掘的区别。本文将重点介绍如何高效启动大数据应用项目,涵盖关键步骤和最佳实践,帮助读者快速踏上大数据之旅。 ... [详细]
  • PHP开发人员薪资水平分析:工程师平均工资概况
    PHP开发人员薪资水平分析:工程师平均工资概况 ... [详细]
  • 2016-2017学年《网络安全实战》第三次作业
    2016-2017学年《网络安全实战》第三次作业总结了教材中关于网络信息收集技术的内容。本章主要探讨了网络踩点、网络扫描和网络查点三个关键步骤。其中,网络踩点旨在通过公开渠道收集目标信息,为后续的安全测试奠定基础,而不涉及实际的入侵行为。 ... [详细]
  • 如何正确配置与使用日志组件:Log4j、SLF4J及Logback的连接与整合方法
    在当前的软件开发实践中,无论是开源项目还是日常工作中,日志框架都是不可或缺的工具之一。本文详细探讨了如何正确配置与使用Log4j、SLF4J及Logback这三个流行的日志组件,并深入解析了它们之间的连接与整合方法,旨在帮助开发者高效地管理和优化日志记录流程。 ... [详细]
  • 利用Jenkins与SonarQube集成实现高效代码质量检测与优化
    本文探讨了通过在 Jenkins 多分支流水线中集成 SonarQube,实现高效且自动化的代码质量检测与优化方法。该方案不仅提高了开发团队的代码审查效率,还确保了软件项目的持续高质量交付。 ... [详细]
  • 前期部署1.JDK安装,配置PATH2.下载spark-1.6.1-bin-hadoop2.6.tgz,并上传到服务器解压3.在 usr 下创建软链接到目标文件夹4.修改配置文件, ... [详细]
  • 「驭龙」开源主机入侵检测系统了解一下
    「驭龙」开源主机入侵检测系统了解一下 ... [详细]
  • 第十三章go实现分布式网络爬虫单机版爬虫
     网络爬虫分为两类1.通用爬虫:类似于baidu,google.他们会把大量的数据挖下来,保存到自己的服务器上.用户打开跳转的时候,其实先是跳转到他们自己的服务器. 2.聚焦爬虫: ... [详细]
  • 增加Maven构建profile配置在项目最顶层的pom.xml添加common和release两个profile,并声明${app.run.env}作为环境切换变量<profiles> ... [详细]
author-avatar
小思绪
创造人生的可能
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有