汇总（6）

看日志的方式&＃xff1a; cat /var/log/messages、journalctl -xe、systemctl status network

用于辅助分析、排障

ELK 就是一个简单日志收集的系统

ELK 组件在大数据运维系统中&＃xff0c;主要可解决的问题如下&＃xff1a;

1. 日志查询&＃xff0c;问题排查&＃xff0c;故障恢复&＃xff0c;故障自愈
2. 应用日志分析&＃xff0c;错误报警
3. 性能分析&＃xff0c;用户行为分析

服务日志比如tomcat&＃xff0c;tomcat会有自己的日志&＃xff0c;tomcat是一种java环境会跑一些java应用&＃xff0c;这些应用会产生一些日志&＃xff0c;这些日志会输出到log4j

log4j&＃xff1a;java类的数据业务日志

1.要收集哪些日志

1&＃xff09;系统日志————》为监控做准备

2&＃xff09;服务日志————》数据库—》mysql—》慢查询日志、错误日志、普通日志、中继日志&＃xff1b;数据链路&＃xff08;数据流向&＃xff09;进过的一些重要的服务也要收集日志&＃xff1b;从防火墙进来&＃xff0c;进入负载均衡lb层&＃xff08;DMZ&＃xff09;&＃xff0c;进入应用层再进入缓冲层再进入数据库(存储层)&＃xff1b;存储层有一些支持的服务比如&＃xff1a;NFS&＃xff1b;GFS作为一个挂载。

3&＃xff09;业务日志————》log4j

PS&＃xff1a;业务日志必须收集

1kibana

2. grafana

1&＃xff09;给与大数据分析&＃xff0c;作为立体化展示的数据源

2&＃xff09;给研发使用&＃xff08;排障。解决bug等等&＃xff09;

3&＃xff09;统计数据流量、做为分析报告的数据源

Elasticsearch &＃xff1a;存储、用于创建建立索引、典型的搜索性的数据库

搜索能力强因为副本和分片。默认情况下&＃xff0c;es中每个索引被分为5个分片和一个副本

Elasticsearch是个开源分布式搜索引擎&＃xff0c;提供搜集&＃xff0c;分析&＃xff0c;存储数据三大功能。它的特点有&＃xff1a;分布式&＃xff0c;零配置&＃xff0c;自动发现&＃xff0c;索引自动分版&＃xff0c;索引副本机制&＃xff0c;restfull风格接口&＃xff0c;多数据源&＃xff0c;自动搜索负载等。

Logstash &＃xff1a;收集格式化处理&＃43;输出

Logstash 主要是用来日志的搜集&＃xff0c;分析&＃xff0c;过滤日志的工具支持大量的数据获取方式。一般工作方式为c/s架构&＃xff0c;client端安装在需要收集日志的主机上&＃xff0c;server端负责将收到各节点进行过滤&＃xff0c;修改等操作一并发到elasticsearch上。

Kibana &＃xff1a;展示&＃xff1b;日志收集之后由es作为存储&＃xff0c;并且创建索引传给kibana展示出来

Kibana 也是一个开源和免费的工具&＃xff0c;Kibana可以为Logstash和Elasticsearch提供日志分析友好的web界面&＃xff0c;可以帮助汇总&＃xff0c;分析和搜索重要数据日志。

ELK 组件在海量日志系统的运维中&＃xff0c;可用于解决以下主要问题&＃xff1a;- 分布式日志数据统一收集&＃xff0c;实现集中式查询和管理

1. 故障排查
2. 安全信息和事件管理
3. 报表功能

●ELK工作原理展示图:
[ APPServer集群]→[ logstash Agent 采集器]→&＃43; [ElasticSearch Cluster] →[Kibana Server] 小[ Browser]
●Logstash收集AppServer产生的Log&＃xff0c;并存放到ElasticSearch集群中&＃xff0c;而Kibana则 从ES集群中查询数据生成图表&＃xff0c;
再返回给Browser。 简单来说&＃xff0c;进行日志处理分析&＃xff0c; 一般需 要经过以下几个步骤:
1.将日志进行集中化管理(beats)

收集手段&＃xff1a;filebeat、topbeat

filebeat&＃xff1a;基于文件收集

topbeat&＃xff1a;基于协议、网络收集

2.将日志格式化( logstash)
3.对格式化后的数据进行索引和存储(elasticsearch)
4.前端数据的展示( kibana )

1、接近实时(NRT)
lasticsearch是一个接近实时的搜索平台&＃xff0c;这意味着&＃xff0c;从索引一-个文档直到这个文档能够被搜索到有一 个轻微的延迟(通常是1秒)
2、集群(cluster )
个集群就是由一.个或多个节点组织在一起&＃xff0c;它们共同持有你整个的数据&＃xff0c;并一起提 供索引和搜索功能。其中-一个节点为主节点&＃xff0c;这个主节点是可以通过选举产生的&＃xff0c;并提供跨节点的联合索引和搜索的功能。集群有一个唯一性标示的名字&＃xff0c;默认是elasticsearch,集群名字很重要&＃xff0c;每个节点是基于集群名字加入到其集群中的。因此&＃xff0c;确保在不同环境中使用不同的集群名字。一个集群可以只有一个节点。强烈建议在配置elasticsearch时&＃xff0c; 配置成集群模式。
3、 节点(node )
节点就是一台单一-的服务器&＃xff0c;是集群的一部分&＃xff0c;存储数据并参与集群的索引和搜索功能。像集群一样&＃xff0c;节点也是通过名字来标识&＃xff0c;
默认是在节点启动时随机分配的字符名。当然&＃xff0c;你可以自己定义。该名字也很重要&＃xff0c;在集群中用于识别服务器对应的节点。
节点可以通过指定集群名字来加入到集群中。默认情况&＃xff0c;每个节点被设置成加入到elasticsearch集群。如果启动了多个节点&＃xff0c;
假设能自动发现对方&＃xff0c;他们将会自动组建一 -个名为elasticsearch的集群。
4、索引(index)
一个索引就是–个拥有几分相似特征的文档的集合。比如说&＃xff0c;你可以有一-个客户数据的索引&＃xff0c;另–个产品目录的索引&＃xff0c;还有一一个订单
数据的
索引。- -个索引由一一个名字来标识(必须全部是小写字母的)&＃xff0c;并且当我们要对对应于这个索引中的文档进行索引、搜索、更新和删除的
时候&＃xff0c;都要使用到这个名字。在一-个集群中&＃xff0c;如果你想&＃xff0c;可以定义任意多的索引。
●索引相对于关系型数据库的库。
5、类型(tvpe)
在一个索引中&＃xff0c; 你可以定义一种或多种类型。一个类型是你的索引的一一个逻辑 上的分类/分区&＃xff0c;其语义完全由你来定。通常&＃xff0c;会为具有一-组共同字段的文档定义一-个类型。比如说&＃xff0c;我们假设你运营一-个博客平台并且将你所有的数据存储到一一个索引中。
在这个索引中&＃xff0c;你可以为用户数据定义一-个类型&＃xff0c;为博客数据定义另-一个类型&＃xff0c;当然&＃xff0c;也可以为评论数据定义另–个类型。
●类型相对于关系型数据库的表
6、文档(document)
一个文档是–个可被索引的基础信息单元。比如&＃xff0c;你可以拥有某一个客户的文档&＃xff0c;某一个产品的一个文档&＃xff0c;当然&＃xff0c;也可以拥有某个订单的一个文档。文档以JSON ( Javascript object Notation) 格式来表示&＃xff0c;而JSON是一个到处存在的互联网数据交互格式。
生一一个index/type里面&＃xff0c;只要你想&＃xff0c;你可以存储任意多的文档。注意&＃xff0c;虽然一个文档在物理上位于一个索引中&＃xff0c;实际上一个文档必须在一 个索引内被索引和分配一 个类型。
●文档相对于关系型数据库的列。
7、分片和副本(shards & replicas)
在实际情况下&＃xff0c;索引存储的数据可能超过单个节点的硬件限制。如一.个10亿文档需1TB空间可能不适合存储在单个节点的磁盘上&＃xff0c;
或者从单个节点搜索请求太慢了。为了解决这个问题&＃xff0c;elasticsearch提供将索引 分成多个分片的功能。当在创建索引时&＃xff0c;可以定义想要分
的数量。每一个分片就是一 个 全功能的独立的索引&＃xff0c;可以位于集群中任何节点上。

●分片的两个最主要原因: a.水平分割扩展&＃xff0c;增大存储量b.分布式并行跨分片操作&＃xff0c;提高性能和吞吐量
●副本也有两个最主要原因: a.高可用性&＃xff0c;以应对分片或者节点故障。出于这个原因&＃xff0c;分片副本要在不同的节点上。

b.增加吞吐量&＃xff0c;搜索可以并行在所有副本上执行。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Jt6ancwf-1640832227580)(C:\Users\浩洋\AppData\Roaming\Typora\typora-user-images\1640764438836.png)]

索可以并行在所有副本上执行。

[外链图片转存中…(img-Jt6ancwf-1640832227580)]