Kubernetes运维之使用Prometheus全方位监控K8S(概念篇)

目录&＃xff1a;

Prometheus架构
K8S监控指标及实现思路
在K8S平台部署Prometheus
基于K8S服务发现的配置解析
在K8S平台部署Grafana
监控K8S集群中Pod、Node、资源对象
使用Grafana可视化展示Prometheus监控数据
告警规则与告警通知

说在前面的话&＃xff0c;现在监控首选的话&＃xff0c;肯定是Prometheus&＃43;Grafana,也就是很多大型公司也都在用&＃xff0c;像RBM&＃xff0c;360&＃xff0c;网易&＃xff0c;基本都是使用这一套监控系统。

一、Prometheus 是什么&＃xff1f;

Prometheus&＃xff08;普罗米修斯&＃xff09;是一个最初在SoundCloud上构建的监控系统。SoundCloud是搞云计算的一家国外的公司&＃xff0c;也是由一位工程师来到这家公司之后开发的这个系统&＃xff0c;自2012年成为社区开源项目&＃xff0c;拥有非常活跃的开发人员和用户社区。为强调开源及独立维护&＃xff0c;Prometheus于2016年加入云原生云计算基金会
&＃xff08;CNCF&＃xff09;&＃xff0c;成为继Kubernetes之后的第二个项目&＃xff0c;这个项目发展的还是比较快的&＃xff0c;随着k8s的发展&＃xff0c;它也起来了。
https://prometheus.io 官方网站
https://github.com/prometheus GitHub地址

Prometheus组成及架构
接下来看一下它这个官方给出的架构图&＃xff0c;我们来研究一下

最左边这块就是采集的&＃xff0c;采集谁监控谁&＃xff0c;一般是一些短周期的任务&＃xff0c;比如cronjob这样的任务,也可以是一些持久性的任务&＃xff0c;其实主要就是一些持久性的任务&＃xff0c;比如web服务&＃xff0c;也就是持续运行的&＃xff0c;暴露一些指标&＃xff0c;像短期任务呢&＃xff0c;处理一下就关了&＃xff0c;分为这两个类型&＃xff0c;短期任务会用到Pushgateway,专门收集这些短期任务的。

中间这块就是Prometheus它本身&＃xff0c;内部是有一个TSDB的数据库的&＃xff0c;从内部的采集和展示Prometheus它都可以完成&＃xff0c;展示这块自己的这块UI比较lou&＃xff0c;所以借助于这个开源的Grafana来展示&＃xff0c;所有的被监控端暴露完指标之后&＃xff0c;Prometheus会主动的抓取这些指标&＃xff0c;存储到自己TSDB数据库里面&＃xff0c;提供给Web UI,或者Grafana&＃xff0c;或者API clients通过PromQL来调用这些数据&＃xff0c;PromQL相当于Mysql的SQL&＃xff0c;主要是查询这些数据的。

中间上面这块是做服务发现的&＃xff0c;也就是你有很多的被监控端时&＃xff0c;手动的去写这些被监控端是不现实的&＃xff0c;所以需要自动的去发现新加入的节点&＃xff0c;或者以批量的节点&＃xff0c;加入到这个监控中&＃xff0c;像k8s它内置了k8s服务发现的机制&＃xff0c;也就是它会连接k8s的API&＃xff0c;去发现你部署的哪些应用&＃xff0c;哪些pod&＃xff0c;通通的都给你暴露出去&＃xff0c;监控出来&＃xff0c;也就是为什么K8S对prometheus特别友好的地方&＃xff0c;也就是它内置了做这种相关的支持了。

右上角是Prometheus的告警&＃xff0c;它告警实现是有一个组件的&＃xff0c;Alertmanager,这个组件是接收prometheus发来的告警就是触发了一些预值&＃xff0c;会通知Alertmanager,而Alertmanager来处理告警相关的处理&＃xff0c;然后发送给接收人&＃xff0c;可以是email,也可以是企业微信&＃xff0c;或者钉钉&＃xff0c;也就是它整个的这个框架&＃xff0c;分为这5块。

小结&＃xff1a;

• Prometheus Server&＃xff1a;收集指标和存储时间序列数据&＃xff0c;并提供查询接口
• ClientLibrary&＃xff1a;客户端库&＃xff0c;这些可以集成一些很多的语言中&＃xff0c;比如使用JAVA开发的一个Web网站&＃xff0c;那么可以集成JAVA的客户端&＃xff0c;去暴露相关的指标&＃xff0c;暴露自身的指标&＃xff0c;但很多的业务指标需要开发去写的&＃xff0c;
• Push Gateway&＃xff1a;短期存储指标数据。主要用于临时性的任务
• Exporters&＃xff1a;采集已有的第三方服务监控指标并暴露metrics&＃xff0c;相当于一个采集端的agent,
• Alertmanager&＃xff1a;告警
• Web UI&＃xff1a;简单的Web控制台

数据模型
Prometheus将所有数据存储为时间序列&＃xff1b;具有相同度量名称以及标签属于同一个指标。
每个时间序列都由度量标准名称和一组键值对&＃xff08;也成为标签&＃xff09;唯一标识。 也就是查询时
也会依据这些标签来查询和过滤&＃xff0c;就是写PromQL时
时间序列格式&＃xff1a;
{&＃61;, …}
指标的名字&＃43;花括号里面有很多的值

示例&＃xff1a;api_http_requests_total{method&＃61;“POST”, handler&＃61;“/messages”}
&＃xff08; 名称 &＃xff09;&＃xff08;里面包含的POST请求&＃xff0c;GET请求&＃xff0c;请求里面还包含了请求的资源&＃xff0c;比如messages或者API&＃xff09;里面可以还有很多的指标&＃xff0c;比如请求的协议&＃xff0c;或者携带了其他HTTP头的字段&＃xff0c;都可以进行标记出来&＃xff0c;就是想监控的都可以通过这种方式监控出来。

作业和实例
实例&＃xff1a;可以抓取的目标称为实例&＃xff08;Instances&＃xff09;&＃xff0c;用过zabbix的都知道被监控端是称为什么&＃xff0c;一般就是称为主机&＃xff0c;被监控端&＃xff0c;而在prometheus称为一个实例。
作业&＃xff1a;具有相同目标的实例集合称为作业&＃xff08;Job&＃xff09;&＃xff0c;也就是将你的被监控端作为你个集合&＃xff0c;比如做一个分组&＃xff0c;web 服务有几台&＃xff0c;比如有3台&＃xff0c;写一个job下&＃xff0c;这个job下就是3台&＃xff0c;就是做一个逻辑上的分组&＃xff0c;

二、K8S监控指标

Kubernetes本身监控

• Node资源利用率 &＃xff1a;一般生产环境几十个node&＃xff0c;几百个node去监控
• Node数量 &＃xff1a;一般能监控到node&＃xff0c;就能监控到它的数量了&＃xff0c;因为它是一个实例&＃xff0c;一个node能跑多少个项目&＃xff0c;也是需要去评估的&＃xff0c;整体资源率在一个什么样的状态&＃xff0c;什么样的值&＃xff0c;所以需要根据项目&＃xff0c;跑的资源利用率&＃xff0c;还有值做一个评估的&＃xff0c;比如再跑一个项目&＃xff0c;需要多少资源。
• Pods数量&＃xff08;Node&＃xff09;&＃xff1a;其实也是一样的&＃xff0c;每个node上都跑多少pod,不过默认一个node上能跑110个pod&＃xff0c;但大多数情况下不可能跑这么多&＃xff0c;比如一个128G的内存&＃xff0c;32核cpu,一个java的项目&＃xff0c;一个分配2G,也就是能跑50-60个&＃xff0c;一般机器&＃xff0c;pod也就跑几十个&＃xff0c;很少很少超过100个。
• 资源对象状态 &＃xff1a;比如pod&＃xff0c;service,deployment,job这些资源状态&＃xff0c;做一个统计。

Pod监控
• Pod数量&＃xff08;项目&＃xff09;&＃xff1a;你的项目跑了多少个pod的数量&＃xff0c;大概的利益率是多少&＃xff0c;好评估一下这个项目跑了多少个资源占有多少资源&＃xff0c;每个pod占了多少资源。
• 容器资源利用率 &＃xff1a;每个容器消耗了多少资源&＃xff0c;用了多少CPU&＃xff0c;用了多少内存
• 应用程序&＃xff1a;这个就是偏应用程序本身的指标了&＃xff0c;这个一般在我们运维很难拿到的&＃xff0c;所以在监控之前呢&＃xff0c;需要开发去给你暴露出来&＃xff0c;这里有很多客户端的集成&＃xff0c;客户端库就是支持很多语言的&＃xff0c;需要让开发做一些开发量将它集成进去&＃xff0c;暴露这个应用程序的想知道的指标&＃xff0c;然后纳入监控&＃xff0c;如果开发部配合&＃xff0c;基本运维很难做到这一块&＃xff0c;除非自己写一个客户端程序&＃xff0c;通过shell/python能不能从外部获取内部的工作情况&＃xff0c;如果这个程序提供API的话&＃xff0c;这个很容易做到。

如果想监控node的资源&＃xff0c;就可以放一个node_exporter,这是监控node资源的&＃xff0c;node_exporter是Linux上的采集器&＃xff0c;你放上去你就能采集到当前节点的CPU、内存、网络IO&＃xff0c;等待都可以采集的。

如果想监控容器&＃xff0c;k8s内部提供cAdvisor采集器&＃xff0c;pod呀&＃xff0c;容器都可以采集到这些指标&＃xff0c;都是内置的&＃xff0c;不需要单独部署&＃xff0c;只知道怎么去访问这个Cadvisor就可以了。

如果想监控k8s资源对象&＃xff0c;会部署一个kube-state-metrics这个服务&＃xff0c;它会定时的API中获取到这些指标&＃xff0c;帮你存取到Prometheus里&＃xff0c;要是告警的话&＃xff0c;通过Alertmanager发送给一些接收方&＃xff0c;通过Grafana可视化展示。

参考文章&＃xff08;全&＃xff09;&＃xff1a; https://blog.51cto.com/u_14143894/2438026