Prometheus监控系列之一：Prometheus监控入门

    完善的监控流程体系是一个公司非常重要的部分。接下来会根据下图进行解释监控流程中的部分

1、监控系统设计&＃xff08;运维架构师&＃xff09;&＃xff1a;

    这部分是由运维架构师进行设计&＃xff0c;设计部分主要包括如下内容&＃xff1a;

• 评估系统的业务流程、业务种类、架构体系

    各个企业的产品不同、业务方向不同、程序代码不同、系统架构更不同&＃xff0c;对各个地方细节需要有一定程度的认知。

• 分类出所需的监控大分类

    一般可以分为&＃xff1a;业务级别监控、系统级别监控、网络监控、程序代码监控、日志监控、用户行为分析监控以及其他种类监控。如&＃xff1a;

1. 业务监控    包含用户访问QPS、DAU日活、访问状态(http code)、业务接口&＃xff08;登陆&＃xff0c;注册&＃xff0c;聊天&＃xff0c;留言&＃xff0c;上传&＃xff0c;搜索等&＃xff09;、产品转化率等&＃xff1b;
2. 系统监控    CPU/内存/磁盘/IO/TCP链接/流量等&＃xff08;zabbix/Prometheus&＃xff09;&＃xff1b;
3. 网络监控    交换机、路由器、防火墙、VPN&＃xff1b;
4. 日志监控    监控的重头戏&＃xff08;Splunk、ELK&＃xff09;&＃xff0c;往往单独设计&＃xff0c;全部种类的日志都需要采集
5. 程序监控    需要与开发配合&＃xff0c;代码中嵌入接口&＃xff0c;直接获取数据或者特质的日志格式&＃xff08;json&＃xff09;

2、监控系统搭建

• 单点服务器的搭建&＃xff08;Prometheus&＃xff09;
• 单点客户端的部署
• 单点客户端服务器测试
• 采集程序单点部署
• 采集程序批量部署
• 监控服务端HA/Cloud&＃xff08;自己定制&＃xff09;
• 监控数据图形化搭建&＃xff08;Grafana&＃xff09;
• 报警系统测试&＃xff08;Pagerduty&＃xff09;
• 报警规则测试
• 监控&＃43;报警联合测试
• 正式上线监控

3、数据采集编写

    可选用脚本作为数据采集&＃xff0c;如&＃xff1a;shell/python/go等。作为监控数据采集&＃xff0c;首推shell/python

   数据采集的形式分类&＃xff1a;

• 一次性采集&＃xff1a;使用比较简单的shell    ./monitor.sh &＃43;crontab的形式 按10秒  30秒 一分钟这样的频率去单词采集

    优势&＃xff1a;稳定性好&＃xff0c;不容易出现各种错误和性能瓶颈&＃xff0c;且开发逻辑简单 实现快速

    劣势&＃xff1a;实现不够智能

• 后台式采集&＃xff1a;  采集程序以守护进程运行在Linux后台&＃xff0c;持续不断的采集数据&＃xff1b;Prometheus exporter例如python/go开发的daemon程序&＃xff0c;后台持续不断的采集

    优势&＃xff1a;数据准确度高&＃xff0c;采集密度惊喜&＃xff0c;管理方便

    劣势&＃xff1a;如果开发不够仔细&＃xff0c;可能会出现内存泄漏&＃xff0c;僵尸进程&＃xff0c;性能瓶颈等问题&＃xff0c;且开发周期时间长

• 桥接式采集&＃xff1a;  本身以后台进程运行&＃xff0c;但是采集不能独立&＃xff0c;依然跟服务器关联&＃xff0c;以桥接方式收集采集数据

4、监控稳定测试

   不管是一次性采集&＃xff0c;还是后台采集&＃xff0c;只要实在Linux上运行的定西都会多多少少对系统产生一定的影响。稳定性测试就是通过一段时间的单点部署观察&＃xff0c;对线上有没有任何影响。

5、监控自动化

     监控客户端的批量部署&＃xff0c;监控服务端的HA再安装&＃xff0c;监控项目的修改&＃xff0c;监控项目的监控集群变化。这些地方需要大量的人工。这时&＃xff0c;自动化引入会很大程度上缩短对监控系统的维护成本。如&＃xff1a;Puppet&＃xff08;配置文件部署&＃xff09;、Jenkins&＃xff08;CI持续集成部署&＃xff09;、CMDB&＃xff08;运维自动化的最高资源管理平台和理念&＃xff09;等。

6、监控图形化工作

        采集的数据和准备好的监控算法&＃xff0c;最终需要一个好的图形展示&＃xff0c;才能发挥最好的作用。监控的设计搭建需要大量的技术知识&＃xff0c;但是对于一个观察者来说&＃xff0c;往往不需要多少技术&＃xff0c;只要能看懂图就好&＃xff08;老板想看看当前用户访问量情况&＃xff0c;想看看整体CPU高不高&＃xff09;

Prometheus是什么&＃xff1f;

Prometheus是最初在SoundCloud上构建的开源系统监视和警报工具包 。自2012年成立以来&＃xff0c;许多公司和组织都采用了Prometheus&＃xff0c;该项目拥有非常活跃的开发人员和用户社区。现在&＃xff0c;它是一个独立的开源项目&＃xff0c;并且独立于任何公司进行维护。为了强调这一点并阐明项目的治理结构&＃xff0c;Prometheus 于2016年加入了 Cloud Native Computing Foundation&＃xff0c;这是继Kubernetes之后的第二个托管项目。

Prometheus优势&＃xff1a;

• 基于time series时间序列模型&＃xff08;数字&＃xff0c;数学&＃xff09;

    时间序列&＃xff08;time series x,y&＃xff09;是一系列有序的数据。通常是等时间间隔的采样数据。

• 基于K/V数据模型

    key/value键值  {disk_size: 80}&＃xff0c;最大的好处是数据格式简单、速度快、易维护开发。

• 采样数据的查询

     完全基于数学运算&＃xff0c;而不是其他的表达式&＃xff0c;并且提供专有的查询输入console。所有的查询都是基于数学运算公式的&＃xff0c;例如&＃xff1a;&＃xff08;增量&＃xff08;A&＃xff09;&＃43;增量&＃xff08;B&＃xff09;)/总增量&＃xff08;C&＃xff09;>固定百分比

• 采用http pull/push两种对应的数据采集传输方式

    所有的数据采集&＃xff0c;都是基本采用HTTP&＃xff0c;而且分为pull和push拉和推两种方式去写采集程序&＃xff0c;非常方便。

• 开源&＃xff0c;大量的社区成品插件

   https://prometheus.io&＃xff0c; 很多Prometheus社区开发的插件已经非常强大和完善。如果公司对监控要求不是特别高的话&＃xff0c;默认的几个成品插件就已经可以够用的了。

• push方法非常灵活
• 本身自带图形调试

      Prometheus本身自带了现成的图形成型界面&＃xff0c;虽然最终肯定不能和grafana效果相比&＃xff0c;但是这种自带图形形成图可以大大帮助运维做测试。

• 最精细的数据采样

    大多数市面上的开源监控&＃xff0c;采样也就能精确到半分钟或一分钟的程度&＃xff0c;但是Prometheus理论上可以达到秒采集&＃xff0c;而且可以自行定制频率&＃xff08;不过强大的同时&＃xff0c;不太建议细致到这个程度&＃xff0c;因为会产生大量的数据&＃xff09;。

Prometheus劣势&＃xff1a;

但是还有一些不足&＃xff0c;需要加以改进

• 不支持集群化&＃xff08;这个是当前最迫切的需求&＃xff09;
• 被监控集群过大后&＃xff0c;本身性能有一定瓶颈&＃xff08;如果有集群&＃xff0c;就可以解决这个问题&＃xff09;
• 偶尔发生数据丢失&＃xff08;这个问题在2.0之前会偶尔发生几次&＃xff0c;2.0之后已经彻底解决&＃xff09;
• 中文支持不好&＃xff0c;中文资料少