热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

监控运维那些事儿

监控目标明白监控的重要性以及使用监控要实现的业务目标通常包括以下三点:对目标系统进行实时监控监控可以实时反馈目标系统的当前状态目标系统硬件、软件、业务是否正常、目

监控目标

明白监控的重要性以及使用监控要实现的业务目标

通常包括以下三点:


  • 对目标系统进行实时监控

  • 监控可以实时反馈目标系统的当前状态 目标系统硬件、软件、业务是否正常、目前处于何种状态

  • 保证目标系统可靠性,业务可以持续稳定运行 有问题第一时间反馈出来,便于运维人员处理


监控方法


  • 了解监控对象 例如:CPU如何工作?

  • 性能基准指标 例如: CPU使用率、负载、用户态、内核态、上下文切换

  • 报警阈值定义 例如: CPU负载高的定义,内核态、用户态多少算高

  • 故障处理流程 如何更高效处理故障的流程


监控核心


  • 发现问题

  • 定位问题

  • 解决问题

  • 总结问题,对故障原因及问题防范进行归纳总结,避免以后重复出现


监控工具


  • 老牌监控

    • Cacti

    • Nagios

    • smokeping

  • 流行监控

    • Zabbix

    • OpenFalcon

    • Prometheus+Grafana

    • 滴滴开源夜莺Nightingale

    • smartping(专用于网络监控)

    • LEPUS天兔(专用于监控数据库)

    • 自研

  • 第三方监控

    • 监控宝

    • 听云

    • newrelic


监控流程


  • 采集

通过SNMP、Agent、ICMP、SSH、IPMI等对系统进行数据采集


  • 存储

各类数据库服务,MySQL、PostgreSQL


  • 分析

提供图形及时间线情况信息,方便我们定位故障所在


  • 展示

指标信息、指标趋势展示


  • 报警

电话、邮件、微信、短信、报警升级机制


  • 处理

故障级别判定,找响应人员进行快速处理


监控指标

硬件监控


  • 机器硬件:CPU温度、物理磁盘、虚拟磁盘、主板温度、磁盘阵列
    IPMI工具无法获取到硬件的状态,可以借助MegaCli工具探测Raid磁盘队列状态
    https://www.ibm.com/developerworks/cn/linux/l-ipmi/

系统监控


  • 主机存活

  • CPU、内存、硬盘、使用率

  • inode

  • 负载

  • 网卡出入带宽

  • TCP连接数

  • 磁盘读写、只读

应用监控

MySQL


  • 服务可用性

  • 内存使用率

  • 磁盘使用

  • 主从不同步及延迟

  • 备份情况

  • 连接数

Redis、Redis Cluster


  • 负载

  • 内存使用率

  • 连接数量

  • qps

Nginx


  • 状态码

  • 连接状态信息

  • RabbitMQ

  • PHP-FPM

  • OpenLDAP

    • 接入IP

    • 调用次数

  • Zimbra

  • OpenVPN

    • 版本信息、当前在线

    • 用户、分配IP、客户端连接IP、通过IP获取地址位置、接收发送流量 连接时间 时长 连接ID

  • ELK

  • Graylog

  • GitLab

  • Jenkins

  • MongoDB

  • HAproxy

网络监控


  • 网络质量

  • 公网出口

  • 专线带宽

  • 网络设备

流量分析

日志监控

安全监控


  • URL、API监控

  • 自研

  • 阿里云方案

性能监控(APM)java|php|go|nodejs|分布式链路追踪


  • PinPoint

  • Zipkin

  • SkyWalking

  • CAT、Jaeger

业务监控

电商业务为例:


  • 每分钟产生多少订单

  • 每分钟注册多少用户

  • 每分钟多少活跃用户

  • 每天有多少推广活动

  • 推广活动引入多少用户

  • 推广活动引入多少流量

  • 推广活动引入多少利润

其他


  • SSL证书监控

  • 存活性 进程是否还在,端口监听、Log滚动

  • 健康指标 MQ消息堆积量

  • 接口监控 API成功率,延迟情况,QPS等等


监控报警


  • 邮件

  • 短信

  • 钉钉、微信、企业微信等其他即时通信软件

  • 电话


报警处理

故障自愈: 服务器宕机自动启动。利用软件机制supervisor,systemd或者自定义脚本实现


综合监控

硬件监控

通过SNMP来进行路由器交换机的监控、其他内容使用IPMI实现。如果都是公有云,可以忽略这部分内容。案例:Open-Falcon监控H3C-ER3260G2路由器

系统监控

服务监控


  • 服务自带

    • Nginx自带status模块

    • PHP相应status模块

    • MySQL利用percona官方工具进行监控

  • 通过自定义方法获取数据

    • MySQL show global status xxx;

    • Redis info指令信息

  • 网络监控(混合云架构)

    • smokeping

    • smartping

  • 安全监控

    • 云服务直接用云安全组即可,或者补充本机iptables

    • 硬件防火墙

    • Web服务使用Nginx+Lua实现Web层面的防火墙,或者Openresty

  • 日志监控
    ELK、Graylog实现异常日志,错误日志关键字的监控

  • 业务监控
    确定监控指标,监控起来,业务不同各不相同

  • 流量分析
    建议使用百度统计,google统计,商业,研发嵌入代码实现。

    或者使用piwik

  • 可视化
    dashboard

  • 自动化监控
    通过API,批量操作


监控总结

完整的监控系统,需要对业务有详尽的了解,软件只是手段。


推荐阅读
  • Redis:缓存与内存数据库详解
    本文介绍了数据库的基本分类,重点探讨了关系型与非关系型数据库的区别,并详细解析了Redis作为非关系型数据库的特点、工作模式、优点及持久化机制。 ... [详细]
  • CentOS下ProFTPD的安装与配置指南
    本文详细介绍在CentOS操作系统上安装和配置ProFTPD服务的方法,包括基本配置、安全设置及高级功能的启用。 ... [详细]
  • 流处理中的计数挑战与解决方案
    本文探讨了在流处理中进行计数的各种技术和挑战,并基于作者在2016年圣何塞举行的Hadoop World大会上的演讲进行了深入分析。文章不仅介绍了传统批处理和Lambda架构的局限性,还详细探讨了流处理架构的优势及其在现代大数据应用中的重要作用。 ... [详细]
  • 如何在U8系统中连接服务器并获取数据
    本文介绍了如何在U8系统中通过不同的方法连接服务器并获取数据,包括使用MySQL客户端连接实例的方法,如非SSL连接和SSL连接,并提供了详细的步骤和注意事项。 ... [详细]
  • 在 Ubuntu 22.04 LTS 上部署 Jira 敏捷项目管理工具
    Jira 敏捷项目管理工具专为软件开发团队设计,旨在以高效、有序的方式管理项目、问题和任务。该工具提供了灵活且可定制的工作流程,能够根据项目需求进行调整。本文将详细介绍如何在 Ubuntu 22.04 LTS 上安装和配置 Jira。 ... [详细]
  • oracle 对硬件环境要求,Oracle 10G数据库软硬件环境的要求 ... [详细]
  • 本文详细介绍了如何在Linux系统(以CentOS为例)上彻底卸载Zimbra邮件系统,包括停止服务、删除文件和用户等步骤。 ... [详细]
  • Python 数据可视化实战指南
    本文详细介绍如何使用 Python 进行数据可视化,涵盖从环境搭建到具体实例的全过程。 ... [详细]
  • PTArchiver工作原理详解与应用分析
    PTArchiver工作原理及其应用分析本文详细解析了PTArchiver的工作机制,探讨了其在数据归档和管理中的应用。PTArchiver通过高效的压缩算法和灵活的存储策略,实现了对大规模数据的高效管理和长期保存。文章还介绍了其在企业级数据备份、历史数据迁移等场景中的实际应用案例,为用户提供了实用的操作建议和技术支持。 ... [详细]
  • 服务器部署中的安全策略实践与优化
    服务器部署中的安全策略实践与优化 ... [详细]
  • 本文介绍了在Linux环境下如何有效返回命令行状态、上一级目录及快速查找头文件和函数定义的方法。包括处理长时间运行命令、编辑器退出技巧、目录导航以及文件搜索策略。 ... [详细]
  • 协程作为一种并发设计模式,能有效简化Android平台上的异步代码处理。自Kotlin 1.3版本引入协程以来,这一特性基于其他语言的成熟理念,为开发者提供了新的工具,以增强应用的响应性和效率。 ... [详细]
  • 本文详细介绍了进程、线程和协程的概念及其之间的区别与联系。进程是在内存中运行的独立实体,具有独立的地址空间和资源;线程是操作系统调度的基本单位,属于进程内部;协程则是用户态下的轻量级调度单元,性能更高。 ... [详细]
  • top 命令是一个强大的工具,可以实时动态地监控系统的整体运行状况。它整合了多种信息,提供了一个全面的系统性能和运行信息视图。通过 top 命令的交互界面,用户可以使用热键进行各种管理操作。 ... [详细]
  • 本文详细介绍了Java代码分层的基本概念和常见分层模式,特别是MVC模式。同时探讨了不同项目需求下的分层策略,帮助读者更好地理解和应用Java分层思想。 ... [详细]
author-avatar
Ailsa大宝贝
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有