热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

微信小程序请求数据显示不及时_微信公众号后台数据监控系统

点击“编外气象人”关注我们吧系统简介当前通过微信公众号开展气象服务是一种非常重要的方式。微信除了作为全民社交APP之外,还有订阅号、服务号、小程序等多种媒体传播方式&
点击“编外气象人”关注我们吧系统简介

当前通过微信公众号开展气象服务是一种非常重要的方式。微信除了作为全民社交APP之外,还有订阅号、服务号、小程序等多种媒体传播方式,公众气象服务已经越来越多的借助微信平台进行二次开发并对外提供服务。今天给大家分享一个针对微信公众号后台数据监控的气象业务系统,该系统功能是实时对微信端展示的气象数据、产品以及服务器进行监控和报警,通过为运维管理员及时发送报警短信的方式,快速定位数据缺失种类并采取及时有效措施,从而解决微信前端数据不正常或者更新不及时问题。

设计方案

1、 设计目标

对气象北京的微信公众号相关数据流程进行监控,确定从数据分发、接收、处理、接口调用等各个环节的数据状态和程序状态,提供关于数据状态和程序状态的显示,对异常状态进行报警。从而快速发现、定位和解决流程中的问题。

2、 设计原则

标准化:本系统采用的技术架构均遵循网络协议和传输标准的要求,相关开源及原创技术均符合国际技术组织条款规范。

可扩展性:由于数据的种类会不断发展,使用人数将也将扩大,只要横向扩展增加服务器台数,不用添加其它附加设备,以保证用户的原投资被利用。

可用性和可靠性:选用NGIX作为负载均衡器,采用了Tomcat作为Web应用容器,操作系统采用CenOS7.5,从而减少了其它因素造成的故障。

易用性:该系统使用界面良好,用户无需安装客户端软件,只需通过浏览器就可进行实时操作,同时系统架构设计优良,可以很方便进行系统升级。

实时性:该系统支持负载均衡技术,及时响应多人实时并发操作。

高效性:采用消息中间件等技术,实时监控能快速显示。

正确性:数据的处理状态等能正确的采集、显示。

功能设计

气象北京微信后台数据的监控系统分为两部分功能:第一是各个系统日志的采集和存取;第二是各种异常情况的判断,以及对监控结果的展示和通知。如图所示:

19fc8134b46878ecd25ea320b4da22e6.png

流程设计

(1)通过采集程序获取日志文件的更新内容,将日志存储在influxdb中。

(2)客户端通过Web应用服务器,查询来自于influexdb中的日志信息,判断出问题的时间。

                                7f10d50e694cd301132c274d5dadd69c.png                                                             

日志采集与处理

在微信服务器后台部署日志采集程序,按照RESTful方式采集数据接口日志,采用FTP方式传输的文件直接采集FTP的日志文件。通过日志搜索以及返回值类型判断数据总量并定位数据状态,再通过前端显示和报警短信发送完成监控操作。RESTful方式示例:

请求地址:

操作

Request

协议

HTTP

方式

RESTtFul

URL全路径(将数据存入ElastSearch)

http://10.0.0.1:8888/restApi/saveEs

请求参数:

请求方式

必选

数据类型

长度

备注

json

Y

JSONObject

Body请求

返回数据:

序号

返回值

中文名

备注

1

status

请求状态码

0请求成功,1 请求失败

2

Msg

信息

success 请求成功,lose 请求失败

搜索日志操作

请求地址:

操作

Request

协议

HTTP

方式

Post

URL全路径(查询该时间段内的所有日志)

http://10.0.0.1:8888/es/queryEsFileNameTrue?startTime=YYYY-MM-ddHH:mm&endTime=YYYY-MM-dd HH:mm

URL全路径(查询该时间段内该系统的所有日志)

http://10.0.0.1:8888/es/queryEsFileNameTrue?startTime=YYYY-MM-ddHH:mm&endTime=YYYY-MM-dd HH:mm&types=XXXXXX

URL全路径(查询该时间段内该系统内该资料类型下的所有日志)

http://10.0.0.1:8888/es/queryEsFileNameTrue?startTime=YYYY-MM-ddHH:mm&endTime=YYYY-MM-dd HH:mm&types=XXXXXX&dataType=XXXXXX

请求参数:

序号

参数名

中文名称

必选

数据类型

长度

备注

1

startTime

第一个参数

Y

String

15

YYYY-MM-dd HH:mm

2

endTime

第二个参数

Y

String

15

YYYY-MM-dd HH:mm

3

types

第三个参数

N

String

系统标识

4

dataType

第四个参数

N

String

资料编码

返回数据:

序号

返回值

中文名

备注

1

status

请求状态码

0请求成功,1 请求失败

2

Msg

信息

success 请求成功,lose 请求失败

3

Data

数据

Json

请求示例(查询该时间段内的类型总数):

http://10.0.0.1:8888/es/queryEsFileNameTrue?startTime=2017-12-0500:00&endTime=2018-12-05 23:59

请求示例(查询该时间段内该系统的类型总数):

Http://10.0.0.1:8888/es/queryEsFileNameTrue?types=CCCC.SYSTEM.DATA.DATAFLOW&startTime=2017-12-0500:00&endTime=2018-12-05 23:59

请求示例(查询该时间段内该系统内该资料类型下的类型总数):

Http://10.224.96.133:8888/es/queryEsFileNameTrue?types=CCCC.SYSTEM.DATA.DATAFLOW&dataType=E.0015.0001.S002&startTime=2017-12-05 00:00&endTime=2018-12-05 23:59

监控展示页面设计与实现

2ebccb9757c8e8ccd4dca6bffdb9c9b2.png

报警短信设计与实现

942972b45ce7f5642587fc509908cfd4.png

结语

目前该系统已上线一年的时间,运行平稳,报警及时,当数据缺失或者没有及时更新时会发送报警短信,运维保障人员接收到短信后第一时间进行处理,从而保证气象服务质量,同时也让微信端的监控实现自动化,节省了人力成本。

9c215bd224a6eb4904d8de719209a02f.pngd4fda5ff504c22ee05e273925541af55.png微信号:amuoqizhan扫码联系作者加入读者交流群-扫码关注我们-9ab7d41a47fe16c4679b0050226f8c8f.png

如果您觉得这篇文章有用或者对你有所启发,欢迎转发。此外,为了和读者朋友深入交流,我组建了“编外气象人”读者交流群,有兴趣可以扫码作者微信,加入读者交流群一起畅聊气象。先到先得,群满为止!

d4fda5ff504c22ee05e273925541af55.pngEND1a6a14d8a1ac7bd8a3e5be6fcfae0e95.gif点击上方“蓝字”,发现更多精彩。



推荐阅读
  • 如何在服务器主机上实现文件共享的方法和工具
    本文介绍了在服务器主机上实现文件共享的方法和工具,包括Linux主机和Windows主机的文件传输方式,Web运维和FTP/SFTP客户端运维两种方式,以及使用WinSCP工具将文件上传至Linux云服务器的操作方法。此外,还介绍了在迁移过程中需要安装迁移Agent并输入目的端服务器所在华为云的AK/SK,以及主机迁移服务会收集的源端服务器信息。 ... [详细]
  • flowable工作流 流程变量_信也科技工作流平台的技术实践
    1背景随着公司业务发展及内部业务流程诉求的增长,目前信息化系统不能够很好满足期望,主要体现如下:目前OA流程引擎无法满足企业特定业务流程需求,且移动端体 ... [详细]
  • ElasticSerach初探第一篇认识ES+环境搭建+简单MySQL数据同步+SpringBoot整合ES
    一、认识ElasticSearch是一个基于Lucene的开源搜索引擎,通过简单的RESTfulAPI来隐藏Lucene的复杂性。全文搜索,分析系统&# ... [详细]
  • 本文介绍了如何使用PHP向系统日历中添加事件的方法,通过使用PHP技术可以实现自动添加事件的功能,从而实现全局通知系统和迅速记录工具的自动化。同时还提到了系统exchange自带的日历具有同步感的特点,以及使用web技术实现自动添加事件的优势。 ... [详细]
  • Nginx使用AWStats日志分析的步骤及注意事项
    本文介绍了在Centos7操作系统上使用Nginx和AWStats进行日志分析的步骤和注意事项。通过AWStats可以统计网站的访问量、IP地址、操作系统、浏览器等信息,并提供精确到每月、每日、每小时的数据。在部署AWStats之前需要确认服务器上已经安装了Perl环境,并进行DNS解析。 ... [详细]
  • 近年来,大数据成为互联网世界的新宠儿,被列入阿里巴巴、谷歌等公司的战略规划中,也在政府报告中频繁提及。据《大数据人才报告》显示,目前全国大数据人才仅46万,未来3-5年将出现高达150万的人才缺口。根据领英报告,数据剖析人才供应指数最低,且跳槽速度最快。中国商业结合会数据剖析专业委员会统计显示,未来中国基础性数据剖析人才缺口将高达1400万。目前BAT企业中,60%以上的招聘职位都是针对大数据人才的。 ... [详细]
  • 数字账号安全与数据资产问题的研究及解决方案
    本文研究了数字账号安全与数据资产问题,并提出了解决方案。近期,大量QQ账号被盗事件引起了广泛关注。欺诈者对数字账号的价值认识超过了账号主人,因此他们不断攻击和盗用账号。然而,平台和账号主人对账号安全问题的态度不正确,只有用户自身意识到问题的严重性并采取行动,才能推动平台优先解决这些问题。本文旨在提醒用户关注账号安全,并呼吁平台承担起更多的责任。令牌云团队对此进行了长期深入的研究,并提出了相应的解决方案。 ... [详细]
  • 企业数据应用挑战及元数据管理的重要性
    本文主要介绍了企业在日常经营管理过程中面临的数据应用挑战,包括数据找不到、数据读不懂、数据不可信等问题。针对这些挑战,通过元数据管理可以实现数据的可见、可懂、可用,帮助业务快速获取所需数据。文章提出了“灵魂”三问——元数据是什么、有什么用、又该怎么管,强调了元数据管理在企业数据治理中的基础和前提作用。 ... [详细]
  • Python爬虫中使用正则表达式的方法和注意事项
    本文介绍了在Python爬虫中使用正则表达式的方法和注意事项。首先解释了爬虫的四个主要步骤,并强调了正则表达式在数据处理中的重要性。然后详细介绍了正则表达式的概念和用法,包括检索、替换和过滤文本的功能。同时提到了re模块是Python内置的用于处理正则表达式的模块,并给出了使用正则表达式时需要注意的特殊字符转义和原始字符串的用法。通过本文的学习,读者可以掌握在Python爬虫中使用正则表达式的技巧和方法。 ... [详细]
  • 2022年的风口:你看不起的行业,真的很挣钱!
    本文介绍了2022年的风口,探讨了一份稳定的副业收入对于普通人增加收入的重要性,以及如何抓住风口来实现赚钱的目标。文章指出,拼命工作并不一定能让人有钱,而是需要顺应时代的方向。 ... [详细]
  • .NetCoreWebApi生成Swagger接口文档的使用方法
    本文介绍了使用.NetCoreWebApi生成Swagger接口文档的方法,并详细说明了Swagger的定义和功能。通过使用Swagger,可以实现接口和服务的可视化,方便测试人员进行接口测试。同时,还提供了Github链接和具体的步骤,包括创建WebApi工程、引入swagger的包、配置XML文档文件和跨域处理。通过本文,读者可以了解到如何使用Swagger生成接口文档,并加深对Swagger的理解。 ... [详细]
  • node.jsurlsearchparamsAPI哎哎哎 ... [详细]
  • Django + Ansible 主机管理(有源码)
    本文给大家介绍如何利用DjangoAnsible进行Web项目管理。Django介绍一个可以使Web开发工作愉快并且高效的Web开发框架,能够以最小的代价构建和维护高 ... [详细]
  • 初学SpringBootch06接口架构风格 RESTful
    ch06-接口架构风格RESTful1.1认识RESTful1.1.1RESTful架构风格1.2RESTful注解1.3RESTful风格的使用1.3.1加入Maven依赖1.3 ... [详细]
  • 本文介绍了Web学习历程记录中关于Tomcat的基本概念和配置。首先解释了Web静态Web资源和动态Web资源的概念,以及C/S架构和B/S架构的区别。然后介绍了常见的Web服务器,包括Weblogic、WebSphere和Tomcat。接着详细讲解了Tomcat的虚拟主机、web应用和虚拟路径映射的概念和配置过程。最后简要介绍了http协议的作用。本文内容详实,适合初学者了解Tomcat的基础知识。 ... [详细]
author-avatar
easonash_949
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有