nginx重启_Grafana+InfluxDB+Jmeter使用Nginx代理搭建可视化性能测试监控平台

文章首发于&＃xff1a;软测小生

前言
在这篇博客文章中&＃xff0c;将分享JMeter > Prometheus(InfluxDB) > Grafana的集成&＃xff0c;以及Nginx端口反向代理各服务的端口。

背景

在JMeter插件库中&＃xff0c;有一些后端监听器可供Kafka、ElasticSearch和Azure使用。默认情况下&＃xff0c;JMeter支持Graphite和InfluxDB。但是Prometheus没有后端监听器。

幸运的是&＃xff0c;找到了这个优秀的开源项目来为Prometheus导出JMeter指标&＃xff0c;感谢Jeff Ohrstrom。

关于集成的流程图如下&＃xff1a;

流程如下&＃xff1a;

如上图所示&＃xff1a; JMeter &＃43; Prometheus(InfluxDB)插件将JMeter指标导出到Prometheus(InfluxDB)数据库. 如果想要将数据可视化&＃xff0c;那就需要在Grafana中配置数据源。
这个插件的主要目的是将结果导出到数据库(Prometheus)。

What is Prometheus?

Prometheus是一个开源的系统监控和报警工具包&＃xff0c;最初是在SoundCloud开发的。
中文名普罗米修斯&＃xff0c;可想而知该工具的意义非凡&＃xff0c;不知道普罗米修斯的自行补课去&＃xff0c;哈哈哈。

What is InfluxDB?

InfluxDB是一个用于存储和分析时间序列数据的开源数据库。

What is Grafana?

Grafana是大多数 数据库的开源分析和监控解决方案

What is JMeter-Prometheus Plugin?

它是一个开源项目&＃xff0c;该插件的工作是将JMeter运行的后的指标数据导出到Prometheus。

先决条件

1、Apache JMeter
2、JMeter-Prometheus Plugin
3、Prometheus
4、InfluxDB
5、Grafana

安装Docker 和 Compose

Aliyun安装docker

坑&＃xff1a;注意阿里云的el7是EL7,切勿看错成数字1

AWS linux安装Docker
安装最新的Docker Community Edition程序包
sudo amazon-linux-extras install docker -y

启动Dockers服务
sudo service docker start

将root添加到docker组&＃xff0c;以便您能够执行Docker命令&＃xff0c;而无需使用sudo&＃xff0c;安装完成之后需要重启ssh session。

启动Docker

安装compose
pip3 install docker-compose

安装JMeter-Prometheus插件

有多种方法可以安装JMeter的插件的jar包。
非常简单的方法是从GitHub上下载最新版jmeter-prometheus-plugin-0.6.0.jar文件&＃xff0c;并将其放在 libext中&＃xff0c;重启Jmeter即可。
在这里下载JMeter-Prometheus插件 &＃xff08;GitHub&＃xff09;
在这里下载JMeter-Prometheus插件 &＃xff08;备用地址&＃xff1a;CSDN资源&＃xff09;

通过在JMeter中创建一个简单的脚本来验证安装&＃xff0c;然后右击Thread Group > Add > Listener > Prometheus Listener&＃xff0c;如下图&＃xff1a;

或者右键点击Thread Group > Add > Config Element > Prometheus Metrics

安装Nginx

nginx安装成功
http://[你的IP地址] #登录到主页查看是否显示正确

配置Nginx.conf

在/etc/nginx目录下配置nginx.conf文件&＃xff0c;如果没有&＃xff0c;直接touch生成一个新文件。
下面是nginx.conf片段代码&＃xff0c;参照更新你的文件即可。

做完以上配置需要重启之后才生效。

nginx -s reload #重启Nginx

docker-compose安装Grafana 、Prometheus(InfluxDB)

文件结构如下&＃xff1a;

在这里的docker-compose文件里面包含了Prometheus和InfluxDB&＃xff0c;是为了学习和测试两者的区别&＃xff0c;在实际使用时选你需要的安装更改下面的yaml文件内容。

docker-compose.yml如下&＃xff1a;

上述的docker-compose.yml需要注意的点是prometheus部分的command&＃xff0c;意思是添加子路径&＃xff0c;与下文中那个的Grafana添加子路径同理&＃xff0c;否则即便设置了Nginx也同样无法访问主页&＃xff0c;会报异常。

.env内容如下&＃xff1a;

运行compose命令并安装

docker-compose -f docker-compose.yml up -d

配置Grafana

进入/etc/grafana/grafana.ini 并编辑 grafana.ini设置子路径

更改如下&＃xff1a;

做以上配置之后才能够使用http://localhost:3000/grafana来访问主页。

配置Prometheus

注意上文中提到compose ymal文件中的prometheus部分的Command即可。

打开Prometheus

现在启动prometheus对应的容器&＃xff0c;打开http://localhost:9090/graph (Nginx:http://localhost/promethers )如下所示&＃xff1a;

运行 JMeter 测试 (Prometheus)

启动Prometheus之后&＃xff0c;该验证JMeter测试计划了。
用几个线程配置你的线程组&＃xff0c;并点击无限循环运行。

运行JMeter之后打开链接&＃xff1a;http://localhost:9270/metrics 将看到信息显示如下。
如果你看到下面的指标数据&＃xff0c;说明一切运行正常。

在Prometheus中查看JMeter指标

http://localhost/prometheus (如果使用了Nginx端口代理)
http://localhost:9090 (默认访问链接&＃xff0c;没有使用Nginx代理)

如上述指标截图显示&＃xff0c;我们将看到如何在Prometheus中查看指标。只需复制jvm_classes_loaded并将其粘贴到查询文本框中&＃xff0c;然后按Enter&＃xff0c;就可以看到如下图的值了&＃xff1a;

单击Graph选项卡查看可视化结果。也可以自定义想要的可视化方式。下图显示了每个事务的95%响应时间。

Grafana &＃43; Prometheus &＃43; Jmeter配置

如果你不想集成到Grafana&＃xff0c;那可以到此为止了。
但是Grafana比Prometheus可视化特征更强大。
接下来配置Grafana从Prometheus获取指标数据&＃xff0c;并创建优雅的可视化视图。

通过http://localhost:3000启动Grafana&＃xff0c;首次登录&＃xff0c;需要更改密码。

http://localhost/grafana (如果设置了Nginx端口代理)
将鼠标悬停在 设置 图标上&＃xff0c;然后单击如下所示的数据源-Data Sources。

单击Add data source&＃xff0c;如下所示&＃xff1a;

填写如下所示的详细信息并点击Save & Test&＃xff1a;
URL处填写Prometheus的地址。

验证Grafana中的Prometheus数据来源
将鼠标悬停在“探索–Explore”图标上&＃xff0c;然后单击它。

输入*jmeter_threads{}*并点击进入查询文本框。如果配置正确&＃xff0c;将看到图形。
请注意&＃xff0c;你的JMeter测试仍然在运行&＃xff0c;如果停止&＃xff0c;需要更改右上角的时间选择器中的值。

创建Grafana仪表盘并配置 &＃xff08;Prometheus&＃xff09;

将鼠标悬停在“&＃43;”图标上&＃xff0c;然后单击Dashboard

单击“添加查询–Add Query”按钮

将查询下拉改为Prometheus&＃xff0c;如下所示

输入查询 jmeter_summary{quantile&＃61;“0.95”}&＃xff0c;然后回车。
你也可以根据需要自定义图形。

这是个简单的仪表盘 例子。

Grafana &＃43; InfluxDB &＃43; Jmeter配置&＃xff1a;

新建DB &＃xff08;InfluxDB&＃xff09;

进入容器&＃xff1a;docker exec -it 容器ID /bin/bash
创建数据库jmeterDB&＃xff1a; create database jmeterDB

influxdb容器运行成功后&＃xff0c;通过Web浏览器访问http://docker-host-ip:8083访问influxdb后台管理&＃xff0c;并登录后台管理系统(默认用户名&＃xff1a;root, 默认密码&＃xff1a;root)

连接influxdb一般用InfluxDB studio

创建Grafana仪表盘并配置 &＃xff08;InfluxDB&＃xff09;

接下来就是使用http://IPAddress:3000去登陆grafana并进行配置了

http://ip/grafana (如果使用Nginx代理)

初始密码为&＃xff1a;admin/admin&＃xff0c;也可在上述的.env文件中进行设置。
首次登陆grafana会要求设置新密码

登陆到grafana主页之后&＃xff0c;创建新的Data Source&＃xff1a;

配置Database&＃xff0c;选择InfluxDB&＃xff1a;

填入你的IP地址http://*.*.*.*:8086 (http://*.*.*.*/influxdb #如果使用了Nginx端口代理)

输入InfluxDB信息&＃xff0c;如果没做更改的话user和pwd都是默认的root, 为了安全自行修改。

Grafana Dashboards导入InfluxDB Jmeter模板

到Dashboards去下载&＃xff1a; https://grafana.com/grafana/dashboards

或者直接访问&＃xff1a;https://grafana.com/grafana/dashboards/5496
复制该模板的ID 或者URL

到我们登陆的Grafana主页去粘贴即可&＃xff0c;如下图

然后可以进行命名&＃xff0c;填入之前建好的DataSource 名字&＃xff0c;设置发送时间&＃xff0c;保存即可。

然后转到刚刚建好的主页&＃xff0c;如下图&＃xff0c;右上角可以设置&＃xff1a;

设置界面&＃xff0c;可更具你的需要进行设置&＃xff0c;比如下面两个点分别是设置时间显示和刷新频率。

接下来就准备运行Jmeter &＃xff0c;生成数据&＃xff0c;看看效果。
挑选了一个URL&＃xff0c;对其进行简单的运行并返回数据。https://mp.weixin.qq.com/s/pzsE326aPk-4iPhfBC52sQ

其结果如下&＃xff1a;

摘自作者之一说明&＃xff1a;

插件的另一点是&＃xff0c;它不需要向JMeter控制器发送指标来聚合结果&＃xff0c;因为这是由Prometheus本身完成的。

总结&＃xff1a;

现在&＃xff0c;您已经成功地将JMeter与Prometheus和Grafana集成在一起了。如果喜欢Prometheus的可视化&＃xff0c;不需要配置Grafana。
但是Grafana具有比Prometheus更强大的可视化功能。
你需要在运行JMeter的任何地方安装JMeter-Prometheus插件&＃xff0c;并将数据流简化到集中的Prometheus数据库中&＃xff0c;这将帮助你监视运行时指标。

你需要在Grafana中仔细地编写查询&＃xff0c;否则最终会看到错误的指标数据。

附录&＃xff1a;

另外再介绍一下使用Docker逐步安装Grafana/ Prometheus /InfluxDB

Docker 安装 Prometheus

安装Prometheus非常简单。下载适用于您的操作系统的Prometheus并解压缩内容并准备就绪。
稍后&＃xff0c;我们将启动Prometheus。
搜索Prometheus&＃xff1a;docker search Prometheus
拉取Prometheus镜像&＃xff1a;docker pull prom/prometheus
查看镜像Images&＃xff1a; docker images
运行Prometheus容器&＃xff1a;docker run --name my_PrometheusName -p 9090:9090 Prometheus
查看运行的容器Container&＃xff1a;docker ps -a
进入容器&＃xff1a;docker exec -it 容器ID /bin/bash
创建数据库jmeterDB&＃xff1a; create database jmeterDB

Docker安装 InfluxDB

搜索influx&＃xff1a;docker search influx
拉取influxdb镜像&＃xff1a;docker pull influxdb
查看镜像Images&＃xff1a; docker images
运行influxdb容器&＃xff1a;docker run --name my_influxdbName -p 8086:8086 influxdb
查看运行的容器Container&＃xff1a;docker ps -a

Docker安装 Grafana

搜索grafana&＃xff1a;docker search grafana
拉取grafana镜像&＃xff1a;docker pull grafana/grafana
运行容器&＃xff1a;docker run --name my_grafana -p 3000:3000 grafana/grafana
然后查看状态
docker ps -a 查看当前运行的实例
退出来再次启动即可
docker start ContainerID