jmeter核心_如何使用AWSEC2+Docker+JMeter构建分布式负载测试基础架构

本文介绍有关如何使用AWS EC2&＃43;Docker&＃43;JMeter创建分布式负载测试基础架构。
完成所有步骤后&＃xff0c;得到的基础结构如下:

题外话&＃xff1a;其实使用EC2最终还是基于Linux系统进行搭建&＃xff0c;所以本文的核心其实就是Linux&＃43;Docker&＃43;Jmeter

在Part 1中&＃xff0c;我们将按照所需的步骤进行操作&＃xff0c;以创建适合你需求的自定义JMeter Dockerfiles和映像。
然后&＃xff0c;在Part 2中&＃xff0c;我们将在AWS EC2设置中使用这些元素。
接下来开始第一步&＃xff1a;

前提条件

为了能够顺利的逐步进行配置和操作&＃xff0c;你需要上述每个系统(EC2&＃xff0c;Docker和JMeter)的一些基本知识。
此外&＃xff0c;还需要一个活动的AWS账户才能执行所有步骤。

Part 1: Local setup—本地配置

Step 1: 从Dockerfile创建映像

dockerfile是开始使用docker所需的基本元素或“ cookbook”&＃xff0c;因此我们将从此开始。
我们需要建立2层:
1、一是基础层&＃xff0c;该层创建运行JMeter实例所需的基本设置&＃xff1b;
2、二是逻辑层&＃xff0c;它是一个JMeter实例&＃xff0c;可以是主节点或从节点&＃xff1b;

JMeter base映像的Dockerfile和entrypoint.sh脚本如下所示&＃xff1a;Dockerfile:

1# Use Java 11 JDK Oracle Linux
2FROM openjdk:11-jdk-oracle
3MAINTAINER Dragos
4# Set the JMeter version you want to use
5ARG JMETER_VERSION&＃61;"5.1.1"
6# Set JMeter related environment variables
7ENV JMETER_HOME /opt/apache-jmeter-${JMETER_VERSION}
8ENV JMETER_BIN ${JMETER_HOME}/bin
9ENV JMETER_DOWNLOAD_URL https://archive.apache.org/dist/jmeter/binaries/apache-jmeter-${JMETER_VERSION}.tgz
10# Set default values for allocation of system resources (memory) which will be used by JMeter
11ENV Xms 256m
12ENV Xmx 512m
13ENV MaxMetaspaceSize 1024m
14# Change timezone to local time
15ENV TZ&＃61;"Europe/Bucharest"
16RUN export TZ&＃61;$TZ
17# Install jmeter
18RUN yum -y install curl \
19&& mkdir -p /tmp/dependencies \
20&& curl -L --silent ${JMETER_DOWNLOAD_URL} >  /tmp/dependencies/apache-jmeter-${JMETER_VERSION}.tgz \
21&& mkdir -p /opt \
22&& tar -xzf /tmp/dependencies/apache-jmeter-${JMETER_VERSION}.tgz -C /opt \
23&& rm -rf /tmp/dependencies
24# Set JMeter home
25ENV PATH $PATH:$JMETER_BIN
26# copy our entrypoint
27COPY entrypoint.sh /
28RUN chmod &＃43;x ./entrypoint.sh
29# Run command to allocate the default system resources to JMeter at &＃39;docker run&＃39;
30ENTRYPOINT ["/entrypoint.sh"


Entrypoint.sh:

1#!/bin/bash
2# Run command to allocate the default or custom system resources (memory) to JMeter at &＃39;docker run&＃39;
3sed -i &＃39;s/\("${HEAP:&＃61;"\)\(.*\)\("}"\)/\1-Xms&＃39;${Xms}&＃39; -Xmx&＃39;${Xmx}&＃39; -XX:MaxMetaspaceSize&＃61;&＃39;${MaxMetaspaceSize}&＃39;\3/&＃39; ${JMETER_BIN}/jmeter
4exec "$&＃64;"


在基础层之上&＃xff0c;可以创建一个Master层和一个Slave层。这些Dockerfile可以根据你的特定要求进行自定义。
现在让我们看一下我们的逻辑层&＃xff1a;Master层的Dockerfile&＃xff1a;

1# Use my custom base image defined above
2FROM dragoscampean/testrepo:jmetrubase
3MAINTAINER Dragos
4# Expose port for JMeter Master
5EXPOSE 60000


Slave层的Dockerfile:

1# Use my custom base image defined above
2FROM dragoscampean/testrepo:jmetrubase
3MAINTAINER Dragos
4# Expose ports for JMeter Slave
5EXPOSE 1099 50000
6COPY entrypoint.sh /
7RUN chmod &＃43;x ./entrypoint.sh
8# Run command to allocate the default system resources to JMeter at &＃39;docker run&＃39; and start jmeter-server with all required parameters
9ENTRYPOINT ["/entrypoint.sh"]


Slave层的Entrypoint.sh:

1#!/bin/bash
2# Run command to allocate the default system resources to JMeter at &＃39;docker run&＃39;
3sed -i &＃39;s/\("${HEAP:&＃61;"\)\(.*\)\("}"\)/\1-Xms&＃39;${Xms}&＃39; -Xmx&＃39;${Xmx}&＃39; -XX:MaxMetaspaceSize&＃61;&＃39;${MaxMetaspaceSize}&＃39;\3/&＃39; ${JMETER_BIN}/jmeter &&
4$JMETER_HOME/bin/jmeter-server \
5-Dserver.rmi.localport&＃61;50000 \
6-Dserver_port&＃61;1099 \
7-Dserver.rmi.ssl.disable&＃61;true \
8-Djava.rmi.server.hostname&＃61;$HostIP
9exec "$&＃64;"


我们不会详细讨论dockerfiles中的所有内容的含义&＃xff0c;在网上有很多这样的文档。不过值得一提的是与Dockerfiles绑定在一起的entrypoint shell脚本。

docker entrypoints的作用是在运行时将数据初始化或者配置到容器中。在我们的例子中&＃xff0c;我们需要它们来指定JMeter允许使用多少内存&＃xff0c;并使用一些自定义配置来启动JMeter服务器&＃xff0c;这些配置是基础设施工作所必需的。这将在“Step 2”部分中举例说明。

现在&＃xff0c;让我们看一下创建Docker映像所需的命令。顺便说一下&＃xff0c;Docker图像表示一组很好地集成在一起的层&＃xff0c;是我们需要的环境的稳定快照。
从这样一个映像开始&＃xff0c;我们可以生成N个容器&＃xff0c;这正是我们在这个特定场景中所需要的&＃xff0c;这取决于我们想要模拟的负载。

创建一个简单的docker映像的命令:docker build /path/to/dockerfile

为docker映像创建一个标签:docker tag imageId username/reponame:imageTag

同时创建docker映像和标签&＃xff1a;docker build -t username/reponame:imageTag /path/to/dockerfile

Step 2: 从一个映像创建一个容器

现在我们已经准备好映像&＃xff0c;可以开始从中创建容器&＃xff0c;在其中可以实际运行性能测试脚本。创建一个新的容器:sudo docker run -dit --name containername repository:tag or imageId /bin/bash

启动/停止容器&＃xff1a;docker start containerIddocker stop containerId

访问正在运行的容器&＃xff1a;docker exec -it containerId or containerName /bin/bash

到目前为止&＃xff0c;如果你一直使用类似于Step 1中提供的Dockerfile&＃xff0c;那么您应该拥有一个完全可用的Java &＃43; JMeter容器。你可以通过检查工具版本来测试它&＃xff0c;看看是否有任何错误&＃xff0c;甚至可以尝试运行你计划在AWS中扩展的脚本(所有这些都应该在运行的容器中完成):Jmeter -vJava -versionJmeter -n -t -J numberOfThreads&＃61;1 /path/to/script.jmx -l /path/to/logfile.jtl

Step 3: 将映像Push/Pull到Dockerhub或任何私有的Docker仓库(docker登录CLI后)

测试创建的图像是否符合要求的标准(容器内的所有内容),通常&＃xff0c;最好将此图像保存到存储库中。然后&＃xff0c;你可以在后续随时从那里提取它&＃xff0c;而不必每次都从Dockerfile构建它。

Push映像到dockerhub&＃xff1a;docker push username/reponame:imageTag

从dockerhub中Pull已存在的映像(例如jdk映像)&＃xff1a;docker pull openjdk:version

到此为止&＃xff0c;这意味着您已经为cloud setup准备好了一组功能强大的JMeter从属映像和主映像。

Part 2: Cloud端基础架构——Infrastructure

可以使用EC2免费层实例&＃xff0c;最多750小时/月&＃xff0c;持续1年&＃xff0c;因此有很多时间进行试验。注意&＃xff1a;对于下面提供的示例&＃xff0c;我使用了Ubuntu Server 18.04 LTS实例&＃xff0c;因此提供的命令可能无法在其他Linux发行版上使用。

Step 4: 创建安全组——Security Group

使容器内的JMeter实例(master实例或slave实例)能够通信&＃xff0c;自定义安全组已定义并将其附加到每个主机&＃xff1a;

入站规则(Inbound rules)&＃xff1a;

Step 5: 创建一个IAM策略(可选)

假设您只需要一个由1个JMeter主节点和2个从节点组成的基础架构。在这种情况下&＃xff0c;访问每个实例并对其进行配置(安装docker &＃43;启动容器)相对容易。

但是&＃xff0c;如果需要处理的实例超过3个&＃xff0c;会发生什么情况呢?

手动逐个配置变得极其乏味&＃xff0c;手动并不是一个好主意。
这时&＃xff0c;你将需要一个系统&＃xff0c;能够管理你正在使用的大量容器。一些著名的工具&＃xff0c;如谷歌的Kubernetes&＃xff0c;或者Rancher等工具。

由于当前使用的是AWS&＃xff0c;因此这两种解决方案似乎过于庞大了&＃xff0c;因为亚马逊针对这一点提供了一个开箱即用的解决方案&＃xff1a;
“Run Command”功能使我们可以同时在多个EC2实例上执行Shell脚本。因此&＃xff0c;我们不必访问每个实例&＃xff0c;安装docker并一次一个实例地启动容器。

能够通过“Run Command”功能在EC2实例上执行命令的唯一要求是&＃xff0c;适当的IAM角色已与该实例相关联。我将IAM策略命名为“ EC2Command”&＃xff0c;并为每个新创建的实例选择了该策略(但是稍后可以通过“attach/replace role”功能将该角色分配给该实例)&＃xff1a;

Step 6: 在测试机器上安装Docker

现在&＃xff0c;你需要在EC2主机上安装docker&＃xff0c;以便可以启动容器并将它们连接在一起以进行分布式负载测试。直接使用命令(直接在Ubuntu上的实例终端中执行)&＃xff1a;

1sudo apt-get install  curl  apt-transport-https ca-certificates software-properties-common \
2&& curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add \
3&& sudo add-apt-repository "deb [arch&＃61;amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" \
4&& sudo apt-get update \
5&& sudo apt-get install -y docker-ce \
6&& sudo usermod -aG docker $USER \
7&& sudo curl -L "https://github.com/docker/compose/releases/download/1.23.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose \
8&& sudo chmod &＃43;x /usr/local/bin/docker-compose \
9&& sudo ln -s /usr/local/bin/docker-compose /usr/bin/docker-compose


通过“Run command”执行的Shell脚本&＃xff1a;

1#!/bin/bash
2sudo apt-get install  curl  apt-transport-https ca-certificates software-properties-common
3curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add
4sudo add-apt-repository "deb [arch&＃61;amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"
5sudo apt-get update
6sudo apt-get install -y docker-ce
7USER_DOCKER&＃61;$(getent passwd {1000..60000} | grep "/bin/bash" | awk -F: &＃39;{ print $1}&＃39;)
8sudo usermod -aG docker $USER_DOCKER


理想情况下&＃xff0c;您将在多个EC2实例上运行第二个脚本&＃xff0c;之后它们都将具有可用的Docker版本。
下一步是配置主节点和从属节点&＃xff1a;

Step 7: 配置主节点——Master Node

在某些情况下&＃xff0c;你甚至不需要多个从属节点来分布式运行测试&＃xff0c;比如&＃xff0c;当你有一台功能强大的主机并且该计算机能够生成目标的负载量时&＃xff0c;对于这种特定情况&＃xff0c;不需要Step 8和Step 9。对于这种情况&＃xff0c;你甚至不想使用容器并直接在主机上安装JMeter。

但是&＃xff0c;假设你确实需要一个Master &＃43; Slaves系统&＃xff0c;然后继续启动Master容器&＃xff1a;直接使用命令(直接在Ubuntu上的实例终端中执行)&＃xff1a;

1HostIP&＃61;$(ip route show | awk &＃39;/default/ {print $9}&＃39;) \
2&& docker pull dragoscampean/testrepo:jmetrumaster \
3&& docker run -dit --name master --network host -e HostIP&＃61;$HostIP -e Xms&＃61;256m -e Xmx&＃61;512m -e MaxMetaspaceSize&＃61;512m -v /opt/Sharedvolume:/opt/Sharedvolume dragoscampean/testrepo:jmetrumaster /bin/bash


通过“Run command”执行的Shell脚本&＃xff1a;

1#!/bin/bash
2HostIP&＃61;$(ip route show | awk &＃39;/default/ {print $9}&＃39;)
3docker pull dragoscampean/testrepo:jmetrumaster
4docker run -dit --name master --network host -e HostIP&＃61;$HostIP -e Xms&＃61;256m -e Xmx&＃61;512m -e MaxMetaspaceSize&＃61;512m -v /opt/Sharedvolume:/opt/Sharedvolume dragoscampean/testrepo:jmetrumaster /bin/bash


脚本的第一行将机器的私有IP存储在变量“HostIP”中。主的HostIP不用于任何目的&＃xff0c;仅使用从属节点的HostIP。我们将在Step 9看到具体要做什么。现在&＃xff0c;请记住&＃xff0c;你可以快速访问每个容器中主机的专用IP地址。

第二行很简单&＃xff0c;只是从适当的仓库中获取图像。

最后一行创建我们将要使用的容器。此命令中有一些要点&＃xff1a;
1、&＃39;--network host &＃39;命令启用主机连网&＃xff0c;这意味着容器内的应用程序(JMeter)&＃xff0c;将在‘entrypoint.sh’脚本公开的端口上可用。如果没有它&＃xff0c;我就无法进行设置。问题是&＃xff0c;即使脚本是在从节点上执行的&＃xff0c;由于错误(java.rmi.ConnectException: Connection refused to host:masterPrivateIP)&＃xff0c;主节点上也没有聚集任何结果。注意&＃xff0c;我在较老版本的JMeter(如3.x.x)中没有遇到这个问题

2、‘- e Xms&＃61;256m -e Xmx&＃61;512m -e MaxMetaspaceSize&＃61;512m’ 是Xms和Xmx的参数化&＃xff0c;MaxMetaspaceSize决定了允许使用JMeter的内存量。这是通过首先在容器内设置一些环境变量来完成的。然后&＃xff0c;在“ entrypoint.sh”脚本中运行命令&＃xff0c;将更改JMeter的“ / bin”文件夹中的“JMeter”文件。如果未指定这些值&＃xff0c;则使用默认值。

要进一步了解这些变量代表什么以及如何设置它们&＃xff0c;请阅读以下内容&＃xff1a;
Xmx计算如下&＃xff1a;系统总内存-(OS使用的内存&＃43; JVM使用的内存&＃43;在计算机上运行所需的任何其他脚本)
如果您有一台专用的测试机器&＃xff0c;为避免在测试运行时重新分配Xms&＃xff0c;请从一开始就设置Xms &＃61; Xmx。

MaxMetaspaceSize跟踪所有加载的类元数据和静态内容(静态方法&＃xff0c;原始变量和对象引用)

例如&＃xff1a;
一台专用机器上64 GB RAMXmx &＃61; 56GXms &＃61; 56GMaxMetaspaceSize &＃61; 4096 MB
这为操作系统和其他进程留下了将近4GB的空间&＃xff0c;这绰绰有余。

3、-v /opt/Sharedvolume:/opt/Sharedvolume userName/repoName:imageTag 该命令只是将主机上的文件夹映射到容器内的文件夹&＃xff0c;你将在其中保存脚本文件和生成的日志。我们将不做进一步详细介绍&＃xff0c;但是如果您想了解有关卷映射的更多信息&＃xff0c;请参阅本文和迷你教程。

Step 8: 配置从节点——Slave Nodes

“ HostIP”变量仅在“entrypoint.sh”脚本中用于此处&＃xff0c;以启用从master服务器到slave服务器的远程访问(“-Djava.rmi。server.hostname &＃61; $ HostIP”)。直接使用命令(直接在Ubuntu上的实例终端中执行)&＃xff1a;

1HostIP&＃61;$(ip route show | awk &＃39;/default/ {print $9}&＃39;) \
2&& docker pull dragoscampean/testrepo:jmetruslave \
3&& docker run -dit --name slave --network host -e HostIP&＃61;$HostIP -e HostIP&＃61;$HostIP -e Xms&＃61;256m -e Xmx&＃61;512m -e MaxMetaspaceSize&＃61;512m dragoscampean/testrepo:jmetruslave /bin/bash


通过“Run command”执行的Shell脚本&＃xff1a;

1#!/bin/bash
2HostIP&＃61;$(ip route show | awk &＃39;/default/ {print $9}&＃39;)
3docker pull dragoscampean/testrepo:jmetruslave
4docker run -dit --name slave --network host -e HostIP&＃61;$HostIP -e Xms&＃61;256m -e Xmx&＃61;512m -e MaxMetaspaceSize&＃61;512m dragoscampean/testrepo:jmetruslave /bin/bash


Step 9: 分布式模式下运行脚本

到此&＃xff0c;准备就绪&＃xff0c;可以开始运行测试了。这是我们需要在master主节点上运行以开始运行分布式测试的命令&＃xff1a;

1jmeter -n -t /path/to/scriptFile.jmx -Dserver.rmi.ssl.disable&＃61;true -R host1PrivateIP, host2PrivateIP,..., hostNPrivateIP -l /path/to/logfile.jtl


总结:

按照上面的操作步骤&＃xff0c;可以实现AWS EC2&＃43;Jmeter&＃43;Docker的分布式性能测试&＃xff0c;可能会遇到一些问题&＃xff0c;完全没问题那是不可能的。
比如&＃xff1a;
该文提到了一个EC2实例中有太多Websocket连接时可能遇到的问题。
另一个例子是我的一位同事在对Apache服务器进行负载测试时遇到的情况&＃xff0c;他会在JMeter中遇到各种连接错误&＃xff0c;我们最初认为这是来自被测试的服务器。解决这个问题的方法来自这篇简短的文章。

我在一个项目中偶然发现的一个问题是&＃xff0c;在尝试从一台计算机执行大约20000个线程时&＃xff0c;进行了一些数据驱动的测试。如果在Linux / MacOS终端中键入“ ulimit -a”&＃xff0c;则会看到名为“ open files”的行。问题在于该属性在测试计算机上设置为1024。使用JMeter运行数据驱动的测试时&＃xff0c;此工具将为每个启动的线程打开.csv文件或描述符&＃xff0c;一旦并行线程数超过1024&＃xff0c;我将收到错误消息。解决方案&＃xff1a; 是从&＃39;/etc/security/limits&＃39;文件中编辑&＃39;open files&＃39;的最大值&＃xff0c;并设置为&＃39;unlimited&＃39;。

文章合集

Selenium | Appium  | Jenkins  |  Jmeter 

软件测试方法汇总 | Postman接口参数化 | 测试用例设计

免费福利 视频教程

Selenium | Appium | Jenkins | Jmeter

大厂的Java面试题&＃xff0c;你遇到过吗&＃xff1f;你会吗&＃xff1f;《Python自动化测试实战》留言主题&＃xff1a;

你都使用什么工具做API接口测试呢&＃xff1f;可在本文留言
也可到上面直通车文章中留言