jmeter进程和线程的区别_ApacheBench压测以及和Jmeter对比

Author: Rethink

Date: 2018/12/07

ApacheBench Version 2.3

Apache Bench(简称为ab)是 Apache 提供用于对Apache http server进行基准测试的工具。但是由于其安装和使用简单&＃xff0c;所以也可以用于对HTTP接口的压力测试和性能测试。ab是一个命令行工具&＃xff0c;使用ab命令可以模拟多线程并发请求&＃xff0c;并且对负载机的要求很低&＃xff0c;既不会占用很高CPU&＃xff0c;也不会占用很多内存&＃xff0c;但却会给目标服务器造成巨大的负载&＃xff0c;其原理类似DDOS/CC攻击。

ab可以提供需要的基本性能指标&＃xff1b;但是缺点就是没有图形化结果&＃xff0c;不能监控。Tips:在带宽不足的情况下&＃xff0c;最好是本机进行测试&＃xff0c;建议使用内网的另一台或者多台服务器通过内网进行测试&＃xff0c;这样得出的数据&＃xff0c;准确度会高很多。远程对web服务器进行压力测试&＃xff0c;往往效果不理想(因为网络延时过大或带宽不足)

安装

Apache本身会自带ab&＃xff0c;如果没有安装Apache&＃xff0c;以下方法可以用来便捷的安装ab工具&＃xff1a;Ubuntu

apt-cache install apache2-util

CentOS

yum install httpd-toolsMacOS

系统自带apache&＃xff0c;查看版本信息&＃xff1a;$ apachectl -v

Server version: Apache/2.4.33 (Unix)

Server built:   Apr  3 2018 17:54:07$ ab -V

This is ApacheBench, Version 2.3 

Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/Licensed to The Apache Software Foundation, http://www.apache.org/Windows

Windows下可以在官网下载最新版本 &＃xff0c;然后按照引导安装即可。

image

使用以上方法安装完成后&＃xff0c;在已添加环境变量的情况下&＃xff0c;可以直接使用ab -V 检查是否安装成功。>ab -V

This is ApacheBench, Version 2.3 

Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/Licensed to The Apache Software Foundation, http://www.apache.org/

使用

Optionsab -h

Options are:

-V              显示版本号并退出

-n requests     总请求数,默认值为1

-c concurrency  并发请求数&＃xff0c;默认值为1,其值不能超过总请求数。建议是可以被总请求数整除&＃xff0c;如 -n 100 –c 10模拟10个并发&＃xff0c;每个并发10个请求。

-t timelimit    测试所用的时间上限(单位为秒)&＃xff0c;它可以使对服务器的测试限制在一个固定的总时间以内&＃xff0c;其内部隐含的默认值等于 -n 50000

-s timeout      每次响应的最大等待时间(单位为秒)&＃xff0c;默认值为30s.注意s是小写的

-p postfile     用于存放发起post请求时的数据的文件地址&＃xff0c;不要忘记设置请求头。文件内容的格式要视请求头决定。

-T content-type POST请求所使用的Content-type头信息&＃xff0c;如 -T “application/x-www-form-urlencoded” &＃xff0c;默认值为“text/plain”

-H attribute  添加头部Header&＃xff0c;需要注意custome-header的格式为 key:value&＃xff0c;eg. User-Agent: ApacheBench/2.3&＃39;, 这也是ab的默认值User-Agent

-C attribute  对请求附加COOKIE,格式为 key&＃61;value ,注意和-H区分&＃xff01;

-m method    设置请求方法

-v verbosity  显示调试信息&＃xff0c;verbosity为数字&＃xff0c;可以看做是输出信息的级别。3或更大值可以显示响应代码(404, 200等), 2或更大值可以显示警告和其他信息。

-X proxy:port  设置代理地址以及端口信息

-w             以HTML表的格式输出结果。

-r          抛出异常继续执行测试任务

-i             使用HEAD请求代替GET

-b windowsize   Size of TCP send/receive buffer, in bytes

-B address      Address to bind to when making outgoing connections

-u putfile      File containing data to PUT. Remember also to set -T

-x attributes   String to insert as table attributes

-y attributes   String to insert as tr attributes

-z attributes   String to insert as td or th attributes

-A attribute    Add Basic WWW Authentication, the attributes

are a colon separated username and password.

-P attribute    Add Basic Proxy Authentication, the attributes

are a colon separated username and password.

-k              Use HTTP KeepAlive feature

-d              Do not show percentiles served table.

-S              Do not show confidence estimators and warnings.

-q              Do not show progress when doing more than 150 requests

-l              Accept variable document length (use this for dynamic pages)

-g filename     Output collected data to gnuplot format file.

-e filename     Output CSV file with percentages served

-h              Display usage information (this message)

Usage> ab -n 10 -c 10 http://cnblogs.com/# Get请求&＃xff0c;要注意“&”是ab的保留运算符&＃xff0c;使用时要用双引号引起来> ab -n 10 -c 10 http://httpbin.org/get?name&＃61;rethink"&"age&＃61;3# Post请求&＃xff0c;post_data文件中的内容要和所指定的Content-Type对应(默认text/plain)> ab -n 10 -c 10 -p E:\post_data1.txt -T application/x-www-form-urlencoded http://httpbin.org/post> ab -n 10 -c 10 -p E:\post_data2.txt -T application/json http://httpbin.org/post# post_data1中的数据为&＃xff1a;name&＃61;rethink&age&＃61;3&method&＃61;post# post_data1中的数据为&＃xff1a;{"name":"Rethink","method":"post","age":3}# 使用&＃96;-w&＃96;参数将结果以HTML的格式输出&＃xff0c;然后将结果写入到本地文件中&＃xff1a;>  ab -n 2 -c 2 -v 2 -w  http://httpbin.org/get?name&＃61;rethink"&"age&＃61;3 > E:\report.html

注意事项&＃xff1a;result.html中会打印每次请求的请求头信息&＃xff0c;请求总数较大时&＃xff0c;重定向结果输出时可以不指定-v参数&＃xff1b;

使用-H Content-Type:application/json不能代替-T "application/json"&＃xff0c; 使用前者服务器可能会返回400 bad requests;

不支持发送https请求&＃xff1b;

postfile注意使用正确的编码格式&＃xff0c;否则请求参数服务器端可能无法识别&＃xff1b;

调试请求时&＃xff0c;对接口返回的中文字符的支持不友好&＃xff0c;会显示乱码&＃xff1b;

结果分析

从上面可以看到ab支持参数很多&＃xff0c;但一般来说只有-c 和-n 参数是必要的&＃xff0c;例如:>PS > ab -n 10 -c 10  http://httpbin.org/get?name&＃61;rethink"&"age&＃61;3

This is ApacheBench, Version 2.3 

Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/

Licensed to The Apache Software Foundation, http://www.apache.org/

Benchmarking cnblogs.com (be patient).....doneServer Software:  gunicorn/19.9.0 服务器类型

Server Hostname:        httpbin.org  域名

Server Port:            80  web端口

Document Path:          /get?name&＃61;rethink&age&＃61;3  测试的页面路径

Document Length:        280 bytes  测试的页面大小

Concurrency Level:      10  测试的并发数

Time taken for tests:   2.629 seconds  整个测试活动持续的时间

Complete requests:      10  完成的请求数量(只包含状态码&＃61;&＃61;200的请求)

Failed requests:        0  失败的请求数量(包含状态码!&＃61;200的请求和超时的请求)

Non-2xx responses:      10     状态码不等于2xx的响应数

Total transferred:      5210 bytes  整个过程中的网络传输量

HTML transferred:       2800 bytes  整个过程中的HTML内容传输量

Requests per second:    3.80 [/sec] (mean)  每秒的响应请求数(QPS)&＃xff0c;数值等于 请求总数(-n)/Time taken for tests&＃xff0c;后面括号中的mean表示这是一个平均值

Time per request:       2629.486 [ms] (mean)    用户平均请求等待时间&＃61;concurrency * timetaken * 1000 / doneTime per request:       12.893 [ms] (mean, across all concurrent requests)  每个连接请求实际运行时间的平均值

Transfer rate:          25.15 [Kbytes/sec] received  传输速率

Connection Times (ms)

min  mean[&＃43;/-sd] median   max

Connect:      210  216   6.1    216     229

Processing:   229 1022 658.7   1081    2181

Waiting:      229  827 558.2    866    1731

Total:        445 1238 659.4   1291    2399

Percentage of the requests served within a certain time (ms)

50%   1291  整体响应时间的分布比

66%   1507

75%   1731

80%   1949

90%   2399  表示90%的请求在1291ms内得到响应

95%   2399

98%   2399

99%   2399

100%   2399 (longest request)

AB 和 JMETER 比较

下面分别用ab和jmeter压测一个Get请求&＃xff0c;然后通过对比效果&＃xff0c;来简单分析二者的异同。ab

在ab命令行中设置10个并发&＃xff0c;持续60s&＃xff0c;结果如下&＃xff1a;PS> ab -c 10 -t 60  http://httpbin.org/get?name&＃61;Rethink"&"date&＃61;20181207"&"method&＃61;getThis is ApacheBench, Version 2.3 

Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/Licensed to The Apache Software Foundation, http://www.apache.org/Benchmarking httpbin.org (be patient)

Finished 1386 requests

Server Software:        gunicorn/19.9.0Server Hostname:        httpbin.org

Server Port:            80Document Path:          /get?name&＃61;Rethink&date&＃61;20181207&method&＃61;get

Document Length:        330 bytes

Concurrency Level:      10Time taken for tests:   60.050 seconds

Complete requests:      1332Failed requests:        0Total transferred:      760572 bytes

HTML transferred:       439560 bytes

Requests per second:    22.18 [#/sec] (mean)Time per request:       450.828 [ms] (mean)

Time per request:       45.083 [ms] (mean, across all concurrent requests)

Transfer rate:          12.37 [Kbytes/sec] received

Connection Times (ms)

min  mean[&＃43;/-sd] median   max

Connect:      189  219 139.5    200    2245Processing:   196  227  89.5    212    1573Waiting:      196  226  89.1    212    1573Total:        387  446 174.6    414    2551Percentage of the requests served within a certain time (ms) 50%    414

66%    422

75%    427

80%    431

90%    458

95%    553

98%   1045

99%   1476

100%   2551 (longest request)Jmeter

在JMETER GUI界面中编辑脚本信息&＃xff0c;线程数设置10&＃xff0c;R-U时间设置1s&＃xff0c;循环次数设置Forever。如下图&＃xff1a;

image

然后使用 JMETER 命令行模式运行脚本&＃xff0c;这是因为使用非GUI模式可以节省负载机资源&＃xff0c;测试结果更加准切。$ jmeter -n -t ~/JmeterWar.jmx -l JmeterWar.csv

Creating summariser 

Created the tree successfully using /Users/rethink/JmeterWar.jmx

Starting the test &＃64; Sun Dec 09 16:56:02 CST 2018 (1544345762429)

Waiting for possible Shutdown/StopTestNow/Heapdump message on port 4448

summary &＃43;      1 in 00:00:01 &＃61;    1.6/s Avg:   504 Min:   504 Max:   504 Err:     0 (0.00%) Active: 7 Started: 7 Finished: 0

summary &＃43;    621 in 00:00:27 &＃61;   23.2/s Avg:   427 Min:   389 Max:  1465 Err:     0 (0.00%) Active: 10 Started: 10 Finished: 0

summary &＃61;    622 in 00:00:27 &＃61;   22.7/s Avg:   427 Min:   389 Max:  1465 Err:     0 (0.00%)

summary &＃43;    711 in 00:00:30 &＃61;   23.7/s Avg:   421 Min:   389 Max:  1470 Err:     0 (0.00%) Active: 10 Started: 10 Finished: 0

summary &＃61;   1333 in 00:00:57 &＃61;   23.2/s Avg:   424 Min:   389 Max:  1470 Err:     0 (0.00%)

^Z

[4]&＃43;  Stopped                 jmeter -n -t ~/JmeterWar.jmx -l JmeterWar.csv

在GUI界面中打开JmeterWar.csv文件&＃xff0c;如下&＃xff1a;

image二者对比abJmeter发送的请求总数13861350

Average414ms424ms

Min387ms389ms

Median414ms413ms

Max2551ms1470ms

90% Line458ms434ms

95% Line553ms452ms

99% Line1476ms859ms

Error %0.000.00

QPS22.18/sec23.4/sec

通过以上表格数据进行分析&＃xff0c;可以发现二者的测试效果竟然是如此的接近&＃xff0c;但实际上述数据并不是太准确&＃xff0c;因为Jmeter实际不支持精确的测试时间的限制&＃xff0c;所以我是到达60s后手动强制杀死进程&＃xff0c;这就导致有些请求可能被漏掉&＃xff0c;但通过比较聚合数据&＃xff0c;基本上误差是在可以接受的范围内。

个人总结

1、jmeter是一次完整的请求和返回&＃xff0c; 而AB只是发出去请求&＃xff0c;并不对返回做处理&＃xff0c;只是请求发送成功或者失败。 所以从准确性来说&＃xff0c;Jmeter更准确&＃xff0c;而AB速度更快&＃xff0c;可以用最少的机器资源产生更多的访问请求&＃xff1b;

2、Jmeter本身支持断言、可变参数和CSV数据集的输入&＃xff0c;能设定更加灵活多变的的测试场景&＃xff0c;而AB则不支持(暂时没想到)&＃xff1b;

3、Jmeter可以提供更加详细的统计结果数据&＃xff0c;比如接口错误信息、单线程的请求时间等&＃xff0c;而AB则不支持&＃xff1b;

4、Jmeter不支持精确时间的压测&＃xff0c;比如压测10分钟&＃xff0c;但是AB支持&＃xff1b;

5、Jmeter支持分布式的压测集群&＃xff0c;且支持函数&＃xff0c;AB不支持&＃xff1b;

6、软件自身耗费资源&＃xff1a;Jmeter由于比较重&＃xff0c;且统计了很多结果数据&＃xff0c;比AB耗时耗费资源多&＃xff0c;B属于超轻量级&＃xff0c;在开发测试过程中十分适合做单接口压测。

作者&＃xff1a;Rethink

链接&＃xff1a;https://www.jianshu.com/p/fcb26fb0b4ee