JMH基准测试研究

JMH

BenchMark 叫做基准测试&＃xff0c;主要是用来测试一些方法的性能&＃xff0c;可以根据不同参数&＃xff0c;以不同的单位进行计算。

可以通过设置BenchmarkMode 参数来设置是使用吞吐量为单位还是平均时间作为单位

Java Benchmark Harness, JMH是专门用于代码微基准测试的工具套件。这里的微&＃xff0c;就是可以基于方法层面&＃xff0c;精度可以达到毫秒级别。

JMH的 主要应用场景&＃xff1a;

1.想准确的知道某个方法需要执行多长时间以及与传参之间的关系

2.对比同一个接口&＃xff0c;在不同条件下的吞吐量

3.查看单位时间能执行多少强求

入门实现

首先JMH有一个实现清单示例清单。不得不说英文资料只要想找比中文资料要多得多。我们这里来实现下hello world

添加pom依赖&＃xff1a;

org.openjdk.jmhjmh-core1.19

org.openjdk.jmhjmh-generator-annprocess1.19provided


这里需要注意&＃xff0c;我第一下是用0.17版本&＃xff0c;然后在代码里面添加&＃64;Benchmark 注解的时候&＃xff0c;一直引不到包。后来发现就是这里的版本问题&＃xff0c;写到1.19就没有问题了。

public class HelloWorld {&＃64;Benchmarkpublic void hello(){}public static void main(String[] args) throws RunnerException {Options opt &＃61; new OptionsBuilder().include(HelloWorld.class.getSimpleName()).forks(1).build();new Runner(opt).run();}
}

执行后的输出结果是&＃xff1a;

# JMH version: 1.19
# VM version: JDK 1.8.0_181, VM 25.181-b13
# VM invoker: D:\Program Files\Java\jdk1.8.0_181\jre\bin\java.exe
# VM options: -Dvisualvm.id&＃61;610415878661292 -javaagent:D:\Program
Files\JetBrains\IntelliJ IDEA 2018.3\lib\idea_rt.jar&＃61;63740:D:\Program
Files\JetBrains\IntelliJ IDEA 2018.3\bin -Dfile.encoding&＃61;UTF-8
# Warmup: 20 iterations, 1 s each
# Measurement: 20 iterations, 1 s each
# Timeout: 10 min per iteration
# Threads: 1 thread, will synchronize iterations
# Benchmark mode: Throughput, ops/time
# Benchmark: jmh.HelloWorld.hello# Run progress: 0.00% complete, ETA 00:00:40
# Fork: 1 of 1
# Warmup Iteration 1: 3001357376.599 ops/s
# Warmup Iteration 2: 3224879376.706 ops/s
# Warmup Iteration 3: 3216559672.446 ops/s
# Warmup Iteration 4: 3131575191.942 ops/s
# Warmup Iteration 5: 3149948207.385 ops/s
# Warmup Iteration 6: 2830803401.832 ops/s
# Warmup Iteration 7: 3070451939.640 ops/s

里面具体的Warmup  &＃xff0c;Benchmark mode &＃xff0c; threads都是JMH 中的一些特有概念。

基本概念

Mode 

Mode 表示 JMH 进行 Benchmark 时所使用的模式。通常是测量的维度不同&＃xff0c;或是测量的方式不同。目前 JMH 共有四种模式&＃xff1a;

1. Throughput: 整体吞吐量&＃xff0c;例如“1秒内可以执行多少次调用”。
2. AverageTime: 调用的平均时间&＃xff0c;例如“每次调用平均耗时xxx毫秒”。
3. SampleTime: 随机取样&＃xff0c;最后输出取样结果的分布&＃xff0c;例如“99%的调用在xxx毫秒以内&＃xff0c;99.99%的调用在xxx毫秒以内”
4. SingleShotTime: 以上模式都是默认一次 iteration 是 1s&＃xff0c;唯有 SingleShotTime 是只运行一次。往往同时把 warmup 次数设为0&＃xff0c;用于测试冷启动时的性能。

Interation 

Iteration是JMH进行测试的最小单位。大部分模式下&＃xff0c;iteration代表的是一秒&＃xff0c;JMH会在这一秒内不断调用需要benchmark的方法&＃xff0c;然后根据模式对其采样&＃xff0c;计算吞吐量&＃xff0c;计算平均执行时间等。

Warmup 

Warmup是指在实际进行Benchmark前先进行预热的行为。因为JVM的JIT机制的存在&＃xff0c;如果某个函数被调用多次以后&＃xff0c;JVM会尝试将其编译成为机器码从而提高执行速度。所以为了让benchmark的结果更加接近真实情况就需要进行预热。

注解

现在来解释一下上面例子中使用到的注解&＃xff0c;其实很多注解的意义完全可以望文生义 &＃xff1a;

&＃64;Benchmark 
表示该方法是需要进行 benchmark 的对象&＃xff0c;用法和 JUnit 的 &＃64;Test 类似。

&＃64;Mode
Mode 如之前所说&＃xff0c;表示 JMH 进行 Benchmark 时所使用的模式。

&＃64;State
State 用于声明某个类是一个“状态”&＃xff0c;然后接受一个 Scope 参数用来表示该状态的共享范围。因为很多 benchmark 会需要一些表示状态的类&＃xff0c;JMH 允许你把这些类以依赖注入的方式注入到 benchmark 函数里。Scope 主要分为两种。

1. Thread: 该状态为每个线程独享。
2. Benchmark: 该状态在所有线程间共享。
    

&＃64;OutputTimeUnit
benchmark 结果所使用的时间单位。

fork

进行 fork 的次数。如果 fork 数是2的话&＃xff0c;则 JMH 会 fork 出两个进程来进行测试。

warmupIterations

预热的迭代次数。

measurementIterations

实际测量的迭代次数。