通常&＃xff0c;在内核模式下&＃xff0c;使用fio工具来测试设备在实际的工作负载下所能承受的最大压力。用户可以启动多个线程&＃xff0c;对设备来模拟各种IO操作&＃xff0c;使用filename指定所被测试的设备。然而&＃xff0c;在SPDK用户态模式情况下&＃xff0c;SPDK在使用前会unbind内核驱动&＃xff0c;直接通过PCI地址来识别设备&＃xff0c;因此用户在系统上无法直接看到设备。为此&＃xff0c;SPDK推出fio_plugin与SPDK深度集成&＃xff0c;用户可以通过指定设备的PCI地址&＃xff0c;来决定所要进行压力测试的设备。同时&＃xff0c;在fio_plugin内部&＃xff0c;采用SPDK用户态设备驱动所提供的轮询和异步的方式进行I/O操作&＃xff0c;I/O通过SPDK直接写入磁盘。
SPDK提供两种形态的fio_plugin&＃xff1a;
在编译时&＃xff0c;fio_plugin要依赖于一些原本fio所提供的库文件&＃xff0c;因此在编译SPDK前&＃xff0c;要首先编译fio&＃xff0c;并且在运行SPDK configure脚本时&＃xff0c;要指定fio源码的路径&＃xff0c;否则fio_plugin默认是不会编译的。例如
./configure --with-fio&＃61;/path/to/fio/repo
下面我们来介绍fio_plugin的使用方法。
1. 基于裸盘的fio_plugin
在使用fio_plugin的时候&＃xff0c;基本的命令与参数和fio的相同。只有以下两点需要变化&＃xff1a;
[Global]
ioengine&＃61;spdk
thread&＃61;1
group_reporting&＃61;1
direct&＃61;1
verify&＃61;0
time_based&＃61;1
ramp_time&＃61;0
runtime&＃61;1800
iodepth&＃61;128
rw&＃61;randread
bs&＃61;4k
[test]
numjobs&＃61;1
filename&＃61;key&＃61;value [key&＃61;value] ... ns&＃61;value
fio_plugin提供了两种模式的设备类型&＃xff0c;如下&＃xff1a;
a. NVMe over PCIe &＃xff1a;测试的时候&＃xff0c;指定PCI地址&＃xff0c;以及namespace&＃xff0c;例如&＃xff1a;
fio config.fio ‘-- filename&＃61;trtype&＃61;PCIe traddr&＃61;0000.06.00.0 ns&＃61;1’
b. NVMe over Fabrics&＃xff1a;测试的时候&＃xff0c;指定IP地址、类型以及namespace&＃xff0c;例如&＃xff1a;
fio config.fio ‘-- filename&＃61;trtype&＃61;RDMA adrfam&＃61;IPv4 traddr&＃61;192.168.100.8 trsvcid&＃61;4420 ns&＃61;1
2. 基于bdev的fio_plugin
在使用基于bdev的fio_plugin时&＃xff0c;SPDK会通过配置文件&＃xff0c;在特定的设备上初始化bdev。因此启动时&＃xff0c;需要指定SPDK应用程序配置文件&＃xff08;与SPDK NVMe-oF、SPDK vhost启动时候所指定的配置文件基本相同&＃xff09;&＃xff0c;同时在测试时&＃xff0c;测试设备应设定为相应的bdev名称。所以&＃xff0c;与fio相比&＃xff0c;在使用上的差别可以总结为以下两点&＃xff1a;
注意事项&＃xff1a;
1. fio_plugin限制只能使用线程模式&＃xff0c;因此在fio配置参数中&＃xff0c;需要制定thread &＃61; 1。
2. 当测试random模式的read/write时候&＃xff0c;因为在random map的时候&＃xff0c;要额外耗费很多的CPU cycle&＃xff0c;从而降低性能。因此在测试randread/randwrite的时候&＃xff0c;建议指定norandommap&＃61;1。
SPDK提供自己的性能测试工具perf。SPDK的perf与通常Linux系统中的perf工具有所不同&＃xff0c;SPDK中的perf主要是用于对设备做压力测试&＃xff0c;来评估其性能的工具。perf相比于fio_plugin更加灵活&＃xff0c;可以直接配置core mask来指定进行I/O操作的CPU核。SPDK通过使用CPU的亲和性&＃xff0c;将线程和CPU核做绑定&＃xff0c;每个线程对应一个CPU核。在启动perf时&＃xff0c;可以通过core mask指定所用的CPU核&＃xff0c;在所指定的每个CPU核上&＃xff0c;都会为之注册一个worker_thread进行I/O操作。每个worker_thread都会调用SPDK所提供的I/O操作接口&＃xff0c;通过异步的方式向底层的裸盘发送读写命令。
perf的使用方法如下所示&＃xff1a;
下面给出一个perf的使用范例&＃xff1a;
./perf -q 32 -s 4096 -w randwrite -t 1200 -c 0xF -r &＃39;trtype:PCIe traddr:0000:06:00.0&＃39;
在这里&＃xff0c;core mask为0xF&＃xff0c;代表我们使用核1&＃xff0c;2&＃xff0c;3&＃xff0c;4来创建4个worker_thread对PCI地址为0000:06:00.0的盘进行随机写操作&＃xff0c;其中-q 表示queue depth, -s 代表block size, -t 代表time。
相比于fio_plugin&＃xff0c;perf有以下优势&＃xff1a;
1. 可以通过core mask灵活指定CPU核。
2. 如果使用单个线程来测试多块盘性能的时候&＃xff0c;fio_plugin的所得到的性能与perf所的到的性能有很大的差距。这是由于fio软件架构的问题&＃xff0c;所以不适用于单个线程来操作多块盘。因此在评估单个线程&＃xff08;单核&＃xff09;的能力的时候&＃xff0c;一般选用perf作为测试工具。若为多个线程对应操作多块盘&＃xff0c;则无需顾虑。在这种情况下&＃xff0c;fio_plugin与perf结果无差异。
1通过使用fio和perf对SPDK性能评估&＃xff0c;得到的结果不同&＃xff0c;大部分的时候perf所得到的性能会比fio所得到的性能要高。
两种工具最大的差别在于&＃xff0c;fio是通过与Linux fio工具进行集成&＃xff0c;使其可以用来测试SPDK的设备&＃xff0c;而由于fio本身架构的问题&＃xff0c;不能充分发挥SPDK的优势&＃xff0c;例如fio使用Linux的线程模型&＃xff0c;在使用的时候&＃xff0c;线程仍会被内核调度。而对于perf来说&＃xff0c;是针对SPDK定制的性能测试工具&＃xff0c;因此在底层&＃xff0c;不仅是I/O操作会通过SPDK进行下发&＃xff0c;同时一些底层架构都是为SPDK所设计的。例如刚刚所提到的线程模型&＃xff0c;perf中是使用DPDK所提供的线程模型&＃xff0c;通过使用CPU的亲和性将CPU核与线程捆绑&＃xff0c;不再受内核调度&＃xff0c;因此可以充分发挥SPDK下发I/O时的异步无锁化的优势。这就是为什么perf所测得的性能要比fio的高&＃xff0c;因此&＃xff0c;在同等情况下&＃xff0c;我们更推荐用户使用perf工具对SPDK进行性能评估。
2对SPDK和内核的性能评估时&＃xff0c;虽然性能有所提升&＃xff0c;但是没有看到SPDK官方所展示的特别大的性能差异。
首先&＃xff0c;如问题1中所述&＃xff0c;不同的工具之间得出的性能结果是不同的&＃xff0c;另外最主要的因素还是硬盘本身性能瓶颈所导致的问题。例如&＃xff0c;使用2D NAND的P3700&＃xff0c;本身的性能存在一定的瓶颈&＃xff0c;因此无论是SPDK驱动还是内核驱动&＃xff0c;都会达到较高的IOPS。
如果我们换用更高性能的硬盘&＃xff0c;例如使用3DXpoint的Optane(P4800X)&＃xff0c;便会发现很大的性能差异。因此&＃xff0c;硬盘性能越高&＃xff0c;SPDK所发挥出的优势越明显&＃xff0c;这也是SPDK产生的初衷&＃xff0c;本身就是为高性能硬盘所订制的。我们用下面这幅图来说明问题&＃xff1a;
图1 P4800X Random Read SPDK vs. Kernel
图1采用了基于裸盘的fio_plugin&＃xff0c;使用单个CPU核&＃xff0c;对单盘测试random read的结果。我们可以清楚地看到&＃xff0c;用P4800X来测试的时候&＃xff0c;无论qd增加多少&＃xff0c;Kernel所能到的性能都是在300K&＃43;的IOPS。已经达到Kernel的最大能力&＃xff0c;而SPDK可以轻松达到接近500k的IOPS。
此外&＃xff0c;我们再普及两点额外的知识&＃xff1a;
对于评估以2D NAND、3D NAND介质的硬盘&＃xff0c;例如P3700、P4500&＃xff0c;一般情况下&＃xff0c;为了达到磁盘的最高性能&＃xff0c;通常会选择较高的qd(queue depth)&＃xff0c;通常qd&＃61;128即可&＃xff0c;已经达到SPDK发I/O的最高效率。如果在128之上再增加qd&＃xff0c;通常IOPS不会再有所增加&＃xff0c;反而会增加单个I/O的latency。因此推荐使用qd&＃61;128。但对于新介质3DXpoint的硬盘&＃xff0c;通常qd为8的时候&＃xff0c;就已经可以达到一个最高值&＃xff0c;因此若测试Optane(P4800X)的性能&＃xff0c;通常推荐使用qd&＃61;8&＃xff0c;而不是128。
通常以2D NAND、3D NAND为介质的磁盘&＃xff0c;在测试write的性能时&＃xff0c;会有一些不稳定且虚高的现象&＃xff0c;常见为测到的IOPS结果远远大于specification里的最高值&＃xff0c;这是由于磁盘介质本身的问题。因此在测试此类磁盘时&＃xff0c;为了避免上述现象&＃xff0c;通常会在测试之前做precondition。通常做法为&＃xff1a;在格式化之后&＃xff0c;对磁盘不断进行写操作写满整个磁盘&＃xff0c;使写入进入稳态。以P3700 800GB为例&＃xff0c;通常我们会先顺序写两小时&＃xff08;4k&＃xff09;&＃xff0c;之后再随机写一小时&＃xff08;4k&＃xff09;。
京公网安备 11010802041100号