FIO使用说明

FIO介绍&＃xff1a;

FIO是测试IOPS的非常好的工具&＃xff0c;用来对磁盘进行压力测试和验证。磁盘IO是检查磁盘性能的重要指标&＃xff0c;可以按照负载情况分成照顺序读写&＃xff0c;随机读写两大类。FIO是一个可以产生很多线程或进程并执行用户指定的特定类型I/O操作的工具&＃xff0c;FIO的典型用途是编写和模拟的I/O负载匹配的作业文件。也就是说FIO 是一个多线程io生成工具&＃xff0c;可以生成多种IO模式&＃xff0c;用来测试磁盘设备的性能&＃xff08;也包含文件系统&＃xff1a;如针对网络文件系统 NFS 的IO测试&＃xff09;。

另外还有GFIO则是FIO的图形监测工具&＃xff0c;它提供了图形界面的参数配置&＃xff0c;和性能监测图像。

fio在github上的坐标&＃xff1a;https://github.com/axboe/fio 。

FIO安装说明&＃xff1a;

1.可以到网站&＃xff1a;http://freshmeat.sourceforge.net/projects/fio获取FIO安装包&＃xff1a;fio-2.1.10.tar.gz

2.为了使用异步IO引擎&＃xff0c;需要在安装FIO前先安装libaio-dev&＃xff08;apt-get install libaio-dev&＃xff09;&＃xff0c;顺序不能反&＃xff0c;否则会出现以下错误&＃xff1a;

fio: engine libaio not loadable
fio: failed to load engine

如果顺序反了可以使用 make clean清理编译文件后重新安装FIO 

3.如需要安装gfio&＃xff1a;gfio是基于gdk实现&＃xff0c;因此需要首先安装gdk&＃xff1a;apt-get install libgtk2.0-dev

4.安装FIO&＃xff1a;解压FIO压缩包&＃xff0c;进入FIO目录

• ./configure  --enable-gfio &＃xff08;注&＃xff1a;如果希望不支持gfio&＃xff0c;只需去掉后面的--enable-gfio参数&＃xff09;

• make

• make install

5.经过这几步&＃xff0c;Fio的安装已经全部完成&＃xff0c;为了测试是否安装成功&＃xff0c;这里使用examples中的例子进行测试&＃xff1a;

fio  examples/ssd-test.fio 

修正示例测试文件出现的错误&＃xff1a;目录设置问题

fio: /mount-point-of-ssd is not a directory
fio: failed parsing directory&＃61;/mount-point-of-ssd
fio: job global dropped

修改后&＃xff0c;如果成功执行&＃xff0c;说明FIO安装成功。

FIO 工具常用参数&＃xff1a;

参数说明&＃xff1a;
filename&＃61;/dev/sdb1 测试文件名称&＃xff0c;通常选择需要测试的盘的data目录。
direct&＃61;1 是否使用directIO&＃xff0c;测试过程绕过OS自带的buffer&＃xff0c;使测试磁盘的结果更真实。Linux读写的时候&＃xff0c;内核维护了缓存&＃xff0c;数据先写到缓存&＃xff0c;后面再后台写到SSD。读的时候也优先读缓存里的数据。这样速度可以加快&＃xff0c;但是一旦掉电缓存里的数据就没了。所以有一种模式叫做DirectIO&＃xff0c;跳过缓存&＃xff0c;直接读写SSD。
rw&＃61;randwrite 测试随机写的I/O
rw&＃61;randrw 测试随机写和读的I/O
bs&＃61;16k 单次io的块文件大小为16k
bsrange&＃61;512-2048 同上&＃xff0c;提定数据块的大小范围
size&＃61;5G 每个线程读写的数据量是5GB。
numjobs&＃61;1 每个job&＃xff08;任务&＃xff09;开1个线程&＃xff0c;这里用了几&＃xff0c;后面每个用-name指定的任务就开几个线程测试。所以最终线程数&＃61;任务数&＃xff08;几个name&＃61;jobx&＃xff09;* numjobs。
name&＃61;job1&＃xff1a; 一个任务的名字&＃xff0c;重复了也没关系。如果fio -name&＃61;job1 -name&＃61;job2&＃xff0c;建立了两个任务&＃xff0c;共享-name&＃61;job1之前的参数。-name之后的就是job2任务独有的参数。
thread 使用pthread_create创建线程&＃xff0c;另一种是fork创建进程。进程的开销比线程要大&＃xff0c;一般都采用thread测试。
runtime&＃61;1000 测试时间为1000秒&＃xff0c;如果不写则一直将5g文件分4k每次写完为止。
ioengine&＃61;libaio 指定io引擎使用libaio方式。libaio&＃xff1a;Linux本地异步I/O。请注意&＃xff0c;Linux可能只支持具有非缓冲I/O的排队行为&＃xff08;设置为“direct&＃61;1”或“buffered&＃61;0”&＃xff09;&＃xff1b;rbd:通过librbd直接访问CEPH Rados
iodepth&＃61;16 队列的深度为16.在异步模式下&＃xff0c;CPU不能一直无限的发命令到SSD。比如SSD执行读写如果发生了卡顿&＃xff0c;那有可能系统会一直不停的发命令&＃xff0c;几千个&＃xff0c;甚至几万个&＃xff0c;这样一方面SSD扛不住&＃xff0c;另一方面这么多命令会很占内存&＃xff0c;系统也要挂掉了。这样&＃xff0c;就带来一个参数叫做队列深度。
Block Devices&＃xff08;RBD&＃xff09; 无需使用内核RBD驱动程序&＃xff08;rbd.ko&＃xff09;。该参数包含很多ioengine&＃xff0c;如&＃xff1a;libhdfs/rdma等
rwmixwrite&＃61;30 在混合读写的模式下&＃xff0c;写占30%
group_reporting 关于显示结果的&＃xff0c;汇总每个进程的信息。
此外
lockmem&＃61;1g 只使用1g内存进行测试。
zero_buffers 用0初始化系统buffer。
nrfiles&＃61;8 每个进程生成文件的数量。
磁盘读写常用测试点&＃xff1a;
1. Read&＃61;100% Ramdon&＃61;100% rw&＃61;randread (100%随机读)
2. Read&＃61;100% Sequence&＃61;100% rw&＃61;read &＃xff08;100%顺序读&＃xff09;
3. Write&＃61;100% Sequence&＃61;100% rw&＃61;write &＃xff08;100%顺序写&＃xff09;
4. Write&＃61;100% Ramdon&＃61;100% rw&＃61;randwrite &＃xff08;100%随机写&＃xff09;
5. Read&＃61;70% Sequence&＃61;100% rw&＃61;rw, rwmixread&＃61;70, rwmixwrite&＃61;30
&＃xff08;70%顺序读&＃xff0c;30%顺序写&＃xff09;
6. Read&＃61;70% Ramdon&＃61;100% rw&＃61;randrw, rwmixread&＃61;70, rwmixwrite&＃61;30
(70%随机读&＃xff0c;30%随机写)

FIO命令实例&＃xff1a;

100%随机&＃xff0c;100%读&＃xff0c; 4K
fio -filename&＃61;/dev/emcpowerb -direct&＃61;1 -iodepth 1 -thread -rw&＃61;randread -ioengine&＃61;psync -bs&＃61;4k -size&＃61;1000G -numjobs&＃61;50 -runtime&＃61;180 -group_reporting -name&＃61;rand_100read_4k100%随机&＃xff0c;100%写&＃xff0c; 4K
fio -filename&＃61;/dev/emcpowerb -direct&＃61;1 -iodepth 1 -thread -rw&＃61;randwrite -ioengine&＃61;psync -bs&＃61;4k -size&＃61;1000G -numjobs&＃61;50 -runtime&＃61;180 -group_reporting -name&＃61;rand_100write_4k100%顺序&＃xff0c;100%读 &＃xff0c;4K
fio -filename&＃61;/dev/emcpowerb -direct&＃61;1 -iodepth 1 -thread -rw&＃61;read -ioengine&＃61;psync -bs&＃61;4k -size&＃61;1000G -numjobs&＃61;50 -runtime&＃61;180 -group_reporting -name&＃61;sqe_100read_4k100%顺序&＃xff0c;100%写 &＃xff0c;4K
fio -filename&＃61;/dev/emcpowerb -direct&＃61;1 -iodepth 1 -thread -rw&＃61;write -ioengine&＃61;psync -bs&＃61;4k -size&＃61;1000G -numjobs&＃61;50 -runtime&＃61;180 -group_reporting -name&＃61;sqe_100write_4k100%随机&＃xff0c;70%读&＃xff0c;30%写 4K
fio -filename&＃61;/dev/emcpowerb -direct&＃61;1 -iodepth 1 -thread -rw&＃61;randrw -rwmixread&＃61;70 -ioengine&＃61;psync -bs&＃61;4k -size&＃61;1000G -numjobs&＃61;50 -runtime&＃61;180 -group_reporting -name&＃61;randrw_70read_4k

FIO测试实例&＃xff1a;

[root&＃64;docker sda]# fio -ioengine&＃61;libaio -bs&＃61;4k -direct&＃61;1 -thread -rw&＃61;read -filename&＃61;/dev/sda -name&＃61;"BS 4KB read test" -iodepth&＃61;16 -runtime&＃61;60
BS 4KB read test: (g&＃61;0): rw&＃61;read, bs&＃61;(R) 4096B-4096B, (W) 4096B-4096B, (T) 4096B-4096B, ioengine&＃61;libaio, iodepth&＃61;16
fio-3.7
Starting 1 thread
Jobs: 1 (f&＃61;1): [R(1)][100.0%][r&＃61;89.3MiB/s,w&＃61;0KiB/s][r&＃61;22.9k,w&＃61;0 IOPS][eta 00m:00s]
BS 4KB read test: (groupid&＃61;0, jobs&＃61;1): err&＃61; 0: pid&＃61;18557: Thu Apr 11 13:08:11 2019read: IOPS&＃61;22.7k, BW&＃61;88.5MiB/s (92.8MB/s)(5313MiB/60001msec)slat (nsec): min&＃61;901, max&＃61;168330, avg&＃61;6932.34, stdev&＃61;1348.82clat (usec): min&＃61;90, max&＃61;63760, avg&＃61;698.08, stdev&＃61;240.83lat (usec): min&＃61;97, max&＃61;63762, avg&＃61;705.17, stdev&＃61;240.81clat percentiles (usec):| 1.00th&＃61;[ 619], 5.00th&＃61;[ 627], 10.00th&＃61;[ 627], 20.00th&＃61;[ 635],| 30.00th&＃61;[ 635], 40.00th&＃61;[ 685], 50.00th&＃61;[ 717], 60.00th&＃61;[ 725],| 70.00th&＃61;[ 725], 80.00th&＃61;[ 725], 90.00th&＃61;[ 734], 95.00th&＃61;[ 816],| 99.00th&＃61;[ 1004], 99.50th&＃61;[ 1020], 99.90th&＃61;[ 1057], 99.95th&＃61;[ 1057],| 99.99th&＃61;[ 1860]bw ( KiB/s): min&＃61;62144, max&＃61;91552, per&＃61;100.00%, avg&＃61;90669.02, stdev&＃61;3533.77, samples&＃61;120iops : min&＃61;15536, max&＃61;22888, avg&＃61;22667.27, stdev&＃61;883.44, samples&＃61;120lat (usec) : 100&＃61;0.01%, 250&＃61;0.01%, 500&＃61;0.01%, 750&＃61;93.85%, 1000&＃61;5.14%lat (msec) : 2&＃61;0.99%, 4&＃61;0.01%, 10&＃61;0.01%, 50&＃61;0.01%, 100&＃61;0.01%cpu : usr&＃61;5.35%, sys&＃61;23.17%, ctx&＃61;1359692, majf&＃61;0, minf&＃61;17IO depths : 1&＃61;0.1%, 2&＃61;0.1%, 4&＃61;0.1%, 8&＃61;0.1%, 16&＃61;100.0%, 32&＃61;0.0%, >&＃61;64&＃61;0.0%submit : 0&＃61;0.0%, 4&＃61;100.0%, 8&＃61;0.0%, 16&＃61;0.0%, 32&＃61;0.0%, 64&＃61;0.0%, >&＃61;64&＃61;0.0%complete : 0&＃61;0.0%, 4&＃61;100.0%, 8&＃61;0.0%, 16&＃61;0.1%, 32&＃61;0.0%, 64&＃61;0.0%, >&＃61;64&＃61;0.0%issued rwts: total&＃61;1360097,0,0,0 short&＃61;0,0,0,0 dropped&＃61;0,0,0,0latency : target&＃61;0, window&＃61;0, percentile&＃61;100.00%, depth&＃61;16Run status group 0 (all jobs):READ: bw&＃61;88.5MiB/s (92.8MB/s), 88.5MiB/s-88.5MiB/s (92.8MB/s-92.8MB/s), io&＃61;5313MiB (5571MB), run&＃61;60001-60001msecDisk stats (read/write):sda: ios&＃61;1357472/0, merge&＃61;70/0, ticks&＃61;949141/0, in_queue&＃61;948776, util&＃61;99.88%

FIO结果解读&＃xff1a;

结果解读&＃xff1a;
test: (g&＃61;0): rw&＃61;write, bs&＃61;1M-1M/1M-1M/1M-1M, ioengine&＃61;libaio, iodepth&＃61;16
fio-2.8
Starting 1 process
Jobs: 1 (f&＃61;1): [W(1)] [100.0% done] [0KB/68198KB/0KB /s] [0/66/0 iops] [eta 00m:00s]
test: (groupid&＃61;0, jobs&＃61;1): err&＃61; 0: pid&＃61;4676: Thu Apr 7 17:22:37 2016write: io&＃61;20075MB, bw&＃61;68464KB/s, iops&＃61;66, runt&＃61;300255msec #执行多少IO&＃xff0c;平均带宽&＃xff0c;线程运行时间slat (usec): min&＃61;51, max&＃61;5732, avg&＃61;291.11, stdev&＃61;262.47 #提交延迟clat (usec): min&＃61;1, max&＃61;2235.8K, avg&＃61;239043.28, stdev&＃61;153384.41 #完成延迟lat (usec): min&＃61;367, max&＃61;2235.9K, avg&＃61;239337.72, stdev&＃61;153389.57 #响应时间clat percentiles (usec):| 1.00th&＃61;[ 221], 5.00th&＃61;[ 442], 10.00th&＃61;[ 1004], 20.00th&＃61;[108032],| 30.00th&＃61;[228352], 40.00th&＃61;[248832], 50.00th&＃61;[257024], 60.00th&＃61;[268288],| 70.00th&＃61;[280576], 80.00th&＃61;[301056], 90.00th&＃61;[342016], 95.00th&＃61;[477184],| 99.00th&＃61;[806912], 99.50th&＃61;[864256], 99.90th&＃61;[1122304], 99.95th&＃61;[1171456],| 99.99th&＃61;[1646592]bw (KB /s): min&＃61; 170, max&＃61;204800, per&＃61;100.00%, avg&＃61;68755.07, stdev&＃61;27034.84lat (usec) : 2&＃61;0.01%, 4&＃61;0.13%, 50&＃61;0.06%, 100&＃61;0.26%, 250&＃61;1.04%lat (usec) : 500&＃61;4.53%, 750&＃61;2.61%, 1000&＃61;1.33%lat (msec) : 2&＃61;1.18%, 4&＃61;0.15%, 10&＃61;0.77%, 20&＃61;0.77%, 50&＃61;1.50%lat (msec) : 100&＃61;4.43%, 250&＃61;23.48%, 500&＃61;53.23%, 750&＃61;3.09%, 1000&＃61;1.30%lat (msec) : 2000&＃61;0.19%, >&＃61;2000&＃61;0.01%cpu : usr&＃61;0.03%, sys&＃61;2.11%, ctx&＃61;19066, majf&＃61;0, minf&＃61;7IO depths : 1&＃61;0.1%, 2&＃61;0.1%, 4&＃61;0.1%, 8&＃61;0.1%, 16&＃61;103.8%, 32&＃61;0.0%, >&＃61;64&＃61;0.0% #io队列submit : 0&＃61;0.0%, 4&＃61;100.0%, 8&＃61;0.0%, 16&＃61;0.0%, 32&＃61;0.0%, 64&＃61;0.0%, >&＃61;64&＃61;0.0% #单个IO提交要提交的IO数complete : 0&＃61;0.0%, 4&＃61;100.0%, 8&＃61;0.0%, 16&＃61;0.1%, 32&＃61;0.0%, 64&＃61;0.0%, >&＃61;64&＃61;0.0% issued : total&＃61;r&＃61;0/w&＃61;20060/d&＃61;0, short&＃61;r&＃61;0/w&＃61;0/d&＃61;0, drop&＃61;r&＃61;0/w&＃61;0/d&＃61;0latency : target&＃61;0, window&＃61;0, percentile&＃61;100.00%, depth&＃61;16 #IO完延迟的分布Run status group 0 (all jobs):WRITE: io&＃61;20075MB, aggrb&＃61;68464KB/s(group总带宽), minb&＃61;68464KB/s(最小平均带宽), maxb&＃61;68464KB/s(最大平均带宽), mint&＃61;300255msec(group中线程的最短运行时间), maxt&＃61;300255msec(group中线程的最长运行时间)Disk stats (read/write):sda: ios&＃61;23/41769(所有group总共执行的IO数), merge&＃61;0/149(总共发生的IO合并数), ticks&＃61;706/9102766(Number of ticks we kept the disk busy), in_queue&＃61;9105836(花费在队列上的总共时间), util&＃61;100.00%(磁盘利用率)io&＃61;执行了多少M的IO
bw&＃61;平均IO带宽
iops&＃61;IOPS
runt&＃61;线程运行时间
slat&＃61;提交延迟&＃xff0c;提交该IO请求到kernel所花的时间&＃xff08;不包括kernel处理的时间&＃xff09;
clat&＃61;完成延迟, 提交该IO请求到kernel后&＃xff0c;处理所花的时间
lat&＃61;响应时间
bw&＃61;带宽
cpu&＃61;利用率
IO depths&＃61;io队列
IO submit&＃61;单个IO提交要提交的IO数
IO complete&＃61;Like the above submit number, but for completions instead.
IO issued&＃61;The number of read/write requests issued, and how many of them were short.
IO latencies&＃61;IO完延迟的分布
io&＃61;总共执行了多少size的IO
aggrb&＃61;group总带宽
minb&＃61;最小.平均带宽.
maxb&＃61;最大平均带宽.
mint&＃61;group中线程的最短运行时间.
maxt&＃61;group中线程的最长运行时间.
ios&＃61;所有group总共执行的IO数.
merge&＃61;总共发生的IO合并数.
ticks&＃61;Number of ticks we kept the disk busy.
io_queue&＃61;花费在队列上的总共时间.
util&＃61;磁盘利用率

IO状态监控工具Iostat介绍&＃xff1a;

iostat主要用于监控系统设备的IO负载情况&＃xff0c;iostat首次运行时显示自系统启动开始的各项统计信息&＃xff0c;之后运行iostat将显示自上次运行该命令以后的统计信息。用户可以通过指定统计的次数和时间来获得所需的统计信息。

进行磁盘测试的时候&＃xff0c;我们可以使用iostat 等监控工具&＃xff0c;查看所有磁盘当前的读写状态

监控磁盘IO命令&＃xff1a;iostat –mx 1

语法&＃xff1a;

iostat [ -c ] [ -d ] [ -h ] [ -N ] [ -k | -m ] [ -t ] [ -V ] [ -x ] [ -z ] [ device [...] | ALL ] [ -p [ device [,...] | ALL ] ] [ interval [ count ] ]

iostat使用范例&＃xff1a;

iostat -d -x -k 1 10
Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util
sda 1.56 28.31 7.80 31.49 42.51 2.92 21.26 1.46 1.16 0.03 0.79 2.62 10.28
Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util
sda 2.00 20.00 381.00 7.00 12320.00 216.00 6160.00 108.00 32.31 1.75 4.50 2.17 84.20

-d: 显示该设备的状态的参数&＃xff1b;

-x&＃xff1a;是一个比较常用的选项&＃xff0c;该选项将用于显示和io相关的扩展数据。

-k:  静态显示每秒的统计&＃xff08;单位kilobytes &＃xff09;

1: 第一个数字表示每隔1秒刷新一次数据显示。

10&＃xff1a;第二个数字表示总共的刷新次数

输出信息的含义&＃xff1a;

rrqm/s&＃xff1a; 每秒这个设备相关的读取请求有多少被Merge了&＃xff08;当系统调用需要读取数据的时候&＃xff0c;VFS将请求发到各个FS&＃xff0c;如果FS发现不同的读取请求读取的是相同Block的数据&＃xff0c;FS会将这个请求合并Merge&＃xff09;&＃xff1b;
wrqm/s&＃xff1a; 每秒这个设备相关的写入请求有多少被Merge了。
r/s&＃xff1a; 该设备的每秒完成的读请求数&＃xff08;merge合并之后的&＃xff09;
w/s:   该设备的每秒完成的写请求数&＃xff08;merge合并之后的&＃xff09;
rsec/s&＃xff1a; 每秒读取的扇区数&＃xff1b;
wsec/&＃xff1a; 每秒写入的扇区数。
rKB/s&＃xff1a; 每秒发送给该设备的总读请求数
wKB/s&＃xff1a; 每秒发送给该设备的总写请求数
avgrq-sz 平均请求扇区的大小
avgqu-sz 是平均请求队列的长度。毫无疑问&＃xff0c;队列长度越短越好。
await&＃xff1a; 每一个IO请求的处理的平均时间&＃xff08;单位是微秒毫秒&＃xff09;。这里可以理解为IO的响应时间&＃xff0c;一般地系统IO响应时间应该低于5ms&＃xff0c;如果大于10ms就比较大了。这个时间包括了队列时间和服务时间&＃xff0c;也就是说&＃xff0c;一般情况下&＃xff0c;await大于svctm&＃xff0c;它们的差值越小&＃xff0c;则说明队列时间越短&＃xff0c;反之差值越大&＃xff0c;队列时间越长&＃xff0c;说明系统出了问题。
svctm: 表示平均每次设备I/O操作的服务时间&＃xff08;以毫秒为单位&＃xff09;。如果svctm的值与await很接近&＃xff0c;表示几乎没有I/O等待&＃xff0c;磁盘性能很好&＃xff0c;如果await的值远高于svctm的值&＃xff0c;则表示I/O队列等待太长&＃xff0c;系统上运行的应用程序将变慢。
%util&＃xff1a; 在统计时间内所有处理IO时间&＃xff0c;除以总共统计时间。例如&＃xff0c;如果统计间隔1秒&＃xff0c;该设备有0.8秒在处理IO&＃xff0c;而0.2秒闲置&＃xff0c;那么该设备的%util &＃61; 0.8/1 &＃61; 80%&＃xff0c;所以该参数暗示了设备的繁忙程度。一般地&＃xff0c;如果该参数是100%表示设备已经接近满负荷运行了&＃xff08;当然如果是多磁盘&＃xff0c;即使%util是100%&＃xff0c;因为磁盘的并发能力&＃xff0c;所以磁盘使用未必就到了瓶颈&＃xff09;。

本文转自&＃xff1a;https://blog.csdn.net/don_chiang709/article/details/92628623