FIO是测试IOPS的非常好的工具&＃xff0c;用来对硬件进行压力测试和验证&＃xff0c;支持13种不同的I/O引擎&＃xff0c;包括:sync,mmap, libaio, posixaio, SG v3, splice, null, network, syslet, guasi, solarisaio 等等。
fio 官网地址&＃xff1a;http://freshmeat.net/projects/fio/
一&＃xff0c;FIO安装
wget http://brick.kernel.dk/snaps/fio-2.0.7.tar.gz
yum install libaio-devel
tar -zxvf fio-2.0.7.tar.gz
cd fio-2.0.7
make
make install
二&＃xff0c;随机读测试&＃xff1a;
随机读&＃xff1a;
fio -filename&＃61;/dev/sdb1 -direct&＃61;1 -iodepth 1 -thread -rw&＃61;randread -ioengine&＃61;psync -bs&＃61;16k -size&＃61;200G -numjobs&＃61;10 -runtime&＃61;1000 -group_reporting -name&＃61;mytest
说明&＃xff1a;
filename&＃61;/dev/sdb1 测试文件名称&＃xff0c;通常选择需要测试的盘的data目录。
direct&＃61;1 测试过程绕过机器自带的buffer。使测试结果更真实。
rw&＃61;randwrite 测试随机写的I/O
rw&＃61;randrw 测试随机写和读的I/O
bs&＃61;16k 单次io的块文件大小为16k
bsrange&＃61;512-2048 同上&＃xff0c;提定数据块的大小范围
size&＃61;5g 本次的测试文件大小为5g&＃xff0c;以每次4k的io进行测试。
numjobs&＃61;30 本次的测试线程为30.
runtime&＃61;1000 测试时间为1000秒&＃xff0c;如果不写则一直将5g文件分4k每次写完为止。
ioengine&＃61;psync io引擎使用pync方式
rwmixwrite&＃61;30 在混合读写的模式下&＃xff0c;写占30%
group_reporting 关于显示结果的&＃xff0c;汇总每个进程的信息。
此外
lockmem&＃61;1g 只使用1g内存进行测试。
zero_buffers 用0初始化系统buffer。
nrfiles&＃61;8 每个进程生成文件的数量。
顺序读&＃xff1a;
fio -filename&＃61;/dev/sdb1 -direct&＃61;1 -iodepth 1 -thread -rw&＃61;read -ioengine&＃61;psync -bs&＃61;16k -size&＃61;200G -numjobs&＃61;30 -runtime&＃61;1000 -group_reporting -name&＃61;mytest
随机写&＃xff1a;
fio -filename&＃61;/dev/sdb1 -direct&＃61;1 -iodepth 1 -thread -rw&＃61;randwrite -ioengine&＃61;psync -bs&＃61;16k -size&＃61;200G -numjobs&＃61;30 -runtime&＃61;1000 -group_reporting -name&＃61;mytest
顺序写&＃xff1a;
fio -filename&＃61;/dev/sdb1 -direct&＃61;1 -iodepth 1 -thread -rw&＃61;write -ioengine&＃61;psync -bs&＃61;16k -size&＃61;200G -numjobs&＃61;30 -runtime&＃61;1000 -group_reporting -name&＃61;mytest
混合随机读写&＃xff1a;
fio -filename&＃61;/dev/sdb1 -direct&＃61;1 -iodepth 1 -thread -rw&＃61;randrw -rwmixread&＃61;70 -ioengine&＃61;psync -bs&＃61;16k -size&＃61;200G -numjobs&＃61;30 -runtime&＃61;100 -group_reporting -name&＃61;mytest -ioscheduler&＃61;noop
三&＃xff0c;实际测试范例&＃xff1a;
[root&＃64;localhost ~]# fio -filename&＃61;/dev/sdb1 -direct&＃61;1 -iodepth 1 -thread -rw&＃61;randrw -rwmixread&＃61;70 -ioengine&＃61;psync -bs&＃61;16k -size&＃61;200G -numjobs&＃61;30 -runtime&＃61;100 -group_reporting -name&＃61;mytest1
mytest1: (g&＃61;0): rw&＃61;randrw, bs&＃61;16K-16K/16K-16K, ioengine&＃61;psync, iodepth&＃61;1
...
mytest1: (g&＃61;0): rw&＃61;randrw, bs&＃61;16K-16K/16K-16K, ioengine&＃61;psync, iodepth&＃61;1
fio 2.0.7
Starting 30 threads
Jobs: 1 (f&＃61;1): [________________m_____________] [3.5% done] [6935K/3116K /s] [423 /190 iops] [eta 48m:20s] s]
mytest1: (groupid&＃61;0, jobs&＃61;30): err&＃61; 0: pid&＃61;23802
read : io&＃61;1853.4MB, bw&＃61;18967KB/s, iops&＃61;1185 , runt&＃61;100058msec
clat (usec): min&＃61;60 , max&＃61;871116 , avg&＃61;25227.91, stdev&＃61;31653.46
lat (usec): min&＃61;60 , max&＃61;871117 , avg&＃61;25228.08, stdev&＃61;31653.46
clat percentiles (msec):
| 1.00th&＃61;[ 3], 5.00th&＃61;[ 5], 10.00th&＃61;[ 6], 20.00th&＃61;[ 8],
| 30.00th&＃61;[ 10], 40.00th&＃61;[ 12], 50.00th&＃61;[ 15], 60.00th&＃61;[ 19],
| 70.00th&＃61;[ 26], 80.00th&＃61;[ 37], 90.00th&＃61;[ 57], 95.00th&＃61;[ 79],
| 99.00th&＃61;[ 151], 99.50th&＃61;[ 202], 99.90th&＃61;[ 338], 99.95th&＃61;[ 383],
| 99.99th&＃61;[ 523]
bw (KB/s) : min&＃61; 26, max&＃61; 1944, per&＃61;3.36%, avg&＃61;636.84, stdev&＃61;189.15
write: io&＃61;803600KB, bw&＃61;8031.4KB/s, iops&＃61;501 , runt&＃61;100058msec
clat (usec): min&＃61;52 , max&＃61;9302 , avg&＃61;146.25, stdev&＃61;299.17
lat (usec): min&＃61;52 , max&＃61;9303 , avg&＃61;147.19, stdev&＃61;299.17
clat percentiles (usec):
| 1.00th&＃61;[ 62], 5.00th&＃61;[ 65], 10.00th&＃61;[ 68], 20.00th&＃61;[ 74],
| 30.00th&＃61;[ 84], 40.00th&＃61;[ 87], 50.00th&＃61;[ 89], 60.00th&＃61;[ 90],
| 70.00th&＃61;[ 92], 80.00th&＃61;[ 97], 90.00th&＃61;[ 120], 95.00th&＃61;[ 370],
| 99.00th&＃61;[ 1688], 99.50th&＃61;[ 2128], 99.90th&＃61;[ 3088], 99.95th&＃61;[ 3696],
| 99.99th&＃61;[ 5216]
bw (KB/s) : min&＃61; 20, max&＃61; 1117, per&＃61;3.37%, avg&＃61;270.27, stdev&＃61;133.27
lat (usec) : 100&＃61;24.32%, 250&＃61;3.83%, 500&＃61;0.33%, 750&＃61;0.28%, 1000&＃61;0.27%
lat (msec) : 2&＃61;0.64%, 4&＃61;3.08%, 10&＃61;20.67%, 20&＃61;19.90%, 50&＃61;17.91%
lat (msec) : 100&＃61;6.87%, 250&＃61;1.70%, 500&＃61;0.19%, 750&＃61;0.01%, 1000&＃61;0.01%
cpu : usr&＃61;1.70%, sys&＃61;2.41%, ctx&＃61;5237835, majf&＃61;0, minf&＃61;6344162
IO depths : 1&＃61;100.0%, 2&＃61;0.0%, 4&＃61;0.0%, 8&＃61;0.0%, 16&＃61;0.0%, 32&＃61;0.0%, >&＃61;64&＃61;0.0%
submit : 0&＃61;0.0%, 4&＃61;100.0%, 8&＃61;0.0%, 16&＃61;0.0%, 32&＃61;0.0%, 64&＃61;0.0%, >&＃61;64&＃61;0.0%
complete : 0&＃61;0.0%, 4&＃61;100.0%, 8&＃61;0.0%, 16&＃61;0.0%, 32&＃61;0.0%, 64&＃61;0.0%, >&＃61;64&＃61;0.0%
issued : total&＃61;r&＃61;118612/w&＃61;50225/d&＃61;0, short&＃61;r&＃61;0/w&＃61;0/d&＃61;0
Run status group 0 (all jobs):
READ: io&＃61;1853.4MB, aggrb&＃61;18966KB/s, minb&＃61;18966KB/s, maxb&＃61;18966KB/s, mint&＃61;100058msec, maxt&＃61;100058msec
WRITE: io&＃61;803600KB, aggrb&＃61;8031KB/s, minb&＃61;8031KB/s, maxb&＃61;8031KB/s, mint&＃61;100058msec, maxt&＃61;100058msec
Disk stats (read/write):
sdb: ios&＃61;118610/50224, merge&＃61;0/0, ticks&＃61;2991317/6860, in_queue&＃61;2998169, util&＃61;99.77%
主要查看以上粗体部分的iops
![Python3爬虫入门：pyspider的基本使用[python爬虫入门]](https://img1.php1.cn/3cdc5/324f/339/9d0ec9721f26646a.jpeg)
京公网安备 11010802041100号