1 概述

　　在某产品线的图片服务器&＃xff0c;存放了亿级别的图片文件&＃xff0c;每个文件的大小在0.5k-100k之间&＃xff0c;其中1K以下的文件数量在50%左右&＃xff0c;1-4K文件数量在40%左右&＃xff0c;4K以上10%&＃xff0c;大量的文件存储对文件系统的性能要求非常高&＃xff0c;特对目前业界常用系统性能在图片服务的表现进行调研。

　　因线上flash卡故障率非常高&＃xff0c;所以在寻找替代方案&＃xff0c;磁盘是否可以满足线上系统需求&＃xff1f;是否满足今后可扩展性&＃xff08;容量、文件数量&＃xff09;&＃xff1f;是否可以更好的处理数据同步使用时间&＃xff1f;
 

2 预期解决问题

　　1、磁盘是否可以替换flash卡&＃xff1f;
目前发现1Tflash卡故障率极高&＃xff0c;严重时每周多次损坏&＃xff0c;修复数据的时间很长&＃xff0c;最少需要6个小时。
2、测试jfs reiserfs xfs ext2文件系统在图片业务上的性能表现&＃xff08;读写&＃xff09;。

3 测试方法及结果

3.1 测试方法

　　1、模拟线上环境&＃xff0c;进行压力测试

　　搭建一套跟目前线上一样的系统环境&＃xff0c;提取线上7天全部日志&＃xff0c;采用压力工具&＃xff08;可以模拟数据全部返回&＃xff09;进行模拟线上环境进行压力测试&＃xff08;连续压力2小时以上&＃xff09;。

　　2、利用磁盘测试工具&＃xff0c;进行设备性能测试

　　3、通过磁盘占用空间、inode节点数量进行对比

　　4、通过线上数据同步&＃xff0c;测试同步所需时间

3.2 结果分析

　　1、使用磁盘完全可以替代flash

　　从模拟线上产品的压力得出结论使用HP机器采用jfs和ext2文件系统完全可以满足目前线上系统及未来一段时间内需求&＃xff0c;如下表&＃xff1a;

　　注&＃xff1a;使用磁盘需要20分钟充cache&＃xff0c;充cache期间的lighttpd的最大压力值2000.

　　2、图片服务目前的瓶颈在网卡

　　在进行模拟线上压力测试时&＃xff0c;所有文件文件系统除dell-reiserfs外全部可以达到网卡流量峰值1G&＃xff0c;随着时间推迟&＃xff0c;平均值会下降&＃xff0c;但是cpu也会逐渐空闲&＃xff0c;

　　3、在各种文件系统性能在图片服务的业务测试中&＃xff0c;得出如下结果

　　1&＃xff09;Flash卡上的ext2性能比较突出

　　2&＃xff09;磁盘上jfs的表现更适合目前线上业务

　　3&＃xff09;reiserfs的空间占用最小&＃xff0c;比其他文件系统节约空间60%-65%

　　如下表&＃xff1a;

　　4、修改线上图片更新脚本可以减少10%的时间&＃xff0c;

　　5、各文件系统下数据同步时间耗用完全不同&＃xff0c;ext2在flash卡上&＃xff0c;jfs在磁盘的表现非常好。

　　如下表&＃xff1a;

　　6、在磁盘上&＃xff0c;HP机器的小文件处理能力比dell更适合图片服务。

By huanghaibin