Astudyoflinuxfilesystemevolution阅读笔记（文件系统补丁）

这篇论文跟普通的论文是区别的&＃xff0c;它并不是针对现有问题&＃xff0c;提出一个新颖的解决方案&＃xff0c;然后对其进行测试评估。

这篇论文主要是对文件系统的代码发展做了一个全面的研究。通过分析linux文件系统8年来在5097个补丁之间的改变。在文件系统开发的过程中&＃xff0c;我们获得了很多新颖的&＃xff08;有时候是惊人的&＃xff09;观察。我们的结果对于文件系统开发本身和bug查找工具的发展都是十分有用的

开源的本地文件系统&＃xff0c;比如linux的ext4&＃xff0c;XFS&＃xff0c;btrfs&＃xff0c;仍然是现在存储界的关键组件。比如&＃xff0c;很多最近的分布式文件系统会跨本地文件系统复制数据对象&＃xff08;和相关的元数据&＃xff09;&＃xff0c;比如google GFS和Hadoop的DFS。在手机上&＃xff0c;大多数的用户数据都被本地文件系统管理。比如google android phones使用ext4和苹果的IOS设备使用HFSX。而且&＃xff0c;桌面用户仍然不会定期备份他们的数据。在这种情况下&＃xff0c;本地文件系统明显扮演了一个至关重要的角色&＃xff0c;作为唯一的用户数据管理。

开源的本地文件系统仍然是一个移动目标。不同团队因为不同目的开发文件系统&＃xff0c;这些文件系统加入新的特性使其快速进化&＃xff0c;修复bugs&＃xff0c;提高性能和可靠性。每几年都有很多新的文件系统被介绍。随着最近几年技术的改变&＃xff08;FLASH&＃xff09;&＃xff0c;在这一领域&＃xff0c;我们可以期待甚至更多变化。

进一步分解bug的分类。我们发现语义bugs是bug的主要类型&＃xff0c;大约占了50%。并发bugs是第二常见的bugs&＃xff0c;大约占了20%左右。剩余的bugs分别为内存bugs和不正确的纠错码处理。在内存bugs分类中&＃xff0c;内存泄露和空指针间接引用是最常见的。

我们一样从不同角度对bugs进行分类&＃xff0c;以获取更进步一步的见解。我们发现我们研究的很多错误都会导致系统崩溃或者corruption&＃xff0c;因此这是非常严重的。这些bugs主要包括语义&＃xff0c;并发&＃xff0c;内存&＃xff0c;纠错码bugs。以数据结构分类&＃xff0c;我们发现btrees每行代码的错误相对较少。当以bugs是否发生在正常情况下还是发生在故障处理的过程中分类&＃xff0c;我们发现&＃xff0c;40%的bugs发生在故障处理的过程中。

1.为什么研究是有用的&＃xff1f;

研究驱动系统的设计&＃xff1a;之前的研究关注的是测试&＃xff0c;很少有关注系统的发展。对系统发展的研究&＃xff0c;可以回答以下几个重要问题&＃xff1a;1.文件系统的复杂性 2.主要的bugs类型 3.性能优化 4.可靠性增强 5文件系统之间的相似性

2.怎么研究&＃xff1f;

手动补丁检查&＃xff1a;

XFS,EXT4&＃xff0c;BTRFS,EXT3&＃xff0c;REISERFS,JFS,

LINUX 2.6 系列

5079个补丁

分析&＃xff1a;

补丁类型&＃xff0c;bug模式&＃xff0c;结果

性能和可靠性技术

提供一个注释数据集&＃xff1a;

丰富的数据为了进一步分析

3.主要结果

bugs是普遍存在的

语义bugs占主导地位

bugs 是constant

corruption和crash是非常普遍的情况

元数据的管理会出现更多的bugs

在故障处理过程中是更容易出错的

各种性能技术被使用

在这一章节中&＃xff0c;我们首先对我们的目标文件系统做一个间断的描述&＃xff0c;然后&＃xff0c;我们以详细的列子阐述我们怎样分析补丁。最后我们讨论我们方法的局限性。

对于文件系统的选择&＃xff0c;主要包括不同的可靠性特征&＃xff08;物理日志&＃xff0c;逻辑日志&＃xff0c;校验和&＃xff0c;写时复制&＃xff09;&＃xff0c;数据结构&＃xff08;hash表&＃xff0c;间接块&＃xff0c;扩展映射表&＃xff0c;树&＃xff09;&＃xff0c;性能优化&＃xff08;异步线程池&＃xff0c;扩展算法&＃xff0c;缓存&＃xff0c;SSD设备块分配&＃xff09;&＃xff0c;更高级的特征&＃xff08;预分配&＃xff0c;快照&＃xff0c;卷&＃xff09;&＃xff0c;成熟度&＃xff08;稳定&＃xff0c;仍在开发&＃xff09;。

根据以上原因&＃xff0c;我们选择以下6个文件系统和他们的相关模块&＃xff1a;Ext3 with JBD [47], Ext4 with JBD2 [31], XFS [46], Btrfs [30], ReiserFS [13], and JFS [10].

对于patch的分析&＃xff0c;我们举个例子来说明&＃xff0c;这个例子是关于解决可能的内存空指针问题。

patch header&＃xff1a;

总结&＃xff1a;

patch概览&＃xff1a;

类型&＃xff1a;bug

bug分析&＃xff1a;

模式&＃xff1a;内存&＃xff08;空指针&＃xff09;

结果&＃xff1a;crash

数据结构&＃xff1a;super 

工具:coverity

1.补丁是做什么的&＃xff1f;

2.bugs是什么样的

3.bugs会随着时间的推移减少吗&＃xff1f;

4.bugs会导致的结果

5.文件系统的复杂性体现在哪&＃xff1f;

6.什么性能技术被使用

下面针对以上几个问题进行深入研究&＃xff1a;

补丁分为以下5中类型&＃xff1a;bug补丁&＃xff0c;性能补丁&＃xff0c;可靠性补丁&＃xff0c;特征补丁&＃xff0c;维护补丁&＃xff0c;各类补丁的具体描述见下图。

         bugs的类型分为语义bugs&＃xff0c;并发bugs&＃xff0c;内存bugs&＃xff0c;纠错码bugs。

语义bugs指的是错误的设计和实现&＃xff08;错误的状态更新&＃xff0c;错误的设计&＃xff09;

并发bugs指的是错误的并发行为&＃xff08;没有解锁&＃xff0c;死锁&＃xff09;

内存bugs是指错误操作内存对象&＃xff08;资源泄露&＃xff0c;空指针间接引用&＃xff09;

纠错码bugs是指丢失或者错误的纠错码操作

          在整个文件系统的生命周期里&＃xff0c;bugs的修复是个不间断的过程。

        bugs导致以下几种结果&＃xff1a;

            数据损坏和系统崩溃是最常见的情况。

结论&＃xff1a;各种各样的性能技术在文件系统中被广泛使用。

最后&＃xff0c;作者给出了做了注释的数据集。

Our dataset is released
     ➡ http://research.cs.wisc.edu/wind/Traces/fs-patch/