linux文件IOO_DIRECT和O_SYNC详解

原文地址&＃xff1a;https://www.cnblogs.com/suzhou/p/5381738.html

进入正题。

O_DIRECT和O_SYNC是系统调用open的flag参数。通过指定open的flag参数&＃xff0c;以特定的文件描述符打开某一文件。

这两个flag会对写盘的性能有很大的影响&＃xff0c;因此对这两个flag做一些详细的了解。

先看一个open函数的使用例子.

O_DIRECT: 无缓冲的输入、输出。

O_SYNC&＃xff1a;以同步IO方式打开文件。

下面对这两个flag做一些详细的说明。

一&＃xff0c;O_DIRECT&＃xff0c;绕过缓冲区高速缓存&＃xff0c;直接IO

直接IO&＃xff1a;Linux允许应用程序在执行磁盘IO时绕过缓冲区高速缓存&＃xff0c;从用户空间直接将数据传递到文件或磁盘设备&＃xff0c;称为直接IO&＃xff08;direct IO&＃xff09;或者裸IO&＃xff08;raw IO&＃xff09;。

应用场景&＃xff1a;数据库系统&＃xff0c;其高速缓存和IO优化机制均自成一体&＃xff0c;无需内核消耗CPU时间和内存去完成相同的任务。

使用直接IO的弊端&＃xff1a;可能会大大降低性能&＃xff0c;内核对缓冲区告诉缓存做了不少优化&＃xff0c;包括&＃xff1a;按顺序预读取&＃xff0c;在成簇磁盘块上执行IO&＃xff0c;允许访问同一文件的多个进程共享高速缓存的缓冲区。

使用方法&＃xff1a;在调用open函数打开文件或设备时指定O_DIRECT标志。

注意可能发生的不一致性&＃xff1a;若一进程以O_DIRECT标志打开某文件&＃xff0c;而另一进程以普通&＃xff08;即使用了高速缓存缓冲区&＃xff09;打开同一文件&＃xff0c;则由直接IO所读写的数据与缓冲区高速缓存中内容之间不存在一致性&＃xff0c;应尽量避免这一场景。

使用直接IO需要遵守的一些限制&＃xff1a;

• 用于传递数据的缓冲区&＃xff0c;其内存边界必须对齐为块大小的整数倍
• 数据传输的开始点&＃xff0c;即文件和设备的偏移量&＃xff0c;必须是块大小的整数倍
• 待传递数据的长度必须是块大小的整数倍。

不遵守上述任一限制均将导致EINVAL错误。

二&＃xff0c;O_SYNC&＃xff0c;以同步方式写入文件

功能&＃xff1a;强制刷新内核缓冲区到输出文件。这是有必要的&＃xff0c;因为为了数据安全&＃xff0c;需要确保将数据真正写入磁盘或者磁盘的硬件告诉缓存中。

我们先熟悉一下同步IO相关定义和系统调用。

同步IO数据完整性和同步IO文件完整性

同步IO的定义&＃xff1a;某一IO操作&＃xff0c;要么已成功完成到磁盘的数据传递&＃xff0c;要么被诊断为不成功。

SUSv3定义的两种同步IO完成类型&＃xff08;此处用英文&＃xff0c;因为译者也忍无可忍用了原文…&＃xff09;

• synchronized IO data integrity completion&＃xff1a;确保针对文件的一次更新传递了足够的信息&＃xff08;部分文件元数据&＃xff09;到磁盘&＃xff0c;以便于之后对数据的获取。
• synchronized IO file integrity completion&＃xff1a;确保针对文件的一次更新传递了所有的信息&＃xff08;所有文件元数据&＃xff09;到磁盘&＃xff0c;即使有些在后续对文件数据的操作并不需要。

用于控制文件IO内核缓冲的系统调用

1 fsync

作用&＃xff1a;fsync()系统调用将使缓冲数据和fd相关的所有元数据都刷新到磁盘上。调用fsync会强制使文件处于Synchronized IO file integrity completion状态。

函数声明&＃xff1a;


函数返回值&＃xff1a;

• 0: success
• -1: error

返回时间&＃xff1a;仅在对磁盘设备&＃xff08;或者至少是其高速缓存&＃xff09;的传递完成后&＃xff0c;fsync()调用才会返回。

2 fdatasync

作用&＃xff1a;fdatasync()系统调用的作用类似fsync()&＃xff0c;只是强制文件处于synchronized IO data integrity compeletion状态。

函数声明&＃xff1a;


函数返回值&＃xff1a;

• 0: success
• -1: error

与fsync的区别&＃xff1a;fdatasync()可能会减少磁盘操作的次数&＃xff0c;由fsync()调用请求的两次变成一次。例如&＃xff0c;修改了文件的数据&＃xff0c;而文件大小不变&＃xff0c;那么调用fdatasync调用请求只强制进行了数据更新&＃xff0c;相比之下&＃xff0c;fsync()调用会强制将元数据传递到磁盘上&＃xff0c;而元数据和文件数据通常驻留在磁盘的不同区域&＃xff0c;更新这些数据需要反复在整个磁盘上执行寻道操作。

3 sync系统调用

作用&＃xff1a;sync()系统调用会使包含更新文件信息的所有内核缓冲区&＃xff08;即数据块、指针块、元数据等&＃xff09;刷新到磁盘上。

函数声明&＃xff1a;


细节&＃xff1a;若内容发生变化的内核缓冲区在30s内未经显式方式同步到磁盘上&＃xff0c;则一条长期运行的内核线程会确保将其刷新到磁盘上。这一做法是为了规避缓冲区与相关磁盘文件内容长期处于不一致状态。

4 使所有写入同步&＃xff1a;O_SYNC

调用open()函数时&＃xff0c;如制定O_SYNC标志&＃xff0c;则会使所有后续输出同步。


作用&＃xff1a;调用open后&＃xff0c;每个write调用会自动将文件数据和元数据刷新到磁盘上&＃xff0c;即按照Synchronized IO file integrity completion的要求执行写操作。

5 有无O_SYNC性能对比

场景&＃xff1a;将一百万字节写入一个ext2文件系统上的新创建文件&＃xff0c;比较写入时间。

对比结果&＃xff1a;

从结果中可以得到的结论&＃xff1a;

• 采用O_SYNC标志&＃xff08;或者频繁调用fsync(), fdatasync()或sync()&＃xff09;对性能影响极大。
• 性能下降的直接表现为运行总用时大为增加&＃xff1a;在缓冲区为1字节的情况下&＃xff0c;运行时间相差1000多倍。
• 以O_SYNC标志执行写操作时运行总用时和CPU时间之间的巨大差异&＃xff08;1030 - 98.8&＃xff09;&＃xff0c;原因是系统在每个缓冲区中将数据向磁盘传递时会把程序阻塞起来。

 三&＃xff0c;IO缓冲层次关系

先总结一下stdio函数库和内核采用的缓冲这两级缓冲&＃xff0c;然后用图说明两层缓冲机制和各种缓冲类型的控制机制。

• 首先&＃xff0c;通过stdio库将用户数据传递到stdio缓冲区&＃xff0c;该缓冲区位于用户态内存区。
• 当缓冲区填满&＃xff0c;stdio库会调用write()系统调用&＃xff0c;将数据传递到内核高速缓冲区&＃xff0c;该缓冲区位于内核态内存区。
• 最终&＃xff0c;内核发起磁盘操作。

该层次结构如下图所示

上图中&＃xff0c;左侧虚线方框中为可于任何时刻显式强制刷新各类缓冲区的调用。

右侧所示为促使刷新自动化的调用&＃xff1a;通过禁用stdio的缓冲&＃xff0c;和在文件输出类的系统调用中启用同步&＃xff0c;从而使每个write()调用立刻刷新到磁盘。

四&＃xff0c;小结

输入输出数据的缓冲由内核和stdio库完成。有时可能希望阻止缓冲&＃xff0c;但这需要了解其对应用程序性能的影响。

可以使用各种系统调用和库函数来控制内核和stdio缓冲&＃xff0c;并执行一次性的缓冲区刷新。

在Linux环境下&＃xff0c;open()所特有的O_DIRECT标识允许特定应用跳过缓冲区高速缓存。