linux进阶08——I/O（一）：五大I/O模型

1.1 用户空间和内核空间

现在操作系统都是采用虚拟存储器&＃xff0c;那么对32位操作系统而言&＃xff0c;它的寻址空间&＃xff08;虚拟存储空间&＃xff09;为4G&＃xff08;2的32次方&＃xff09;。操作系统的核心是内核&＃xff0c;独立于普通的应用程序&＃xff0c;可以访问受保护的内存空间&＃xff0c;也有访问底层硬件设备的所有权限。为了保证用户进程不能直接操作内核&＃xff08;kernel&＃xff09;&＃xff0c;保证内核的安全&＃xff0c;操心系统将虚拟空间划分为两部分&＃xff0c;一部分为内核空间&＃xff0c;一部分为用户空间。针对linux操作系统而言&＃xff0c;将最高的1G字节&＃xff08;从虚拟地址0xC0000000到0xFFFFFFFF&＃xff09;&＃xff0c;供内核使用&＃xff0c;称为内核空间&＃xff0c;而将较低的3G字节&＃xff08;从虚拟地址0x00000000到0xBFFFFFFF&＃xff09;&＃xff0c;供各个进程使用&＃xff0c;称为用户空间。

1.2 进程切换

为了控制进程的执行&＃xff0c;内核必须有能力挂起正在CPU上运行的进程&＃xff0c;并恢复以前挂起的某个进程的执行。这种行为被称为进程切换。因此可以说&＃xff0c;任何进程都是在操作系统内核的支持下运行的&＃xff0c;是与内核紧密相关的。 进程切换很消耗资源。

1.3 进程阻塞

正在执行的进程&＃xff0c;由于期待的某些事件未发生&＃xff0c;如请求系统资源失败、等待某种操作的完成、新数据尚未到达或无新工作做等&＃xff0c;则由系统自动执行阻塞原语(Block)&＃xff0c;使自己由运行状态变为阻塞状态。可见&＃xff0c;进程的阻塞是进程自身的一种主动行为&＃xff0c;也因此只有处于运行态的进程&＃xff08;获得CPU&＃xff09;&＃xff0c;才可能将其转为阻塞状态。当进程进入阻塞状态&＃xff0c;是不占用CPU资源的。

1.4  文件描述符

文件描述符&＃xff08;File descriptor&＃xff09;是计算机科学中的一个术语&＃xff0c;是一个用于表述指向文件的引用的抽象化概念。有时也叫它文件句柄

文件描述符在形式上是一个非负整数。实际上&＃xff0c;它是一个索引值&＃xff0c;指向内核为每一个进程所维护的该进程打开文件的记录表。当程序打开一个现有文件或者创建一个新文件时&＃xff0c;内核向进程返回一个文件描述符。在程序设计中&＃xff0c;一些涉及底层的程序编写往往会围绕着文件描述符展开。但是文件描述符这一概念往往只适用于UNIX、Linux这样的操作系统。

1.5 缓存I/O

缓存 I/O 又被称作标准 I/O&＃xff0c;大多数文件系统的默认 I/O 操作都是缓存 I/O。在 Linux 的缓存 I/O 机制中&＃xff0c;操作系统会将 I/O 的数据缓存在文件系统的页缓存&＃xff08; page cache &＃xff09;中&＃xff0c;也就是说&＃xff0c;数据会先被拷贝到操作系统内核的缓冲区中&＃xff0c;然后才会从操作系统内核的缓冲区拷贝到应用程序的地址空间。

数据在传输过程中需要在应用程序地址空间和内核进行多次数据拷贝操作&＃xff0c;这些数据拷贝操作所带来的 CPU 以及内存开销是非常大的。

在Linux中&＃xff0c;对于一次I/O读取的操作&＃xff0c;数据并不会直接拷贝到程序的程序缓冲区。通常包括两个不同阶段&＃xff1a;

• 等待数据准备好&＃xff0c;到达内核空间 (Waiting for the data to be ready) &＃xff1b;
• 从内核向进程复制数据 (Copying the data from the kernel to the process)

对于一个套接字上的输入操作&＃xff0c;第一步通常涉及等待数据从网络中到达。当所有等待分组到达时&＃xff0c;它被复制到内核中的某个缓冲区。第二步就是把数据从内核缓冲区复制到应用程序缓冲区。

3.1 同步阻塞IO&＃xff08;blocking IO&＃xff09;

同步阻塞IO模型是最简单的IO模型&＃xff0c;用户线程在内核进行IO操作时被阻塞。

用户线程通过系统调用read发起IO读操作&＃xff0c;由用户空间转到内核空间。内核等到数据包到达后&＃xff0c;然后将接收的数据拷贝到用户空间&＃xff0c;完成read操作。

用户线程使用同步阻塞IO模型的伪代码描述为&＃xff1a;

{...read(socket, buffer);process(buffer);...
}

即用户需要等待read将socket中的数据读取到buffer后&＃xff0c;才继续处理接收的数据。整个IO请求的过程中&＃xff0c;用户线程是被阻塞的&＃xff0c;这导致用户在发起IO请求时&＃xff0c;不能做任何事情&＃xff0c;对CPU的资源利用率不够。

3.2 同步非阻塞IO&＃xff08;nonblocking IO)

同步非阻塞IO是在同步阻塞IO的基础上&＃xff0c;将socket设置为NONBLOCK。这样做用户线程可以在发起IO请求后可以立即返回。

由于socket是非阻塞的方式&＃xff0c;因此用户线程发起IO请求时立即返回。但并未读取到任何数据&＃xff0c;用户线程需要不断地发起IO请求&＃xff0c;直到数据到达后&＃xff0c;才真正读取到数据&＃xff0c;继续执行。

用户线程使用同步非阻塞IO模型的伪代码描述为&＃xff1a;

{while(read(socket, buffer) !&＃61; SUCCESS){// 轮询等待}process(buffer);
}

即用户需要不断地调用read&＃xff0c;尝试读取socket中的数据&＃xff0c;直到读取成功后&＃xff0c;才继续处理接收的数据。整个IO请求的过程中&＃xff0c;虽然用户线程每次发起IO请求后可以立即返回&＃xff0c;但是为了等到数据&＃xff0c;仍需要不断地轮询、重复请求&＃xff0c;消耗了大量的CPU的资源。一般很少直接使用这种模型&＃xff0c;而是在其他IO模型中使用非阻塞IO这一特性。

3.3 IO多路复用&＃xff08;IO multiplexing&＃xff09;

IO多路复用模型是建立在内核提供的多路分离函数select基础之上的&＃xff0c;使用select函数可以避免同步非阻塞IO模型中轮询等待的问题。

用户首先将需要进行IO操作的socket添加到select中&＃xff0c;然后阻塞地等待select系统调用返回。当数据到达时&＃xff0c;socket被激活&＃xff0c;select函数返回。用户线程正式发起read请求&＃xff0c;读取数据并继续执行。

从流程上来看&＃xff0c;使用select函数进行IO请求和同步阻塞模型没有太大的区别&＃xff0c;甚至还多了添加监视socket&＃xff0c;以及调用select函数的额外操作&＃xff0c;效率更差。但是&＃xff0c;使用select以后最大的优势是用户可以在一个线程内同时处理多个socket的IO请求。用户可以注册多个socket&＃xff0c;然后不断地调用select读取被激活的socket&＃xff0c;即可达到在同一个线程内同时处理多个IO请求的目的。而在同步阻塞模型中&＃xff0c;必须通过多线程的方式才能达到这个目的。

用户线程使用select函数的伪代码描述为&＃xff1a;

{select(socket);while(1){sockets &＃61; select();for(socket in sockets) {if(can_read(socket)) {read(socket, buffer);process(buffer);}else if(can_write(socket)){write(socket, buffer);process(buffer);}else{// ....}}}
}

3.4 信号驱动IO&＃xff08;signal driven IO&＃xff09;

使用信号&＃xff0c;让内核在文件描述符就绪的时候使用 SIGIO 信号来通知我们。我们将这种模式称为信号驱动 I/O 模式。

允许Socket使用信号驱动 I/O &＃xff0c;还要注册一个 SIGIO 的处理函数&＃xff0c;这时的系统调用将会立即返回。然后我们的程序可以继续做其他的事情&＃xff0c;当数据就绪时&＃xff0c;进程收到系统发送一个 SIGIO 信号&＃xff0c;可以在信号处理函数中调用IO操作函数处理数据

3.5 异步IO&＃xff08;asynchronous IO&＃xff09;

Linux下的异步IO其实用得很少 &＃xff0c;著名的高性能网络框架netty 5.0版本被废弃的原因便是&＃xff1a;使用异步IO提升效率&＃xff0c;增加了复杂性&＃xff0c;却并且没有显示出明显的性能优势。

第一阶段&＃xff1a;当在异步 I/O 模型下时&＃xff0c;用户进程如果想进行 I/O 操作&＃xff0c;只需进行系统调用&＃xff0c;告知内核要进行 I/O 操作&＃xff0c;此时内核会马上返回&＃xff0c; 用户进程 就可以去处理其他的逻辑了 。

第二阶段&＃xff1a;当内核完成所有的 I/O 操作和数据拷贝后&＃xff0c;内核将通知我们的程序&＃xff0c;此时数据已经在用户空间了,可以对数据进行处理了

前四种I/O模型都是同步I/O操作&＃xff0c;他们的区别在于第一阶段&＃xff0c;而他们的第二阶段是一样的。

在数据从内核复制到应用缓冲区期间&＃xff08;用户空间&＃xff09;&＃xff0c;进程阻塞于系统调用。相反&＃xff0c;异步I/O模型在这等待数据和接收数据的这两个阶段里面都是非阻塞的&＃xff0c;可以处理其他的逻辑&＃xff0c;用户进程将整个IO操作交由内核完成&＃xff0c;内核完成后会发送通知。在此期间&＃xff0c;用户进程不需要去检查IO操作的状态&＃xff0c;也不需要主动的去拷贝数据。

同步和异步的概念描述的是用户线程与内核的交互方式&＃xff1a;同步是指用户线程发起IO请求后需要等待或者轮询内核IO操作完成后才能继续执行&＃xff1b;而异步是指用户线程发起IO请求后仍继续执行&＃xff0c;当内核IO操作完成后会通知用户线程&＃xff0c;或者调用用户线程注册的回调函数。

阻塞和非阻塞的概念描述的是用户线程调用内核IO操作的方式&＃xff1a;阻塞是指IO操作需要彻底完成后才返回到用户空间&＃xff1b;而非阻塞是指IO操作被调用后立即返回给用户一个状态值&＃xff0c;无需等到IO操作彻底完成