逻辑io物理iooracle,物理IO与逻辑IO

物理IO与逻辑IO

2012-12-28 16:38:07|  分类&＃xff1a;webgame|字号订阅

IO性能对于一个系统的影响是至关重要的。一个系统经过多项优化以后&＃xff0c;瓶颈往往落在数据库&＃xff1b;而数据库经过多种优化以后&＃xff0c;瓶颈最终会落到IO。而IO性能的发展&＃xff0c;明显落后于CPU的发展。Memchached也好&＃xff0c;NoSql也好&＃xff0c;这些流行技术的背后都在直接或者间接地回避IO瓶颈&＃xff0c;从而提高系统性能。

IO系统的分层&＃xff1a;

三层结构

上图层次比较多&＃xff0c;但总的就是三部分。磁盘(存储)、VM(卷管理)和文件系统。专有名词不好理解&＃xff0c;打个比方说&＃xff1a;磁盘就相当于一块待用的空地&＃xff1b;LVM相当于空地上的围墙(把空地划分成多个部分)&＃xff1b;文件系统则相当于每块空地上建的楼房(决定了有多少房间、房屋编号如何&＃xff0c;能容纳多少人住)&＃xff1b;而房子里面住的人&＃xff0c;则相当于系统里面存的数据。

文件系统—数据如何存放&＃xff1f;

对应了上图的File System和Buffer Cache。

File System(文件系统)&＃xff1a;解决了空间管理的问题&＃xff0c;即&＃xff1a;数据如何存放、读取。

Buffer Cache&＃xff1a;解决数据缓冲的问题。对读&＃xff0c;进行cache&＃xff0c;即&＃xff1a;缓存经常要用到的数据&＃xff1b;对写&＃xff0c;进行buffer&＃xff0c;缓冲一定数据以后&＃xff0c;一次性进行写入。

VM—磁盘空间不足了怎么办&＃xff1f;

对应上图的Vol Mgmt。

VM其实跟IO没有必然联系。他是处于文件系统和磁盘(存储)中间的一层。VM屏蔽了底层磁盘对上层文件系统的影响。当没有VM的时候&＃xff0c;文件系统直接使用存储上的地址空间&＃xff0c;因此文件系统直接受限于物理硬盘&＃xff0c;这时如果发生磁盘空间不足的情况&＃xff0c;对应用而言将是一场噩梦&＃xff0c;不得不新增硬盘&＃xff0c;然后重新进行数据复制。而VM则可以实现动态扩展&＃xff0c;而对文件系统没有影响。另外&＃xff0c;VM也可以把多个磁盘合并成一个磁盘&＃xff0c;对文件系统呈现统一的地址空间&＃xff0c;这个特性的杀伤力不言而喻。

存储—数据放在哪儿&＃xff1f;如何访问&＃xff1f;如何提高IO速度&＃xff1f;

对应上图的Device Driver、IO Channel和Disk Device

数据最终会放在这里&＃xff0c;因此&＃xff0c;效率、数据安全、容灾是这里需要考虑的问题。而提高存储的性能&＃xff0c;则可以直接提高物理IO的性能

2. Logical IO vs Physical IO

逻辑IO是操作系统发起的IO&＃xff0c;这个数据可能会放在磁盘上&＃xff0c;也可能会放在内存(文件系统的Cache)里。

物理IO是设备驱动发起的IO&＃xff0c;这个数据最终会落在磁盘上。

逻辑IO和物理IO不是一一对应的。

这部分的东西在网络编程经常能看到&＃xff0c;不过在所有IO处理中都是类似的。

IO请求的两个阶段&＃xff1a;

等待资源阶段&＃xff1a;IO请求一般需要请求特殊的资源(如磁盘、RAM、文件)&＃xff0c;当资源被上一个使用者使用没有被释放时&＃xff0c;IO请求就会被阻塞&＃xff0c;直到能够使用这个资源。

使用资源阶段&＃xff1a;真正进行数据接收和发生。

举例说就是排队和服务。

在等待数据阶段&＃xff0c;IO分为阻塞IO和非阻塞IO。

阻塞IO&＃xff1a;资源不可用时&＃xff0c;IO请求一直阻塞&＃xff0c;直到反馈结果(有数据或超时)。

非阻塞IO&＃xff1a;资源不可用时&＃xff0c;IO请求离开返回&＃xff0c;返回数据标识资源不可用

在使用资源阶段&＃xff0c;IO分为同步IO和异步IO。

同步IO&＃xff1a;应用阻塞在发送或接收数据的状态&＃xff0c;直到数据成功传输或返回失败。

异步IO&＃xff1a;应用发送或接收数据后立刻返回&＃xff0c;数据写入OS缓存&＃xff0c;由OS完成数据发送或接收&＃xff0c;并返回成功或失败的信息给应用。

按照Unix的5个IO模型划分

阻塞IO

非阻塞IO

IO复用

信号驱动的IO

异步IO

从性能上看&＃xff0c;异步IO的性能无疑是最好的。

各种IO的特点

阻塞IO&＃xff1a;使用简单&＃xff0c;但随之而来的问题就是会形成阻塞&＃xff0c;需要独立线程配合&＃xff0c;而这些线程在大多数时候都是没有进行运算的。Java的BIO使用这种方式&＃xff0c;问题带来的问题很明显&＃xff0c;一个Socket需要一个独立的线程&＃xff0c;因此&＃xff0c;会造成线程膨胀。

非阻塞IO&＃xff1a;采用轮询方式&＃xff0c;不会形成线程的阻塞。Java的NIO使用这种方式&＃xff0c;对比BIO的优势很明显&＃xff0c;可以使用一个线程进行所有Socket的监听(select)。大大减少了线程数。

同步IO&＃xff1a;同步IO保证一个IO操作结束之后才会返回&＃xff0c;因此同步IO效率会低一些&＃xff0c;但是对应用来说&＃xff0c;编程方式会简单。Java的BIO和NIO都是使用这种方式进行数据处理。

异步IO&＃xff1a;由于异步IO请求只是写入了缓存&＃xff0c;从缓存到硬盘是否成功不可知&＃xff0c;因此异步IO相当于把一个IO拆成了两部分&＃xff0c;一是发起请求&＃xff0c;二是获取处理结果。因此&＃xff0c;对应用来说增加了复杂性。但是异步IO的性能是所有很好的&＃xff0c;而且异步的思想贯穿了IT系统放放面面。

转自&＃xff1a;http://pengjiaheng.iteye.com/blog/847588

&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;

ORACLE-Logical and Physical I/O(知识积累)

2009-12-08 12:53 by 土星的狗狗, 216 阅读, 0 评论, 收藏, 编辑

LOGICAL AND PHYSICAL I/O

LOGICAL I/O 是ORACLE 内核从DATABASE BUFFER CACHE 取得数据。如果内核不能从CACHE中得到数据它将请求操作系统取得数据。

PHYSICAL I/O 是ORACLE 内核从操作系统取得数据&＃xff0c;因为不能从DATABASE BUFFER CACHE中取得数据了。

请注意物理I/O不一定就是磁盘读取&＃xff0c;因为操作系统内部也有BUFFER CACHE&＃xff0c;但是从OARCLE观点来看&＃xff0c;这些读取都是物理I/O

其实实际上我们应该减少的是逻辑I/O而不是物理I/O

1. 逻辑I/O需要LATCHES 或者序列化设备&＃xff0c;这些东西严重的影响了系统的扩展性

2. 如果减少了逻辑I/O&＃xff0c;物理I/O就会自然的执行因为逻辑I/O如果不能成功的话&＃xff0c;那么物理I/O就会起作用

3. 物理I/O并不像想象的那么花费时间&＃xff0c;因为大多数的情况下&＃xff0c;操作系统的CACHE都能够满足要求。

逻辑I/O有下面两个部分组成

1. CONSISTENT GETS

2. DB BLOCK 或者CURRENT GETS