mysql系列之InnoDB存储引擎结构详解

前言

InnoDB是Mysql数据库中最重要的存储引擎&＃xff0c;搞清楚它的结构对理解它的各种机制的实现原理非常重要。今天和大家一起分享下InnoDB的结构。

一、InnoDB结构

由图可知&＃xff1a;
InnoDB的底层结构主要由2部分组成&＃xff1a;内存结构和磁盘结构。

二、内存结构详解

1、Buffer Pool

缓冲池是主内存中的一个区域&＃xff0c;InnoDB在访问表和索引数据时会在其中进行缓存。 缓冲池允许直接从内存中处理经常使用的数据&＃xff0c;从而加快了处理速度。 在专用服务器上&＃xff0c;通常将多达80&＃xff05;的物理内存分配给缓冲池。
缓存的单位是页&＃xff0c;使用LRU算法的变体将很少使用的数据从缓存中老化掉。

InnoDB的缓冲池缓存什么&＃xff1f;有什么用&＃xff1f;
缓存表数据与索引数据&＃xff0c;把磁盘上的数据加载到缓冲池&＃xff0c;避免每次访问都进行磁盘IO&＃xff0c;起到加速访问的作用。

总结&＃xff1a;
&＃xff08;1&＃xff09;缓冲池(buffer pool)是一种常见的降低磁盘访问的机制&＃xff1b;
&＃xff08;2&＃xff09;缓冲池通常以页(page)为单位缓存数据&＃xff0c;缓存最热的数据页(data page)与索引页(index page)&＃xff1b;
&＃xff08;3&＃xff09;缓冲池的常见管理算法是LRU。memcache&＃xff0c;OS&＃xff0c;InnoDB都使用了这种算法&＃xff1b;
&＃xff08;4&＃xff09;InnoDB对普通LRU进行了优化&＃xff1a;

缓冲池使用最近最少使用&＃xff08;LRU&＃xff09;算法的变体对缓冲数据的列表进行管理。 按照5:3的比例将Buffer pool空间划分成年轻代和老年代。
1、年轻代的头部是经常被访问的数据。
2、在老年代的尾部是很少被访问的数据。
什么时候需要一个空间向缓冲池中添加新页面时&＃xff0c;删除老年代最近最少使用的页面&＃xff08;最尾部的页&＃xff09;&＃xff0c;并创建一个新页面添加到列表的中间。

2、Change Buffer

什么是InnoDB的写缓冲&＃xff1f;
在MySQL5.5之前&＃xff0c;叫插入缓冲(insert buffer)&＃xff0c;只针对insert做了优化&＃xff1b;现在对delete和update也有效&＃xff0c;叫做写缓冲(change buffer)。

Change Buffer是缓存那些不在buffer pool里的辅助索引的变化的特殊数据结构 。
在辅助索引发生改变时&＃xff0c;如果辅助索引在buffer pool里面就会直接进行修改。如果发生变化的辅助索引页不在buffer pool里&＃xff0c;则由Change Buffer先缓存这些辅助索引页的变更动作。等未来辅助索引页被读取时&＃xff0c;再将数据再将数据合并(merge)恢复到缓冲池中的技术。写缓冲的目的是降低写操作的磁盘IO&＃xff0c;提升数据库性能。

在内存中&＃xff0c;Change Buffer是缓冲池的一个组成部分。在磁盘上&＃xff0c;Change Buffer是system tablespace&＃xff08;系统表空间&＃xff09;的一部分&＃xff0c;当数据库宕机时&＃xff0c;索引的变更会被缓冲到磁盘的Change Buffer区域。

总结&＃xff1a;
1、写缓冲只有在要修改的辅助索引页不在buffer pool内时&＃xff0c;才会将写入操作缓存在change buffer
2、定期对写辅助索引页的changes buffer进行合并&＃xff0c;写到到buffer pool 中
3、change buffer既包含内存结构&＃xff0c;也包含磁盘结构。内存中的change buffer主要是缓冲辅助索引的变更操作&＃xff0c;以便对变更操作进行合并&＃xff0c;提高对辅助索引修改效率。
磁盘部分的change buffer主要是数据库宕机时&＃xff0c;会将索引的变更缓冲到磁盘的Change Buffer区域。

为什么change buffer只对辅助索引生效&＃xff1f;
以insert新增操作为例&＃xff0c;插入顺序一般是按照主键递增顺序进行插入的&＃xff0c;插入聚集索引&＃xff08;主键索引&＃xff09;一般是顺序的&＃xff0c;不需要磁盘的随机读取。这种情况下对聚集索引的修改速度是非常快的&＃xff0c;所以不需要进行写缓冲。
而对于辅助索引的插入或者更新操作&＃xff0c;由于B&＃43;树的索引结构的特性决定了辅助索引插入的离散型。所以&＃xff0c;对于辅助索引的插入或者更新操作&＃xff0c;InnoDB中不是每一次都直接插入到索引页中&＃xff0c;而是先判断插入的辅助索引页是否在缓存区中&＃xff0c;若在直接插入&＃xff1b;若不在&＃xff0c;则先放入到change buffer中&＃xff0c;然后再以一定频率和情况进行change buffer和辅助索引页子节点的merge&＃xff08;合并&＃xff09;操作&＃xff0c;这时通常能将多个插入合并到一个操作中&＃xff08;因为在一个索引页中&＃xff09;&＃xff0c;这就大大提高了对于辅助索引插入的性能。

3、自适应hash索引&＃xff08;Adaptive Hash Index&＃xff09;

InnoDB存储引擎会监控对表上各索引页的查询&＃xff0c;如果观察到建立hash索引可以提高查询速度&＃xff0c;则自动建立hash索引。这就是自适应哈希索引&＃xff08;Adaptive Hash Index&＃xff0c;AHI&＃xff09;
AHI是通过缓存池的B&＃43;树页构造而来&＃xff0c;因此建立的速度很快&＃xff0c;而且不需要对整张表构建hash索引。
InnoDB存储引擎会自动根据访问的频率和模式来自动的为某些热点也建立hash索引。

从这个层面上来说&＃xff0c;InnoDB的自使用哈希索引&＃xff0c;更像“索引的索引”&＃xff0c;毕竟其目的是为了加速索引寻路。

AHI的要求&＃xff1a;
1、对页连续访问的模式必须是一样的&＃xff0c;即查询条件一样。
2、hash索引只能用来搜索等值的查询

4、Log Buffer

日志缓冲区是用于保存要写入磁盘上的日志文件数据的内存区域。
日志缓冲区大小由innodb_log_buffer_size变量定义&＃xff0c; 默认大小为16MB。 日志缓冲区的内容定期刷新到磁盘。 较大的日志缓冲区使大型事务可以运行&＃xff0c;而无需在事务提交之前将redo日志数据写入磁盘。 因此&＃xff0c;如果您有更新&＃xff0c;插入或删除许多行的事务&＃xff0c;则增加日志缓冲区的大小可以节省磁盘I / O。
innodb_flush_log_at_trx_commit变量控制如何将日志缓冲区的内容写入并刷新到磁盘。 innodb_flush_log_at_timeout变量控制日志刷新频率。

为什么要有 Log Buffer&＃xff1f;
事务提交后&＃xff0c;必须将事务对数据页的修改刷(fsync)到磁盘上&＃xff0c;才能保证事务的ACID特性。
这个刷盘&＃xff0c;是一个随机写&＃xff0c;随机写性能较低&＃xff0c;如果每次事务提交都刷盘&＃xff0c;会极大影响数据库的性能。
日志缓冲区使大型事务可以运行&＃xff0c;而无需在事务提交之前将redo日志数据写入磁盘&＃xff0c;节省了磁盘I/O.

log buffer刷写的三种策略&＃xff1a;

为了满足不用业务对于吞吐量与一致性的需求&＃xff0c;MySQL事务提交时刷redo log有三种策略&＃xff1a;innodb_flush_log_at_trx_commit
&＃xff08;1&＃xff09;0&＃xff1a;每秒写入一次日志并将其刷新到磁盘。 尚未刷新日志的事务可能会在崩溃中丢失。
&＃xff08;2&＃xff09;1&＃xff1a;要完全符合ACID&＃xff0c;必须使用默认设置1。 日志在每次事务提交时写入并刷新到磁盘。
&＃xff08;3&＃xff09;2&＃xff1a;日志在每次事务提交后写入&＃xff0c;并每秒刷新一次到磁盘。 尚未刷新日志的事务可能会在崩溃中丢失。
这里的写入都只是写入到系统的OS Cache中&＃xff0c;如果不刷写到redo log中&＃xff0c;数据可能在崩溃中丢失。

高并发业务&＃xff0c;行业最佳实践&＃xff0c;是使用第三种折衷配置&＃xff08;&＃61;2&＃xff09;&＃xff0c;这是因为&＃xff1a;
&＃xff08;1&＃xff09;配置为2和配置为0&＃xff0c;性能差异并不大&＃xff0c;因为将数据从Log Buffer拷贝到OS cache&＃xff0c;虽然跨越用户态与内核态&＃xff0c;但毕竟只是内存的数据拷贝&＃xff0c;速度很快&＃xff1b;
&＃xff08;2&＃xff09;配置为2和配置为0&＃xff0c;安全性差异巨大&＃xff0c;操作系统崩溃的概率相比MySQL应用程序崩溃的概率&＃xff0c;小很多&＃xff0c;设置为2&＃xff0c;只要操作系统不奔溃&＃xff0c;也绝对不会丢数据。

高并发业务&＃xff0c;行业内的最佳实践&＃xff0c;是&＃xff1a;
innodb_flush_log_at_trx_commit&＃61;2

总结

主要是介绍了InnoDB引擎的结构&＃xff0c;对内存结构的各个组成部分进行了重点说明。
1、InnoDB引擎的结构分为内存结构和磁盘结构。
2、内存结构由缓冲池&＃xff08;Buffer Pool&＃xff09;&＃xff0c;写缓冲&＃xff08;Change Buffer&＃xff09;&＃xff0c;日志缓冲&＃xff08; Log Buffer&＃xff09;&＃xff0c;自适应hash索引&＃xff08;Adaptive Hash Index&＃xff09;组成。
3、缓冲池&＃xff08;Buffer Pool&＃xff09;主要是缓存表数据与索引数据&＃xff0c;加快访问速度。内部采用基于LRU算法的变体算法来管理缓存对象。
4、写缓冲&＃xff08;Change Buffer&＃xff09;主要是缓存辅助索引的更新操作&＃xff0c;加快辅助索引的更新速度。
5、日志缓冲&＃xff08; Log Buffer&＃xff09;使大型事务可以运行&＃xff0c;而无需在事务提交之前将redo日志数据写入磁盘&＃xff0c;节省了磁盘I/O。注意事务提交时刷redo log有三种策略。

欢迎评论交流