openGauss行存储核心架构及其页面组织详解

行存储的Tuple结构以及页面组织，是行存储DML实现、可见性判断以及行存各种功能与管理机制的基石。

由于行存储是基于磁盘的存储引擎，因此在存储格式的设计中遵从段页式设计，存储结构需要以页面（page）作为单位，以方便与操作系统内核以及文件系统的接口进行交互。也是由于这个原因，页面的大小需要和目标系统中一个block（块）的大小对齐。在比较通用的linux内核中，页面大小默认一般为8192（8k）。一个基本的Heap（堆）页面如图9-3所示：

图9-3 Heap页面示意图

页面开头的位置为整个页面的头部信息，记录了这个页面的公用信息以及一些关键标识。

line_pointer被放置与Header后面，并向页面尾部扩展。line_pointer为指向tuple实际数据的一个指针，类似于sentinel（行指针）的作用。

这里需要一提的是，每个Tuple在系统中的唯一标识，ItemPointer，也被称为CTID，存储的是这一行所在的block number（即页面号）以及其对应的line_pointer的offset（即这个页面中第几个line_pointer）。这样由一个系统内记录的CTID，可以快速定位到这个Tuple的line_pointer，也就可以根据line_pointer的指针快速定位到Tuple的实际数据。

line_pointer的必要性也可以比较容易的总结出来。由于Tuple的数据内容本身可以是变长的，因此如果需要找到一个在页面中间的Tuple，则需要按序遍历页面结构；而line_pointer结构本身为定长，因此可以直接以常数的复杂度找到数据所在内存位置。Line_pointer sentinel的效果也十分明显：line_pointer的存在使得Tuple的对应改动局限于页面内部，而保持全局标识CTID不发生变化；如果没line_pointer，行更新需要连带更新的元信息、索引以及系统各处信息的复杂度就不言而喻了。

被line_pointer指向的行记录本身，则是从页面结尾开始向页面头部延展，这样避免的页面填充过程中可能出现的数据移动以及空间浪费。

页面头部的Header中储存了如下信息：

1. Pd_lsn为最后一次改动此页面事务写下的WAL（系统中一般称为transaction log，简称xlog）的下一位，被xlog机制以及checkpoint机制所使用。
2. Pd_checksum为页面中的checksum，为了检查页面的完整性和一致性使用。
3. Pd_flags是此页面的标识位，可以让上层对此页面进行处理的接口快速识别此页面的一些特征，比如页面是否有空行/页面是否写满、页面是否已经对所有事务全部可见、页面是否被压缩等。
4. Pd_lower和pd_upper是指向页面空闲空间起止的指针，即pd_lower指向下一个line_pointer的位置，而pd_upper指向下一个行记录数据填充的位置，这样既可以快速进行页面的填充修改，也可以方便计算页面的空闲空间。
5. Pd_special指针用于记录一些特殊的存储管理方式以及接口所需的内存区域。
6. pd_prune_xid记录上一次对此页面进行清理的xid。
7. pd_xid_base以及pd_multi_base为这个页面上xid的base，即该页面上所有的记录的xid都由页面自身记录的xid（32位）与base（32位）计算得到，是64位xid的实现方式。

每个记录本身（上文Tuple的数据部分），则是数据库中最基本的数据存储单位，其自身的结构以及记录的信息也是系统中存储方式、DML、事务ACID的关键。如图9-4所示：

图9-4 数据部分结构

1. Xmin是最初始的TransactionID（事务ID，简称XID），即插入此条记录的事务ID。
2. Xmax是删除或更新此条记录的XID。如果此记录未被更改或删除，那么Xmax为0。
3. T_cid记录的是command id，用于一个事务内部多步操作的一种记录与跟踪。
4. T_ctid记录了此条记录的CTID值，或者是更新版本的CTID值。这个会在后面展开DML时讲到。
5. 两个infomask是事务以及存储数据状态的标识位，用于快速判断。

Xmin、xmax两个事务ID、结合其transaction ID（事务ID）映射的Clog（提交日志）、CSN Log，一同构成了可见性判断的核心关键要素.