postgres预写式日志的内核实现详解heap2类型

  导读&＃xff1a;

    postgres预写式日志的内核实现详解-概述

heap2(RM_HEAP2_ID)是数据库对heap的修改产生的wal记录&＃xff08;heap除去&＃xff09;&＃xff0c;如下为heap2类型的wal子类型

#define XLOG_HEAP2_REWRITE 0x00
#define XLOG_HEAP2_CLEAN 0x10
#define XLOG_HEAP2_FREEZE_PAGE 0x20
#define XLOG_HEAP2_CLEANUP_INFO 0x30
#define XLOG_HEAP2_VISIBLE 0x40
#define XLOG_HEAP2_MULTI_INSERT 0x50
#define XLOG_HEAP2_LOCK_UPDATED 0x60
#define XLOG_HEAP2_NEW_CID 0x70

XLOG_HEAP2_MULTI_INSERT

这种wal子类型在copy命令向表中插入数据时产生。代码在heap_multi_insert()函数中。redo函数为heap_xlog_multi_insert()。

描述结构体

typedef struct xl_heap_multi_insert
{uint8 flags;uint16 ntuples;OffsetNumber offsets[FLEXIBLE_ARRAY_MEMBER];
} xl_heap_multi_insert;

ntuples:这个mutinsert wal记录中&＃xff0c;包含的tuple的个数。

offsets&＃xff1a;每一个tuple的在其page的相对位置。

flags&＃xff1a;标志位

#define XLH_INSERT_ALL_VISIBLE_CLEARED (1<<0)// VM稳健性相关
#define XLH_INSERT_LAST_IN_MULTI (1<<1)//一次copy命令产生的最后一个muti insert记录会有此标记&＃xff0c;logicaldecoding使用
#define XLH_INSERT_IS_SPECULATIVE (1<<2)//预测插入
#define XLH_INSERT_CONTAINS_NEW_TUPLE (1<<3)//即使fpw也要写入元组数据

此wal类型中可能包含的数据

①xl_heap_multi_insert结构体&＃xff1a;一定存在&＃xff0c;通过XLogRegisterData()注册

②插入的元组所在的page数据&＃xff1a;可能存在&＃xff0c;使用XLogRegisterBuffer&＃xff08;&＃xff09;注册。

③插入的元组数据&＃xff1a;可能存在&＃xff0c;使用XLogRegisterBufData&＃xff08;&＃xff09;注册。

一个copy命令可能插入很多个page的数据。一个muti insert记录里的所有元组必须插入到同一个page里。因此一个copy命令可能会产生很多这个wal记录。

XLOG_HEAP2_REWRITE

开启logical wal日志模式时&＃xff0c;在系统表和一些特殊用户表在执行vacuum full的过程中。

会产生这个wal记录类型。这个wal日志类型主要是为了恢复pg_logical/mapping下的文件&＃xff0c;mapping目录下的文件用于在系统表发生vacuum full后来判断系统表元组的可见性。

描述结构体

typedef struct xl_heap_rewrite_mapping
{TransactionId mapped_xid; /* xid that might need to see the row */Oid mapped_db; /* DbOid or InvalidOid for shared rels */Oid mapped_rel; /* Oid of the mapped relation */off_t offset; /* How far have we written so far */uint32 num_mappings; /* Number of in-memory mappings */XLogRecPtr start_lsn; /* Insert LSN at begin of rewrite */
} xl_heap_rewrite_mapping;

mapped_xid:每一个mapping都是用xid来标识的

mapped_db:数据库oid

mapped_rel&＃xff1a;表的oid

offset:pg_logical/mapping下这个map文件下一个写入的位置

num_mappings&＃xff1a;map的数量

start_lsn&＃xff1a;rewrite开始时的lsn

此wal类型中可能包含的数据

①xl_heap_rewrite_mapping结构体&＃xff1a;一定存在&＃xff0c;通过XLogRegisterData()注册

②此mapping的数据LogicalRewriteMappingData如下&＃xff1a;一定存在&＃xff0c;使用XLogRegisterData&＃xff08;&＃xff09;注册。

typedef struct LogicalRewriteMappingData
{RelFileNode old_node;RelFileNode new_node;ItemPointerData old_tid;ItemPointerData new_tid;
} LogicalRewriteMappingData;

XLOG_HEAP2_CLEAN

执行vacuum会产生此wal记录类型&＃xff0c;一个page被清理后&＃xff0c;会对这个page的item进行更新

typedef struct xl_heap_clean
{TransactionId latestRemovedXid;uint16 nredirected;uint16 ndead;/* OFFSET NUMBERS are in the block reference 0 */
} xl_heap_clean;

latestReemovedXid&＃xff1a;最旧xid&＃xff0c;备机使用

nredirected&＃xff1a;重定向的item的个数

ndead&＃xff1a;死亡的item的个数

此wal类型中可能包含的数据

①xl_heap_clean结构体&＃xff1a;一定存在&＃xff0c;通过XLogRegisterData()注册

②清理的page的所有数据&＃xff1a;可能存在&＃xff0c;使用XLogRegisterBuffer&＃xff08;&＃xff09;注册。

③&＃39;重定向的item的位置&＃39;数组&＃xff0c;可能存在&＃xff0c;通过XLogRegisterBufData()注册

④&＃39;死亡的item的位置&＃39;数组&＃xff0c;可能存在&＃xff0c;通过XLogRegisterBufData()注册

⑤&＃39;未使用的item的位置&＃39;数组&＃xff0c;可能存在&＃xff0c;通过XLogRegisterBufData()注册

XLOG_HEAP2_FREEZE_PAGE

执行vacuum时&＃xff0c;如果有元组被freeze,产生此wal记录。

描述结构体

typedef struct xl_heap_freeze_page
{TransactionId cutoff_xid;uint16 ntuples;
} xl_heap_freeze_page;

cutoff_xid&＃xff1a;最旧xid&＃xff0c;备机使用

ntuples&＃xff1a;freeze的元组的个数

此wal类型中可能包含的数据

①xl_heap_freeze_page结构体&＃xff0c;一定存在&＃xff0c;通过XLogRegisterData()注册

②清理的page的所有数据&＃xff1a;可能存在&＃xff0c;使用XLogRegisterBuffer&＃xff08;&＃xff09;注册。

③每一个freeze元组的清理结果&＃xff0c;清理结果用xl_heap_freeze_tuple存储&＃xff0c;一定存在&＃xff0c;使用XLogRegisterBufData()注册。

typedef struct xl_heap_freeze_tuple
{TransactionId xmax;OffsetNumber offset;uint16 t_infomask2;uint16 t_infomask;uint8 frzflags;
} xl_heap_freeze_tuple;

XLOG_HEAP2_CLEANUP_INFO

备机使用的wal&＃xff0c;具体作用没有研究明白&＃xff0c;暂时留白。

XLOG_HEAP2_VISIBLE

更改某个数据page在VM文件中的映射位时&＃xff0c;产生这个wal记录。

描述结构体

typedef struct xl_heap_visible
{TransactionId cutoff_xid;uint8 flags;
} xl_heap_visible;


cutoff_xid&＃xff1a;最旧xid&＃xff0c;备机使用

flags&＃xff1a;设置的映射信息

#define VISIBILITYMAP_ALL_VISIBLE 0x01 //page内所有的tuple都可见
#define VISIBILITYMAP_ALL_FROZEN 0x02 //page内所有的tuple都frozen
#define VISIBILITYMAP_VALID_BITS 0x03 //ALL_VISIBLE &＃43; ALL_FROZEN

此wal类型中可能包含的数据

①xl_heap_visible结构体&＃xff0c;一定存在&＃xff0c;通过XLogRegisterData()注册

②修改的位所在的vm buff ,可能存在&＃xff0c;通过XLogRegisterBuffer()注册

③修改的位所指定的heapbuff,可能存在&＃xff0c;通过XLogRegisterBuffer()注册

XLOG_HEAP2_LOCK_UPDATED 

在锁定tuple时&＃xff0c;如果当前元组有一个hot链&＃xff0c;那么需要将hot链上的所有tuple都要进行锁定

对每一个hot链上的tuple进程锁定时&＃xff0c;就会产生一个XLOG_HEAP2_LOCK_UPDATED 记录

描述结构体

typedef struct xl_heap_lock_updated
{TransactionId xmax;OffsetNumber offnum;uint8 infobits_set;uint8 flags;
} xl_heap_lock_updated;

xmax: 产生wal记录时的xmax

offnum: 被锁定tuple在page上的偏移量

infobits_set&＃xff1a;infomask值

flags&＃xff1a; 标志位

#define XLH_LOCK_ALL_FROZEN_CLEARED 0x01//VM文件相关

XLOG_HEAP2_NEW_CID        

wal级别是logical以上时&＃xff0c;系统表的heap发生变化时&＃xff0c;就会产生这个wal记录。

这个记录的意义不在于恢复数据库&＃xff0c;而在于logigal decoding时分析系统表的变化而使用。

目前都logical decoding没有很了解&＃xff0c;这个wal记录的解析&＃xff0c;暂时留白。

回到概述页