当前位置: 开发笔记 > 编程语言 > 正文

为什么高并发小事务,unloggedtable不比loggedtable快多少?commitwallog

作者：sean | 来源：互联网 | 2023-09-01 10:40

digoal德哥专栏为什么高并发小事务,unloggedtable不比loggedtable快多少?-co

作者

digoal

日期

2019-01-07

背景

unlogged table，这些表的写操作不记录WAL日志。那么这种表的高并发写入一定比logged table快，快很多吗？

实际上一个事务，在事务结束时，也会记录一笔commit或rollback xlog，所以如果是高并发的小事务，commit xlog的量也非常大，从而导致wal writer瓶颈。

观察方法

pg_waldump -b 000000010000017B0000002F|less

例子

1、commit xlog

rmgr: Transaction len (rec/tot): 34/ 34, tx: 775906906, lsn: 17B/24007F38, prev 17B/24007F10, desc: COMMIT 2019-01-07 09:35:34.554660 CST rmgr: Transaction len (rec/tot): 34/ 34, tx: 775906908, lsn: 17B/24007F60, prev 17B/24007F38, desc: COMMIT 2019-01-07 09:35:34.554672 CST rmgr: Transaction len (rec/tot): 34/ 34, tx: 775906907, lsn: 17B/24007F88, prev 17B/24007F60, desc: COMMIT 2019-01-07 09:35:34.554674 CST rmgr: Transaction len (rec/tot): 34/ 34, tx: 775906904, lsn: 17B/24007FB0, prev 17B/24007F88, desc: COMMIT 2019-01-07 09:35:34.554676 CST rmgr: Transaction len (rec/tot): 34/ 34, tx: 775906909, lsn: 17B/24007FD8, prev 17B/24007FB0, desc: COMMIT 2019-01-07 09:35:34.554676 CST rmgr: Transaction len (rec/tot): 34/ 34, tx: 775906910, lsn: 17B/24008018, prev 17B/24007FD8, desc: COMMIT 2019-01-07 09:35:34.554677 CST rmgr: Transaction len (rec/tot): 34/ 34, tx: 775906911, lsn: 17B/24008040, prev 17B/24008018, desc: COMMIT 2019-01-07 09:35:34.554683 CST rmgr: Transaction len (rec/tot): 34/ 34, tx: 775906912, lsn: 17B/24008068, prev 17B/24008040, desc: COMMIT 2019-01-07 09:35:34.554686 CST rmgr: Transaction len (rec/tot): 34/ 34, tx: 775906914, lsn: 17B/24008090, prev 17B/24008068, desc: COMMIT 2019-01-07 09:35:34.554688 CST rmgr: Transaction len (rec/tot): 34/ 34, tx: 775906913, lsn: 17B/240080B8, prev 17B/24008090, desc: COMMIT 2019-01-07 09:35:34.554689 CST rmgr: Transaction len (rec/tot): 34/ 34, tx: 775906915, lsn: 17B/240080E0, prev 17B/240080B8, desc: COMMIT 2019-01-07 09:35:34.554693 CST rmgr: Transaction len (rec/tot): 34/ 34, tx: 775906916, lsn: 17B/24008108, prev 17B/240080E0, desc: COMMIT 2019-01-07 09:35:34.554700 CST

2、table log 和 commit xlog

rmgr: Heap len (rec/tot): 167/ 167, tx: 777196079, lsn: 17B/2F000040, prev 17B/2EFFFF70, desc: INSERT off 18 blkref #0: rel 1663/13806/85962 fork main blk 13586 rmgr: Heap len (rec/tot): 167/ 167, tx: 777196080, lsn: 17B/2F0000E8, prev 17B/2F000040, desc: INSERT off 32 blkref #0: rel 1663/13806/85962 fork main blk 13580 rmgr: Transaction len (rec/tot): 34/ 34, tx: 777196077, lsn: 17B/2F000190, prev 17B/2F0000E8, desc: COMMIT 2019-01-07 09:38:41.062496 CST rmgr: Heap len (rec/tot): 167/ 167, tx: 777196081, lsn: 17B/2F0001B8, prev 17B/2F000190, desc: INSERT off 26 blkref #0: rel 1663/13806/85962 fork main blk 13569 rmgr: Heap len (rec/tot): 167/ 167, tx: 777196082, lsn: 17B/2F000260, prev 17B/2F0001B8, desc: INSERT off 7 blkref #0: rel 1663/13806/85962 fork main blk 13617 rmgr: Heap len (rec/tot): 167/ 167, tx: 777196083, lsn: 17B/2F000308, prev 17B/2F000260, desc: INSERT off 14 blkref #0: rel 1663/13806/85962 fork main blk 13607 rmgr: Transaction len (rec/tot): 34/ 34, tx: 777196078, lsn: 17B/2F0003B0, prev 17B/2F000308, desc: COMMIT 2019-01-07 09:38:41.062509 CST rmgr: Transaction len (rec/tot): 34/ 34, tx: 777196079, lsn: 17B/2F0003D8, prev 17B/2F0003B0, desc: COMMIT 2019-01-07 09:38:41.062508 CST rmgr: Transaction len (rec/tot): 34/ 34, tx: 777196076, lsn: 17B/2F000400, prev 17B/2F0003D8, desc: COMMIT 2019-01-07 09:38:41.062511 CST rmgr: Transaction len (rec/tot): 34/ 34, tx: 777196080, lsn: 17B/2F000428, prev 17B/2F000400, desc: COMMIT 2019-01-07 09:38:41.062511 CST rmgr: Heap len (rec/tot): 167/ 167, tx: 777196084, lsn: 17B/2F000450, prev 17B/2F000428, desc: INSERT off 11 blkref #0: rel 1663/13806/85962 fork main blk 13613 rmgr: Heap len (rec/tot): 167/ 167, tx: 777196085, lsn: 17B/2F0004F8, prev 17B/2F000450, desc: INSERT off 20 blkref #0: rel 1663/13806/85962 fork main blk 13598 rmgr: Heap len (rec/tot): 167/ 167, tx: 777196086, lsn: 17B/2F0005A0, prev 17B/2F0004F8, desc: INSERT off 28 blkref #0: rel 1663/13806/85962 fork main blk 13575 rmgr: Transaction len (rec/tot): 34/ 34, tx: 777196081, lsn: 17B/2F000648, prev 17B/2F0005A0, desc: COMMIT 2019-01-07 09:38:41.062516 CST rmgr: Transaction len (rec/tot): 34/ 34, tx: 777196082, lsn: 17B/2F000670, prev 17B/2F000648, desc: COMMIT 2019-01-07 09:38:41.062518 CST rmgr: Transaction len (rec/tot): 34/ 34, tx: 777196083, lsn: 17B/2F000698, prev 17B/2F000670, desc: COMMIT 2019-01-07 09:38:41.062515 CST rmgr: Transaction len (rec/tot): 34/ 34, tx: 777196084, lsn: 17B/2F0006C0, prev 17B/2F000698, desc: COMMIT 2019-01-07 09:38:41.062521 CST rmgr: Transaction len (rec/tot): 34/ 34, tx: 777196086, lsn: 17B/2F0006E8, prev 17B/2F0006C0, desc: COMMIT 2019-01-07 09:38:41.062525 CST rmgr: Heap len (rec/tot): 167/ 167, tx: 777196087, lsn: 17B/2F000710, prev 17B/2F0006E8, desc: INSERT off 20 blkref #0: rel 1663/13806/85962 fork main blk 13596 rmgr: Transaction len (rec/tot): 34/ 34, tx: 777196085, lsn: 17B/2F0007B8, prev 17B/2F000710, desc: COMMIT 2019-01-07 09:38:41.062534 CST rmgr: Heap len (rec/tot): 167/ 167, tx: 777196088, lsn: 17B/2F0007E0, prev 17B/2F0007B8, desc: INSERT off 22 blkref #0: rel 1663/13806/85962 fork main blk 13584 rmgr: Transaction len (rec/tot): 34/ 34, tx: 777196087, lsn: 17B/2F000888, prev 17B/2F0007E0, desc: COMMIT 2019-01-07 09:38:41.062541 CST rmgr: Heap len (rec/tot): 167/ 167, tx: 777196089, lsn: 17B/2F0008B0, prev 17B/2F000888, desc: INSERT off 5 blkref #0: rel 1663/13806/85962 fork main blk 13614 rmgr: Transaction len (rec/tot): 34/ 34, tx: 777196088, lsn: 17B/2F000958, prev 17B/2F0008B0, desc: COMMIT 2019-01-07 09:38:41.062544 CST rmgr: Heap len (rec/tot): 167/ 167, tx: 777196091, lsn: 17B/2F000980, prev 17B/2F000958, desc: INSERT off 21 blkref #0: rel 1663/13806/85962 fork main blk 13600 rmgr: Heap len (rec/tot): 167/ 167, tx: 777196090, lsn: 17B/2F000A28, prev 17B/2F000980, desc: INSERT off 38 blkref #0: rel 1663/13806/85962 fork main blk 13565 rmgr: Transaction len (rec/tot): 34/ 34, tx: 777196089, lsn: 17B/2F000AD0, prev 17B/2F000A28, desc: COMMIT 2019-01-07 09:38:41.062551 CST rmgr: Transaction len (rec/tot): 34/ 34, tx: 777196091, lsn: 17B/2F000AF8, prev 17B/2F000AD0, desc: COMMIT 2019-01-07 09:38:41.062552 CST rmgr: Heap len (rec/tot): 167/ 167, tx: 777196092, lsn: 17B/2F000B20, prev 17B/2F000AF8, desc: INSERT off 13 blkref #0: rel 1663/13806/85962 fork main blk 13589 rmgr: Heap len (rec/tot): 167/ 167, tx: 777196094, lsn: 17B/2F000BC8, prev 17B/2F000B20, desc: INSERT off 8 blkref #0: rel 1663/13806/85962 fork main blk 13611

性能差异

1、高并发小事务，logged table和unlogged table性能相差无几。

《HTAP数据库 PostgreSQL 场景与性能测试之 39 - (OLTP+OLAP) 含索引多表单点写入》

《HTAP数据库 PostgreSQL 场景与性能测试之 38 - (OLTP+OLAP) 不含索引多表单点写入》

2、批量写入，TPS不高（所以commit xlog占比不高），因此logged table和unlogged table的性能差异会非常大。

《HTAP数据库 PostgreSQL 场景与性能测试之 43 - (OLTP+OLAP) unlogged table 含索引多表批量写入》

《HTAP数据库 PostgreSQL 场景与性能测试之 42 - (OLTP+OLAP) unlogged table 不含索引多表批量写入》

《HTAP数据库 PostgreSQL 场景与性能测试之 41 - (OLTP+OLAP) 含索引多表批量写入》

《HTAP数据库 PostgreSQL 场景与性能测试之 40 - (OLTP+OLAP) 不含索引多表批量写入》

PostgreSQL 许愿链接

您的愿望将传达给PG kernel hacker、数据库厂商等, 帮助提高数据库产品质量和功能, 说不定下一个PG版本就有您提出的功能点. 针对非常好的提议，奖励限量版PG文化衫、纪念品、贴纸、PG热门书籍等，奖品丰富，快来许愿。开不开森.

9.9元购买3个月阿里云RDS PostgreSQL实例

PostgreSQL 解决方案集合

德哥 / digoal's github - 公益是一辈子的事.

digoal's wechat

推荐阅读

数组
MySQL中的MVVC多版本并发控制机制的应用及实现

本文介绍了MySQL中MVCC的应用及实现机制。MVCC是一种提高并发性能的技术，通过对事务内读取的内存进行处理，避免写操作堵塞读操作的并发问题。与其他数据库系统的MVCC实现机制不尽相同，MySQL的MVCC是在undolog中实现的。通过undolog可以找回数据的历史版本，提供给用户读取或在回滚时覆盖数据页上的数据。MySQL的大多数事务型存储引擎都实现了MVCC，但各自的实现机制有所不同。 ... [详细]

蜡笔小新 2023-12-11 13:09:19
heap
EPICS Archiver Appliance存储waveform记录的尝试及资源需求分析

本文介绍了EPICS Archiver Appliance存储waveform记录的尝试过程，并分析了其所需的资源容量。通过解决错误提示和调整内存大小，成功存储了波形数据。然后，讨论了储存环逐束团信号的意义，以及通过记录多圈的束团信号进行参数分析的可能性。波形数据的存储需求巨大，每天需要近250G，一年需要90T。然而，储存环逐束团信号具有重要意义，可以揭示出每个束团的纵向振荡频率和模式。 ... [详细]

蜡笔小新 2023-12-14 17:43:56
heap
Oracle Database 10g许可授予信息及高级功能详解

本文介绍了Oracle Database 10g许可授予信息及其中的高级功能，包括数据库优化数据包、SQL访问指导、SQL优化指导、SQL优化集和重组对象。同时提供了详细说明，指导用户在Oracle Database 10g中如何使用这些功能。 ... [详细]

蜡笔小新 2023-12-14 13:12:10
web
MysqlDump_mysqldump全库备份相关知识详解

本文详细介绍了MysqlDump和mysqldump进行全库备份的相关知识，包括备份命令的使用方法、my.cnf配置文件的设置、binlog日志的位置指定、增量恢复的方式以及适用于innodb引擎和myisam引擎的备份方法。对于需要进行数据库备份的用户来说，本文提供了一些有价值的参考内容。 ... [详细]

蜡笔小新 2023-12-14 10:03:27
web
问题2：重新命名或者移动数据文件、日志文件到新的位置

本文讨论了在数据库打开和关闭状态下，重新命名或移动数据文件和日志文件的情况。针对性能和维护原因，需要将数据库文件移动到不同的磁盘上或重新分配到新的磁盘上的情况，以及在操作系统级别移动或重命名数据文件但未在数据库层进行重命名导致报错的情况。通过三个方面进行讨论。 ... [详细]

蜡笔小新 2023-12-13 13:02:24
数组
如何在php中将mysql查询结果赋值给变量

本文介绍了在php中将mysql查询结果赋值给变量的方法，包括从mysql表中查询count(学号)并赋值给一个变量，以及如何将sql中查询单条结果赋值给php页面的一个变量。同时还讨论了php调用mysql查询结果到变量的方法，并提供了示例代码。 ... [详细]

蜡笔小新 2023-12-12 18:22:57
python
Python SQLAlchemy库的使用方法详解

本文详细介绍了Python中使用SQLAlchemy库的方法。首先对SQLAlchemy进行了简介，包括其定义、适用的数据库类型等。然后讨论了SQLAlchemy提供的两种主要使用模式，即SQL表达式语言和ORM。针对不同的需求，给出了选择哪种模式的建议。最后，介绍了连接数据库的方法，包括创建SQLAlchemy引擎和执行SQL语句的接口。 ... [详细]

蜡笔小新 2023-12-12 15:23:06
web
Oracle优化新常态的五大禁止及其性能隐患

本文介绍了Oracle优化新常态中的五大禁止措施，包括禁止外键、禁止视图、禁止触发器、禁止存储过程和禁止JOB，并分析了这些禁止措施可能带来的性能隐患。文章还讨论了这些禁止措施在C/S架构和B/S架构中的不同应用情况，并提出了解决方案。 ... [详细]

蜡笔小新 2023-12-12 12:55:55
web
sqlserver云存储和本地存储的区别及启动方法

本文介绍了sqlserver云存储和本地存储的区别，云存储是将数据存储在网络上，方便查看和调用；本地存储是将数据存储在电脑磁盘上，只能在存储的电脑上查看。同时提供了几种启动sqlserver的方法。此外，还介绍了如何导出数据库的步骤和工具。 ... [详细]

蜡笔小新 2023-12-12 11:27:17
default
PDO MySQL

PDOMySQL如果文章有成千上万篇，该怎样保存？数据保存有多种方式，比如单机文件、单机数据库（SQLite）、网络数据库（MySQL、MariaDB）等等。根据项目来选择，做We ... [详细]

蜡笔小新 2023-12-12 10:25:39
default
Oracle 11g物理Active Data Guard实时查询（Realtime query）特性

在Oracle11g以前版本中的的DataGuard物理备用数据库，可以以只读的方式打开数据库，但此时MediaRecovery利用日志进行数据同步的过 ... [详细]

蜡笔小新 2023-12-11 15:49:10
default
从Oracle安全移植到国产达梦数据库的DBA实践与攻略

随着我国对信息安全和自主可控技术的重视，国产数据库在党政机关、军队和大型央企等行业中得到了快速应用。本文介绍了如何降低从Oracle到国产达梦数据库的技术门槛，保障用户现有业务系统投资。具体包括分析待移植系统、确定移植对象、数据迁移、PL/SQL移植、校验移植结果以及应用系统的测试和优化等步骤。同时提供了移植攻略，包括待移植系统分析和准备移植环境的方法。通过本文的实践与攻略，DBA可以更好地完成Oracle安全移植到国产达梦数据库的工作。 ... [详细]

蜡笔小新 2023-12-11 13:58:08
datetime
使用集算器将日志文件结构化，轻松使用SQL查询

本文介绍了一种轻巧方便的工具——集算器，通过使用集算器可以将文本日志变成结构化数据，然后可以使用SQL式查询。集算器利用集算语言的优点，将日志内容结构化为数据表结构，SPL支持直接对结构化的文件进行SQL查询，不再需要安装配置第三方数据库软件。本文还详细介绍了具体的实施过程。 ... [详细]

蜡笔小新 2023-12-11 13:27:46
数组
无法使用fetch在服务器端读取/获取发布的数据

本文介绍了一个React Native新手在尝试将数据发布到服务器时遇到的问题，以及他的React Native代码和服务器端代码。他使用fetch方法将数据发送到服务器，但无法在服务器端读取/获取发布的数据。 ... [详细]

蜡笔小新 2023-12-11 11:26:28
web
开发笔记:软件测试知识点之数据库压力测试方法小结

篇首语：本文由编程笔记#小编为大家整理，主要介绍了软件测试知识点之数据库压力测试方法小结相关的知识，希望对你有一定的参考价值。 ... [详细]

蜡笔小新 2023-12-10 20:29:19

sean

这个家伙很懒，什么也没留下！

Tags | 热门标签

RankList | 热门文章