当前位置: 开发笔记 > 编程语言 > 正文

为什么高并发小事务,unloggedtable不比loggedtable快多少?commitwallog

作者：sean | 来源：互联网 | 2023-09-01 10:40

digoal德哥专栏为什么高并发小事务,unloggedtable不比loggedtable快多少?-co

作者

digoal

日期

2019-01-07

背景

unlogged table，这些表的写操作不记录WAL日志。那么这种表的高并发写入一定比logged table快，快很多吗？

实际上一个事务，在事务结束时，也会记录一笔commit或rollback xlog，所以如果是高并发的小事务，commit xlog的量也非常大，从而导致wal writer瓶颈。

观察方法

pg_waldump -b 000000010000017B0000002F|less

例子

1、commit xlog

rmgr: Transaction len (rec/tot): 34/ 34, tx: 775906906, lsn: 17B/24007F38, prev 17B/24007F10, desc: COMMIT 2019-01-07 09:35:34.554660 CST rmgr: Transaction len (rec/tot): 34/ 34, tx: 775906908, lsn: 17B/24007F60, prev 17B/24007F38, desc: COMMIT 2019-01-07 09:35:34.554672 CST rmgr: Transaction len (rec/tot): 34/ 34, tx: 775906907, lsn: 17B/24007F88, prev 17B/24007F60, desc: COMMIT 2019-01-07 09:35:34.554674 CST rmgr: Transaction len (rec/tot): 34/ 34, tx: 775906904, lsn: 17B/24007FB0, prev 17B/24007F88, desc: COMMIT 2019-01-07 09:35:34.554676 CST rmgr: Transaction len (rec/tot): 34/ 34, tx: 775906909, lsn: 17B/24007FD8, prev 17B/24007FB0, desc: COMMIT 2019-01-07 09:35:34.554676 CST rmgr: Transaction len (rec/tot): 34/ 34, tx: 775906910, lsn: 17B/24008018, prev 17B/24007FD8, desc: COMMIT 2019-01-07 09:35:34.554677 CST rmgr: Transaction len (rec/tot): 34/ 34, tx: 775906911, lsn: 17B/24008040, prev 17B/24008018, desc: COMMIT 2019-01-07 09:35:34.554683 CST rmgr: Transaction len (rec/tot): 34/ 34, tx: 775906912, lsn: 17B/24008068, prev 17B/24008040, desc: COMMIT 2019-01-07 09:35:34.554686 CST rmgr: Transaction len (rec/tot): 34/ 34, tx: 775906914, lsn: 17B/24008090, prev 17B/24008068, desc: COMMIT 2019-01-07 09:35:34.554688 CST rmgr: Transaction len (rec/tot): 34/ 34, tx: 775906913, lsn: 17B/240080B8, prev 17B/24008090, desc: COMMIT 2019-01-07 09:35:34.554689 CST rmgr: Transaction len (rec/tot): 34/ 34, tx: 775906915, lsn: 17B/240080E0, prev 17B/240080B8, desc: COMMIT 2019-01-07 09:35:34.554693 CST rmgr: Transaction len (rec/tot): 34/ 34, tx: 775906916, lsn: 17B/24008108, prev 17B/240080E0, desc: COMMIT 2019-01-07 09:35:34.554700 CST

2、table log 和 commit xlog

rmgr: Heap len (rec/tot): 167/ 167, tx: 777196079, lsn: 17B/2F000040, prev 17B/2EFFFF70, desc: INSERT off 18 blkref #0: rel 1663/13806/85962 fork main blk 13586 rmgr: Heap len (rec/tot): 167/ 167, tx: 777196080, lsn: 17B/2F0000E8, prev 17B/2F000040, desc: INSERT off 32 blkref #0: rel 1663/13806/85962 fork main blk 13580 rmgr: Transaction len (rec/tot): 34/ 34, tx: 777196077, lsn: 17B/2F000190, prev 17B/2F0000E8, desc: COMMIT 2019-01-07 09:38:41.062496 CST rmgr: Heap len (rec/tot): 167/ 167, tx: 777196081, lsn: 17B/2F0001B8, prev 17B/2F000190, desc: INSERT off 26 blkref #0: rel 1663/13806/85962 fork main blk 13569 rmgr: Heap len (rec/tot): 167/ 167, tx: 777196082, lsn: 17B/2F000260, prev 17B/2F0001B8, desc: INSERT off 7 blkref #0: rel 1663/13806/85962 fork main blk 13617 rmgr: Heap len (rec/tot): 167/ 167, tx: 777196083, lsn: 17B/2F000308, prev 17B/2F000260, desc: INSERT off 14 blkref #0: rel 1663/13806/85962 fork main blk 13607 rmgr: Transaction len (rec/tot): 34/ 34, tx: 777196078, lsn: 17B/2F0003B0, prev 17B/2F000308, desc: COMMIT 2019-01-07 09:38:41.062509 CST rmgr: Transaction len (rec/tot): 34/ 34, tx: 777196079, lsn: 17B/2F0003D8, prev 17B/2F0003B0, desc: COMMIT 2019-01-07 09:38:41.062508 CST rmgr: Transaction len (rec/tot): 34/ 34, tx: 777196076, lsn: 17B/2F000400, prev 17B/2F0003D8, desc: COMMIT 2019-01-07 09:38:41.062511 CST rmgr: Transaction len (rec/tot): 34/ 34, tx: 777196080, lsn: 17B/2F000428, prev 17B/2F000400, desc: COMMIT 2019-01-07 09:38:41.062511 CST rmgr: Heap len (rec/tot): 167/ 167, tx: 777196084, lsn: 17B/2F000450, prev 17B/2F000428, desc: INSERT off 11 blkref #0: rel 1663/13806/85962 fork main blk 13613 rmgr: Heap len (rec/tot): 167/ 167, tx: 777196085, lsn: 17B/2F0004F8, prev 17B/2F000450, desc: INSERT off 20 blkref #0: rel 1663/13806/85962 fork main blk 13598 rmgr: Heap len (rec/tot): 167/ 167, tx: 777196086, lsn: 17B/2F0005A0, prev 17B/2F0004F8, desc: INSERT off 28 blkref #0: rel 1663/13806/85962 fork main blk 13575 rmgr: Transaction len (rec/tot): 34/ 34, tx: 777196081, lsn: 17B/2F000648, prev 17B/2F0005A0, desc: COMMIT 2019-01-07 09:38:41.062516 CST rmgr: Transaction len (rec/tot): 34/ 34, tx: 777196082, lsn: 17B/2F000670, prev 17B/2F000648, desc: COMMIT 2019-01-07 09:38:41.062518 CST rmgr: Transaction len (rec/tot): 34/ 34, tx: 777196083, lsn: 17B/2F000698, prev 17B/2F000670, desc: COMMIT 2019-01-07 09:38:41.062515 CST rmgr: Transaction len (rec/tot): 34/ 34, tx: 777196084, lsn: 17B/2F0006C0, prev 17B/2F000698, desc: COMMIT 2019-01-07 09:38:41.062521 CST rmgr: Transaction len (rec/tot): 34/ 34, tx: 777196086, lsn: 17B/2F0006E8, prev 17B/2F0006C0, desc: COMMIT 2019-01-07 09:38:41.062525 CST rmgr: Heap len (rec/tot): 167/ 167, tx: 777196087, lsn: 17B/2F000710, prev 17B/2F0006E8, desc: INSERT off 20 blkref #0: rel 1663/13806/85962 fork main blk 13596 rmgr: Transaction len (rec/tot): 34/ 34, tx: 777196085, lsn: 17B/2F0007B8, prev 17B/2F000710, desc: COMMIT 2019-01-07 09:38:41.062534 CST rmgr: Heap len (rec/tot): 167/ 167, tx: 777196088, lsn: 17B/2F0007E0, prev 17B/2F0007B8, desc: INSERT off 22 blkref #0: rel 1663/13806/85962 fork main blk 13584 rmgr: Transaction len (rec/tot): 34/ 34, tx: 777196087, lsn: 17B/2F000888, prev 17B/2F0007E0, desc: COMMIT 2019-01-07 09:38:41.062541 CST rmgr: Heap len (rec/tot): 167/ 167, tx: 777196089, lsn: 17B/2F0008B0, prev 17B/2F000888, desc: INSERT off 5 blkref #0: rel 1663/13806/85962 fork main blk 13614 rmgr: Transaction len (rec/tot): 34/ 34, tx: 777196088, lsn: 17B/2F000958, prev 17B/2F0008B0, desc: COMMIT 2019-01-07 09:38:41.062544 CST rmgr: Heap len (rec/tot): 167/ 167, tx: 777196091, lsn: 17B/2F000980, prev 17B/2F000958, desc: INSERT off 21 blkref #0: rel 1663/13806/85962 fork main blk 13600 rmgr: Heap len (rec/tot): 167/ 167, tx: 777196090, lsn: 17B/2F000A28, prev 17B/2F000980, desc: INSERT off 38 blkref #0: rel 1663/13806/85962 fork main blk 13565 rmgr: Transaction len (rec/tot): 34/ 34, tx: 777196089, lsn: 17B/2F000AD0, prev 17B/2F000A28, desc: COMMIT 2019-01-07 09:38:41.062551 CST rmgr: Transaction len (rec/tot): 34/ 34, tx: 777196091, lsn: 17B/2F000AF8, prev 17B/2F000AD0, desc: COMMIT 2019-01-07 09:38:41.062552 CST rmgr: Heap len (rec/tot): 167/ 167, tx: 777196092, lsn: 17B/2F000B20, prev 17B/2F000AF8, desc: INSERT off 13 blkref #0: rel 1663/13806/85962 fork main blk 13589 rmgr: Heap len (rec/tot): 167/ 167, tx: 777196094, lsn: 17B/2F000BC8, prev 17B/2F000B20, desc: INSERT off 8 blkref #0: rel 1663/13806/85962 fork main blk 13611

性能差异

1、高并发小事务，logged table和unlogged table性能相差无几。

《HTAP数据库 PostgreSQL 场景与性能测试之 39 - (OLTP+OLAP) 含索引多表单点写入》

《HTAP数据库 PostgreSQL 场景与性能测试之 38 - (OLTP+OLAP) 不含索引多表单点写入》

2、批量写入，TPS不高（所以commit xlog占比不高），因此logged table和unlogged table的性能差异会非常大。

《HTAP数据库 PostgreSQL 场景与性能测试之 43 - (OLTP+OLAP) unlogged table 含索引多表批量写入》

《HTAP数据库 PostgreSQL 场景与性能测试之 42 - (OLTP+OLAP) unlogged table 不含索引多表批量写入》

《HTAP数据库 PostgreSQL 场景与性能测试之 41 - (OLTP+OLAP) 含索引多表批量写入》

《HTAP数据库 PostgreSQL 场景与性能测试之 40 - (OLTP+OLAP) 不含索引多表批量写入》

PostgreSQL 许愿链接

您的愿望将传达给PG kernel hacker、数据库厂商等, 帮助提高数据库产品质量和功能, 说不定下一个PG版本就有您提出的功能点. 针对非常好的提议，奖励限量版PG文化衫、纪念品、贴纸、PG热门书籍等，奖品丰富，快来许愿。开不开森.

9.9元购买3个月阿里云RDS PostgreSQL实例

PostgreSQL 解决方案集合

德哥 / digoal's github - 公益是一辈子的事.

digoal's wechat

推荐阅读

java
Java DAO模式详解与代码示例

DAO（Data Access Object）模式是一种用于抽象和封装所有对数据库或其他持久化机制访问的方法，它通过提供一个统一的接口来隐藏底层数据访问的复杂性。 ... [详细]

蜡笔小新 2024-11-13 12:25:33
int
在范围[0..n-1]中产生m个不同的随机数 - Generating m distinct random numbers in the range [0..n-1]

Ihavetwomethodsofgeneratingmdistinctrandomnumbersintherange[0..n-1]我有两种方法在范围[0.n-1]中生 ... [详细]

蜡笔小新 2024-11-13 09:49:14
int
Python 使用 DOM 和 SAX 解析 XML 的应用实例

本文介绍如何使用 Python 的 DOM 和 SAX 方法解析 XML 文件，并通过示例展示了如何动态创建数据库表和处理大量数据的实时插入。 ... [详细]

蜡笔小新 2024-11-12 16:10:39
int
从0到1搭建大数据平台

从0到1搭建大数据平台 ... [详细]

蜡笔小新 2024-11-12 15:26:03
java
如何在Java中使用DButils类

这期内容当中小编将会给大家带来有关如何在Java中使用DButils类，文章内容丰富且以专业的角度为大家分析和叙述，阅读完这篇文章希望大家可以有所收获。D ... [详细]

蜡笔小新 2024-11-12 13:46:11
int
php更新数据库字段的函数是,php更新数据库字段的函数是

php更新数据库字段的函数是,php更新数据库字段的函数是 ... [详细]

蜡笔小新 2024-11-12 11:37:31
plugins
InfluxDB、collectd与Grafana的详细安装与配置指南

本文详细介绍了 InfluxDB、collectd 和 Grafana 的安装与配置流程。首先，按照启动顺序依次安装并配置 InfluxDB、collectd 和 Grafana。InfluxDB 作为时序数据库，用于存储时间序列数据；collectd 负责数据的采集与传输；Grafana 则用于数据的可视化展示。文中提供了 collectd 的官方文档链接，便于用户参考和进一步了解其配置选项。通过本指南，读者可以轻松搭建一个高效的数据监控系统。 ... [详细]

蜡笔小新 2024-11-11 19:54:24
int
MySQL Decimal 类型的最大值解析及其在数据处理中的应用艺术

在关系型数据库中，表的设计与SQL语句的编写对性能的影响至关重要，甚至可占到90%以上。本文将重点探讨MySQL中Decimal类型的最大值及其在数据处理中的应用技巧，通过实例分析和优化建议，帮助读者深入理解并掌握这一重要知识点。 ... [详细]

蜡笔小新 2024-11-11 19:36:19
int
Cacti 数据库错误：SQL 查询失败，错误代码 145

在使用 Cacti 进行监控时，发现已运行的转码机未产生流量，导致 Cacti 监控界面显示该转码机处于宕机状态。进一步检查 Cacti 日志，发现数据库中存在 SQL 查询失败的问题，错误代码为 145。此问题可能是由于数据库表损坏或索引失效所致，建议对相关表进行修复操作以恢复监控功能。 ... [详细]

蜡笔小新 2024-11-11 12:57:49
int
使用Shell脚本高效部署MHA高可用集群

本文介绍了如何利用Shell脚本高效地部署MHA（MySQL High Availability）高可用集群。通过详细的脚本编写和配置示例，展示了自动化部署过程中的关键步骤和注意事项。该方法不仅简化了集群的部署流程，还提高了系统的稳定性和可用性。 ... [详细]

蜡笔小新 2024-11-10 10:15:46
int
QT框架中事件循环机制及事件分发类详解

在QT框架中，QCoreApplication类作为事件循环的核心组件，为应用程序提供了基础的事件处理机制。该类继承自QObject，负责管理和调度各种事件，确保程序能够响应用户操作和其他系统事件。通过事件循环，QCoreApplication实现了高效的事件分发和处理，使得应用程序能够保持流畅的运行状态。此外，QCoreApplication还提供了多种方法和信号槽机制，方便开发者进行事件的定制和扩展。 ... [详细]

蜡笔小新 2024-11-08 17:43:20
java
掌握Spring框架前不可或缺的事务管理知识（第四部分）

在深入掌握Spring框架的事务管理之前，了解其背后的数据库事务基础至关重要。Spring的事务管理功能虽然强大且灵活，但其核心依赖于数据库自身的事务处理机制。因此，熟悉数据库事务的基本概念和特性是必不可少的。这包括事务的ACID属性、隔离级别以及常见的事务管理策略等。通过这些基础知识的学习，可以更好地理解和应用Spring中的事务管理配置。 ... [详细]

蜡笔小新 2024-11-07 19:31:36
java
Google 实验框架优化：实现更高效、更精准、更快速的测试

为了评估精心优化的模型与策略在实际环境中的表现，Google对其实验框架进行了全面升级，旨在实现更高效、更精准和更快速的在线测试。新的框架支持更多的实验场景，提供更好的数据洞察，并显著缩短了实验周期，从而加速产品迭代和优化过程。 ... [详细]

蜡笔小新 2024-11-04 21:02:34
int
掌握MySQL数据库的基础语法与核心操作

本文详细介绍了MySQL数据库的基础语法与核心操作，涵盖从基础概念到具体应用的多个方面。首先，文章从基础知识入手，逐步深入到创建和修改数据表的操作。接着，详细讲解了如何进行数据的插入、更新与删除。在查询部分，不仅介绍了DISTINCT和LIMIT的使用方法，还探讨了排序、过滤和通配符的应用。此外，文章还涵盖了计算字段以及多种函数的使用，包括文本处理、日期和时间处理及数值处理等。通过这些内容，读者可以全面掌握MySQL数据库的核心操作技巧。 ... [详细]

蜡笔小新 2024-11-11 23:39:51
string
C# 中 SQLite 报错：在 "\\s\\" 附近出现语法错误，如何解决？

C# 中 SQLite 报错：在 "\\s\\" 附近出现语法错误，如何解决？ ... [详细]

蜡笔小新 2024-11-11 19:30:41

sean

这个家伙很懒，什么也没留下！

Tags | 热门标签

RankList | 热门文章