热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

MySQL笔记整理(2)日志系统,一条SQL查询语句如何执行

笔记记录自林晓斌(丁奇)老师的《MySQL实战45讲》

2) --日志系统,一条SQL查询语句如何执行

  MySQL可以恢复到半个月内任意一秒的状态,它的实现和日志系统有关。上一篇中记录了一条查询语句是如何执行的,对于更新语句,这一套流程也是同样会走一遍。与查询流程不一样的是,更新流程还涉及到两个重要的日志模块。redo log(重做日志) 和 binlog(归档日志)。

redo log:

  这里林老师举了一个很好的例子,摘录如下。

  《孔乙己》中的酒店掌柜有一个粉板,用来记录客人的赊账记录。如果赊账的人不多,他可以把顾客名和账目写在粉板上。如果赊账的人太多,粉板写不下了,掌柜的还会有一个专门记录赊账的账本。如果有人要赊账或者还账的话,掌柜的一般有两种做法:

    1. 一种做法是直接把账本翻出来,把这次赊账的记录加上去或者除掉。
    2. 另一种做法是先再粉板上记下这次的账,等打烊以后再把账本翻出来核算。

  如果客人太多,掌柜的一定会选择后者,因为前者的操作实在是太麻烦了。要在账本上翻上个几十页再一条条的查找,然后再用算盘计算。相比之下,在粉板上记录下来就简单的多。

  同样,在MySQL里也会有这个问题。如果每次更新操作都要写进磁盘,然后磁盘也要找到对应的那条记录,然后再更新,整个过程IO成本及查找成本都很高。

 

  1. MySQL中这种类似粉板和账本配合的过程就是WAL技术(Write-Ahead Logging)它的关键点是先写日志,再写磁盘。
  2. 当一条记录需要更新时,InnoDB引擎就会先把记录写到redo log里面,并更新内存(粉板)。同时,InnoDB引擎会在适当的时候将他更新到磁盘里(账单)。  
  3. redo log的大小是固定。因此如果系统繁忙,redo log很快就会写满。此时就不得不先把一部分记录更新到磁盘里,然后再进行后续的写入。
  4. 有了redo log, InnoDB就可以保证记录不会丢失,这个能力称为 crash-safe。(掌柜把记录写入了粉板,没写入账单。晚上掌柜的忘记这件事了(DB异常重启),一看粉板(redo log)也可以重新写入账单)

binlog:

  1. 之前提到过MySQL分为两层,一是Server层,另一个是引擎层。redo log是InnoDB引擎特有的日志,而Server层也有自己的日志,成为binlog(归档日志)
  2. redo log 与 binlog 有三点不同:
  • redo log是InnoDB引擎特有的日志,binlog是MySQL的Server层实现,所有引擎都可以使用。
  • redo log是物理日志,记录的是“在某个数据页上做了什么操作”;binlog是逻辑日志,记录是语句的原始逻辑,比如“给ID=2这一行的c字段加1”.
  • redo log大小固定,循环写入。binlog可以追加写,不会覆盖以前的日志。

两阶段提交:

MySQL 笔记整理(2) --日志系统,一条SQL查询语句如何执行

 

(图片来源于 极客时间 林晓斌 《MySQL 实战45讲》,如有版权问题请联系我删除)

  可以看到最后一部分把redo log拆成了两部分,prepare和commit,这就是“两阶段”提交。

  关于两阶段提交,如果不这样做的话则上述过程会演变成先写完redo log或者先写完binlog,假设在写完一个log,正在写第二个log时发生异常

  1. 先写redo log:前面有提到,由于redo log已经写完,仍能将redo log中的数据恢复回来。但由于binlog中没有这个记录,所以当你使用binlog来恢复临时库时,临时库便会少一次逻辑上的更新,即临时库认为没有这次的更新,故与原数据不同。
  2. 先写binlog:由于binlog已经写完,恢复临时库时会执行这次的操作,但redo log中并没有相关记录,这个事务无效也无法恢复,与=原数据不同。

另:innodb_flush_log_at_trx_commit这个参数设置为1表示把redo log直接持久化到磁盘,保证mysql异常重启之后数据不丢失。

sync_binlog设置为1时表示binlog持久化到磁盘,保证mysql异常重启后binlog不丢失。

 

上篇问题答案:

如果表T中没有字段k,而去执行这个语句 select * from T where k = 1,那么会报错“Unknown column ‘k’ in ‘where clause’”。请问这个错误是在哪个阶段报出的?

答案是 分析器。笔记中有暗示啦,

分析器:分析器会先做“词法分析”,即从你输入的"select"这个关键字识别出来这是一个查询语句,把你输入的字符串“ID”识别成“列ID”。之后会进行“语法分析”,判断你输入的sql语句是否满足语法规则。

 

问题:

请问在什么场景下,一天一次备份会比一周一次备份更有优势?或者说,它影响了这个数据系统的哪些指标?

 


推荐阅读
  • 本文介绍了如何使用php限制数据库插入的条数并显示每次插入数据库之间的数据数目,以及避免重复提交的方法。同时还介绍了如何限制某一个数据库用户的并发连接数,以及设置数据库的连接数和连接超时时间的方法。最后提供了一些关于浏览器在线用户数和数据库连接数量比例的参考值。 ... [详细]
  • 本文详细介绍了如何使用MySQL来显示SQL语句的执行时间,并通过MySQL Query Profiler获取CPU和内存使用量以及系统锁和表锁的时间。同时介绍了效能分析的三种方法:瓶颈分析、工作负载分析和基于比率的分析。 ... [详细]
  • 本文介绍了在开发Android新闻App时,搭建本地服务器的步骤。通过使用XAMPP软件,可以一键式搭建起开发环境,包括Apache、MySQL、PHP、PERL。在本地服务器上新建数据库和表,并设置相应的属性。最后,给出了创建new表的SQL语句。这个教程适合初学者参考。 ... [详细]
  • 本文介绍了如何在MySQL中将零值替换为先前的非零值的方法,包括使用内联查询和更新查询。同时还提供了选择正确值的方法。 ... [详细]
  • 本文详细介绍了MysqlDump和mysqldump进行全库备份的相关知识,包括备份命令的使用方法、my.cnf配置文件的设置、binlog日志的位置指定、增量恢复的方式以及适用于innodb引擎和myisam引擎的备份方法。对于需要进行数据库备份的用户来说,本文提供了一些有价值的参考内容。 ... [详细]
  • 图解redis的持久化存储机制RDB和AOF的原理和优缺点
    本文通过图解的方式介绍了redis的持久化存储机制RDB和AOF的原理和优缺点。RDB是将redis内存中的数据保存为快照文件,恢复速度较快但不支持拉链式快照。AOF是将操作日志保存到磁盘,实时存储数据但恢复速度较慢。文章详细分析了两种机制的优缺点,帮助读者更好地理解redis的持久化存储策略。 ... [详细]
  • 本文讨论了在数据库打开和关闭状态下,重新命名或移动数据文件和日志文件的情况。针对性能和维护原因,需要将数据库文件移动到不同的磁盘上或重新分配到新的磁盘上的情况,以及在操作系统级别移动或重命名数据文件但未在数据库层进行重命名导致报错的情况。通过三个方面进行讨论。 ... [详细]
  • mysql-cluster集群sql节点高可用keepalived的故障处理过程
    本文描述了mysql-cluster集群sql节点高可用keepalived的故障处理过程,包括故障发生时间、故障描述、故障分析等内容。根据keepalived的日志分析,发现bogus VRRP packet received on eth0 !!!等错误信息,进而导致vip地址失效,使得mysql-cluster的api无法访问。针对这个问题,本文提供了相应的解决方案。 ... [详细]
  • ubuntu用sqoop将数据从hive导入mysql时,命令: ... [详细]
  • MyBatis多表查询与动态SQL使用
    本文介绍了MyBatis多表查询与动态SQL的使用方法,包括一对一查询和一对多查询。同时还介绍了动态SQL的使用,包括if标签、trim标签、where标签、set标签和foreach标签的用法。文章还提供了相关的配置信息和示例代码。 ... [详细]
  • 在Oracle11g以前版本中的的DataGuard物理备用数据库,可以以只读的方式打开数据库,但此时MediaRecovery利用日志进行数据同步的过 ... [详细]
  • Nginx使用AWStats日志分析的步骤及注意事项
    本文介绍了在Centos7操作系统上使用Nginx和AWStats进行日志分析的步骤和注意事项。通过AWStats可以统计网站的访问量、IP地址、操作系统、浏览器等信息,并提供精确到每月、每日、每小时的数据。在部署AWStats之前需要确认服务器上已经安装了Perl环境,并进行DNS解析。 ... [详细]
  • CSS3选择器的使用方法详解,提高Web开发效率和精准度
    本文详细介绍了CSS3新增的选择器方法,包括属性选择器的使用。通过CSS3选择器,可以提高Web开发的效率和精准度,使得查找元素更加方便和快捷。同时,本文还对属性选择器的各种用法进行了详细解释,并给出了相应的代码示例。通过学习本文,读者可以更好地掌握CSS3选择器的使用方法,提升自己的Web开发能力。 ... [详细]
  • 解决nginx启动报错epoll_wait() reported that client prematurely closed connection的方法
    本文介绍了解决nginx启动报错epoll_wait() reported that client prematurely closed connection的方法,包括检查location配置是否正确、pass_proxy是否需要加“/”等。同时,还介绍了修改nginx的error.log日志级别为debug,以便查看详细日志信息。 ... [详细]
  • 本文介绍了sqlserver云存储和本地存储的区别,云存储是将数据存储在网络上,方便查看和调用;本地存储是将数据存储在电脑磁盘上,只能在存储的电脑上查看。同时提供了几种启动sqlserver的方法。此外,还介绍了如何导出数据库的步骤和工具。 ... [详细]
author-avatar
默念我覀想你A_193
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有