分布式系统的一致性级别划分，附项目源码

面试官最爱问的Kakfa&＃xff0c;基础&＃43;进阶&＃43;高级&＃xff0c;疯狂轰炸&＃xff01;

Kafka是一种高吞吐量的分布式发布订阅消息系统&＃xff0c;它可以处理消费者规模的网站中的所有动作流数据。 这种动作(网页浏览&＃xff0c;搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统&＃xff0c;但又要求实时处理的限制&＃xff0c;这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理&＃xff0c;也是为了通过集群来提供实时的消息。

而这几年&＃xff0c;大数据发展迅猛&＃xff0c;Kakfa 凭借高可靠、高吞吐、高可用、可伸缩几大特性&＃xff0c;成为数据管道技术的首选&＃xff0c;也成了面试官的最爱。

正文

作为后端开发&＃xff0c;日常操作数据库最常用的是写操作和读操作。读操作我们下边会讲&＃xff0c;这个分类里我们主要来看看写操作时为什么会导致 SQL 变慢。

刷脏页

脏页的定义是这样的&＃xff1a;内存数据页和磁盘数据页不一致时&＃xff0c;那么称这个内存数据页为脏页。

那为什么会出现脏页&＃xff0c;刷脏页又怎么会导致 SQL 变慢呢&＃xff1f;那就需要我们来看看写操作时的流程是什么样的。

对于一条写操作的 SQL 来说&＃xff0c;执行的过程中涉及到写日志&＃xff0c;内存及同步磁盘这几种情况。

这里要提到一个日志文件&＃xff0c;那就是 redo log&＃xff0c;位于存储引擎层&＃xff0c;用来存储物理日志。在写操作的时候&＃xff0c;存储引擎&＃xff08;这里讨论的是 Innodb&＃xff09;会将记录写入到 redo log 中&＃xff0c;并更新缓存&＃xff0c;这样更新操作就算完成了。后续操作存储引擎会在适当的时候把操作记录同步到磁盘里。

看到这里你可能会有个疑问&＃xff0c;redo log 不是日志文件吗&＃xff0c;日志文件就存储在磁盘上&＃xff0c;那写的时候岂不很慢吗&＃xff1f;

其实&＃xff0c;写redo log 的过程是顺序写磁盘的&＃xff0c;磁盘顺序写减少了寻道等时间&＃xff0c;速度比随机写要快很多&＃xff08; 类似Kafka存储原理&＃xff09;&＃xff0c;因此写 redo log 速度是很快的。

好了&＃xff0c;让我们回到开始时候的问题&＃xff0c;为什么会出现脏页&＃xff0c;并且脏页为什么会使 SQL 变慢。你想想&＃xff0c;redo log 大小是一定的&＃xff0c;且是循环写入的。在高并发场景下&＃xff0c;redo log 很快被写满了&＃xff0c;但是数据来不及同步到磁盘里&＃xff0c;这时候就会产生脏页&＃xff0c;并且还会阻塞后续的写入操作。SQL 执行自然会变慢。

锁

写操作时 SQL 慢的另一种情况是可能遇到了锁&＃xff0c;这个很容易理解。举个例子&＃xff0c;你和别人合租了一间屋子&＃xff0c;只有一个卫生间&＃xff0c;你们俩同时都想去&＃xff0c;但对方比你早了一丢丢。那么此时你只能等对方出来后才能进去。

对应到 Mysql 中&＃xff0c;当某一条 SQL 所要更改的行刚好被加了锁&＃xff0c;那么此时只有等锁释放了后才能进行后续操作。

但是还有一种极端情况&＃xff0c;你的室友一直占用着卫生间&＃xff0c;那么此时你该怎么整&＃xff0c;总不能尿裤子吧&＃xff0c;多丢人。对应到Mysql 里就是遇到了死锁或是锁等待的情况。这时候该如何处理呢&＃xff1f;

Mysql 中提供了查看当前锁情况的方式&＃xff1a;

通过在命令行执行图中的语句&＃xff0c;可以查看当前运行的事务情况&＃xff0c;这里介绍几个查询结果中重要的参数&＃xff1a;

当前事务如果等待时间过长或出现死锁的情况&＃xff0c;可以通过 「kill 线程ID」 的方式释放当前的锁。

这里的线程 ID 指表中 trx_mysql_thread_id 参数。

说完了写操作&＃xff0c;读操作大家可能相对来说更熟悉一些。SQL 慢导致读操作变慢的问题在工作中是经常会被涉及到的。

慢查询

在讲读操作变慢的原因之前我们先来看看是如何定位慢 SQL 的。Mysql 中有一个叫作慢查询日志的东西&＃xff0c;它是用来记录超过指定时间的 SQL 语句的。默认情况下是关闭的&＃xff0c;通过手动配置才能开启慢查询日志进行定位。

具体的配置方式是这样的&＃xff1a;

• 查看当前慢查询日志的开启情况&＃xff1a;

• 开启慢查询日志&＃xff08;临时&＃xff09;&＃xff1a;

注意这里只是临时开启了慢查询日志&＃xff0c;如果 mysql 重启后则会失效。可以 my.cnf 中进行配置使其永久生效。

存在原因

知道了如何查看执行慢的 SQL 了&＃xff0c;那么我们接着看读操作时为什么会导致慢查询。

&＃xff08;1&＃xff09;未命中索引

SQL 查询慢的原因之一是可能未命中索引&＃xff0c;关于使用索引为什么能使查询变快以及使用时的注意事项&＃xff0c;网上已经很多了&＃xff0c;这里就不多赘述了。

&＃xff08;2&＃xff09;脏页问题

另一种还是我们上边所提到的刷脏页情况&＃xff0c;只不过和写操作不同的是&＃xff0c;是在读时候进行刷脏页的。

是不是有点懵逼&＃xff0c;别急&＃xff0c;听我娓娓道来&＃xff1a;

为了避免每次在读写数据时访问磁盘增加 IO 开销&＃xff0c;Innodb 存储引擎通过把相应的数据页和索引页加载到内存的缓冲池&＃xff08;buffer pool&＃xff09;中来提高读写速度。然后按照最近最少使用原则来保留缓冲池中的缓存数据。

那么当要读入的数据页不在内存中时&＃xff0c;就需要到缓冲池中申请一个数据页&＃xff0c;但缓冲池中数据页是一定的&＃xff0c;当数据页达到上限时此时就需要把最久不使用的数据页从内存中淘汰掉。但如果淘汰的是脏页呢&＃xff0c;那么就需要把脏页刷到磁盘里才能进行复用。

你看&＃xff0c;又回到了刷脏页的情况&＃xff0c;读操作时变慢你也能理解了吧&＃xff1f;

防患于未然

知道了原因&＃xff0c;我们如何来避免或缓解这种情况呢&＃xff1f;

首先来看未命中索引的情况&＃xff1a;

不知道大家有没有使用 Mysql 中 explain 的习惯&＃xff0c;反正我是每次都会用它来查看下当前 SQL 命中索引的情况。避免其带来一些未知的隐患。

这里简单介绍下其使用方式&＃xff0c;通过在所执行的 SQL 前加上 explain 就可以来分析当前 SQL 的执行计划&＃xff1a;

执行后的结果对应的字段概要描述如下图所示&＃xff1a;

这里需要重点关注以下几个字段&＃xff1a;

1、type

表示 MySQL 在表中找到所需行的方式。其中常用的类型有&＃xff1a;ALL、index、range、 ref、eq_ref、const、system、NULL 这些类型从左到右&＃xff0c;性能逐渐变好。

• ALL&＃xff1a;Mysql 遍历全表来找到匹配的行&＃xff1b;

• index&＃xff1a;与 ALL 区别为 index 类型只遍历索引树&＃xff1b;

• range&＃xff1a;只检索给定范围的行&＃xff0c;使用一个索引来选择行&＃xff1b;

• ref&＃xff1a;表示上述表的连接匹配条件&＃xff0c;哪些列或常量被用于查找索引列上的值&＃xff1b;

• eq_ref&＃xff1a;类似ref&＃xff0c;区别在于使用的是否为唯一索引。对于每个索引键值&＃xff0c;表中只有一条记录匹配&＃xff0c;简单来说&＃xff0c;就是多表连接中使用 primary key 或者 unique key作为关联条件&＃xff1b;

• const、system&＃xff1a;当 Mysql 对查询某部分进行优化&＃xff0c;并转换为一个常量时&＃xff0c;使用这些类型访问。如将主键置于 where 列表中&＃xff0c;Mysql 就能将该查询转换为一个常量&＃xff0c;system 是 const类型的特例&＃xff0c;当查询的表只有一行的情况下&＃xff0c;使用system&＃xff1b;

• NULL&＃xff1a;Mysql 在优化过程中分解语句&＃xff0c;执行时甚至不用访问表或索引&＃xff0c;例如从一个索引列里选取最小值可以通过单独索引查找完成。

2、possible_keys

查询时可能使用到的索引&＃xff08;但不一定会被使用&＃xff0c;没有任何索引时显示为 NULL&＃xff09;。

3、key

实际使用到的索引。

4、rows

估算查找到对应的记录所需要的行数。

5、Extra

比较常见的是下面几种&＃xff1a;

• Useing index&＃xff1a;表明使用了覆盖索引&＃xff0c;无需进行回表&＃xff1b;

• Using where&＃xff1a;不用读取表中所有信息&＃xff0c;仅通过索引就可以获取所需数据&＃xff0c;这发生在对表的全部的请求列都是同一个索引的部分的时候&＃xff0c;表示mysql服务器将在存储引擎检索行后再进行过滤&＃xff1b;

• Using temporary&＃xff1a;表示MySQL需要使用临时表来存储结果集&＃xff0c;常见于排序和分组查询&＃xff0c;常见 group by&＃xff0c;order by&＃xff1b;

• Using filesort&＃xff1a;当Query中包含 order by 操作&＃xff0c;而且无法利用索引完成的排序操作称为“文件排序”。

对于刷脏页的情况&＃xff0c;我们需要控制脏页的比例&＃xff0c;不要让它经常接近 75%。同时还要控制 redo log 的写盘速度&＃xff0c;并且通过设置 innodb_io_capacity 参数告诉 InnoDB 你的磁盘能力。

按照上面的过程&＃xff0c;4个月的时间刚刚好。当然Java的体系是很庞大的&＃xff0c;还有很多更高级的技能需要掌握&＃xff0c;但不要着急&＃xff0c;这些完全可以放到以后工作中边用别学。

学习编程就是一个由混沌到有序的过程&＃xff0c;所以你在学习过程中&＃xff0c;如果一时碰到理解不了的知识点&＃xff0c;大可不必沮丧&＃xff0c;更不要气馁&＃xff0c;这都是正常的不能再正常的事情了&＃xff0c;不过是“人同此心&＃xff0c;心同此理”的暂时而已。

“道路是曲折的&＃xff0c;前途是光明的&＃xff01;”

知识点&＃xff0c;大可不必沮丧&＃xff0c;更不要气馁&＃xff0c;这都是正常的不能再正常的事情了&＃xff0c;不过是“人同此心&＃xff0c;心同此理”的暂时而已。

“道路是曲折的&＃xff0c;前途是光明的&＃xff01;”

[外链图片转存中…(img-ZqrQeiDM-1621318937896)]

[外链图片转存中…(img-Lo6WZYdG-1621318937897)]

更多Java核心笔记、真实面经、学习笔记等知识干货可以点击这里免费领取