mysql深度分页

limit深分页为什么会变慢&＃xff1f;

先看下表结构哈&＃xff1a;

CREATE TABLE account (id int(11) NOT NULL AUTO_INCREMENT COMMENT &＃39;主键Id&＃39;,name varchar(255) DEFAULT NULL COMMENT &＃39;账户名&＃39;,balance int(11) DEFAULT NULL COMMENT &＃39;余额&＃39;,create_time datetime NOT NULL COMMENT &＃39;创建时间&＃39;,update_time datetime NOT NULL ON UPDATE CURRENT_TIMESTAMP COMMENT &＃39;更新时间&＃39;,PRIMARY KEY (id),KEY idx_name (name),KEY idx_update_time (update_time) //索引
) ENGINE&＃61;InnoDB AUTO_INCREMENT&＃61;1570068 DEFAULT CHARSET&＃61;utf8 ROW_FORMAT&＃61;REDUNDANT COMMENT&＃61;&＃39;账户表&＃39;;


假设深分页的执行SQL如下&＃xff1a;

select id,name,balance from account where update_time> &＃39;2020-09-19&＃39; limit 100000,10;


这个SQL的执行时间如下&＃xff1a;

执行完需要0.742秒&＃xff0c;深分页为什么会变慢呢&＃xff1f;如果换成 limit 0,10&＃xff0c;只需要0.006秒哦

我们先来看下这个SQL的执行流程&＃xff1a;

1. 通过普通二级索引树idx_update_time&＃xff0c;过滤update_time条件&＃xff0c;找到满足条件的记录ID。
2. 通过ID&＃xff0c;回到主键索引树&＃xff0c;找到满足记录的行&＃xff0c;然后取出展示的列&＃xff08;回表&＃xff09;
3. 扫描满足条件的100010行&＃xff0c;然后扔掉前100000行&＃xff0c;返回。

SQL的执行流程

执行计划如下&＃xff1a;

SQL变慢原因有两个&＃xff1a;

1. limit语句会先扫描offset&＃43;n行&＃xff0c;然后再丢弃掉前offset行&＃xff0c;返回后n行数据。也就是说limit 100000,10&＃xff0c;就会扫描100010行&＃xff0c;而limit 0,10&＃xff0c;只扫描10行。
2. limit 100000,10 扫描更多的行数&＃xff0c;也意味着回表更多的次数。

通过子查询优化

因为以上的SQL&＃xff0c;回表了100010次&＃xff0c;实际上&＃xff0c;我们只需要10条数据&＃xff0c;也就是我们只需要10次回表其实就够了。因此&＃xff0c;我们可以通过减少回表次数来优化。

回顾B&＃43; 树结构

那么&＃xff0c;如何减少回表次数呢&＃xff1f;我们先来复习下B&＃43;树索引结构哈~

InnoDB中&＃xff0c;索引分主键索引&＃xff08;聚簇索引&＃xff09;和二级索引

• 主键索引&＃xff0c;叶子节点存放的是整行数据
• 二级索引&＃xff0c;叶子节点存放的是主键的值。

把条件转移到主键索引树

如果我们把查询条件&＃xff0c;转移回到主键索引树&＃xff0c;那就可以减少回表次数啦。转移到主键索引树查询的话&＃xff0c;查询条件得改为主键id了&＃xff0c;之前SQL的update_time这些条件咋办呢&＃xff1f;抽到子查询那里嘛~

子查询那里怎么抽的呢&＃xff1f;因为二级索引叶子节点是有主键ID的&＃xff0c;所以我们直接根据update_time来查主键ID即可&＃xff0c;同时我们把 limit 100000的条件&＃xff0c;也转移到子查询&＃xff0c;完整SQL如下&＃xff1a;

select id,name,balance FROM account where id >&＃61; (select a.id from account a where a.update_time >&＃61; &＃39;2020-09-19&＃39; limit 100000, 1) LIMIT 10;写漏了&＃xff0c;可以补下时间条件在外面


查询效果一样的&＃xff0c;执行时间只需要0.038秒&＃xff01;

我们来看下执行计划

由执行计划得知&＃xff0c;子查询 table a查询是用到了idx_update_time索引。首先在索引上拿到了聚集索引的主键ID,省去了回表操作&＃xff0c;然后第二查询直接根据第一个查询的 ID往后再去查10个就可以了!

因此&＃xff0c;这个方案是可以的~

INNER JOIN 延迟关联

延迟关联的优化思路&＃xff0c;跟子查询的优化思路其实是一样的&＃xff1a;都是把条件转移到主键索引树&＃xff0c;然后减少回表。不同点是&＃xff0c;延迟关联使用了inner join代替子查询。

优化后的SQL如下&＃xff1a;

SELECT acct1.id,acct1.name,acct1.balance FROM account acct1 INNER JOIN (SELECT a.id FROM account a WHERE a.update_time >&＃61; &＃39;2020-09-19&＃39; ORDER BY a.update_time LIMIT 100000, 10) AS acct2 on acct1.id&＃61; acct2.id;


查询效果也是杠杆的&＃xff0c;只需要0.034秒

执行计划如下&＃xff1a;

查询思路就是&＃xff0c;先通过idx_update_time二级索引树查询到满足条件的主键ID&＃xff0c;再与原表通过主键ID内连接&＃xff0c;这样后面直接走了主键索引了&＃xff0c;同时也减少了回表。