mysql社区线程池_MySQL·特性分析·线程池阿里云开发者社区

概述

MySQL 原有线程调度方式有每个连接一个线程(one-thread-per-connection)和所有连接一个线程(no-threads)。

no-threads一般用于调试&＃xff0c;生产环境一般用one-thread-per-connection方式。one-thread-per-connection 适合于低并发长连接的环境&＃xff0c;而在高并发或大量短连接环境下&＃xff0c;大量创建和销毁线程&＃xff0c;以及线程上下文切换&＃xff0c;会严重影响性能。另外 one-thread-per-connection 对于大量连接数扩展也会影响性能。

为了解决上述问题&＃xff0c;MariaDB、Percona、Oracle MySQL 都推出了线程池方案&＃xff0c;它们的实现方式大体相似&＃xff0c;这里以 Percona 为例来简略介绍实现原理&＃xff0c;同时会介绍我们在其基础上的一些改进。

实现

线程池方案下&＃xff0c;用户的每个连接不再对应一个线程。线程池由一系列 worker 线程组成&＃xff0c;这些worker线程被分为thread_pool_size个group。用户的连接按 round-robin 的方式映射到相应的group 中&＃xff0c;一个连接可以由一个group中的一个或多个worker线程来处理。

listener 线程

每个group中有一个listener线程&＃xff0c;通过epoll的方式来监听本group中连接的事件。listener线程同时也是worker线程&＃xff0c;listener线程不是固定的。

listener线程监听到连接事件后会将事件放入优先级队列中&＃xff0c;listener线程作为worker线程也处理一些连接事件&＃xff0c;以减少上下文切换。

listener线程会检查优先级队列是否为空&＃xff0c;如果为空表示网络空闲&＃xff0c;listener线程会作为worker线程处理第一个监听事件&＃xff0c;其他事件仍然放入优先级队列中。

另外&＃xff0c;当没有活跃线时&＃xff0c;listener会唤醒一个线程&＃xff0c;如果没有线程可以唤醒&＃xff0c;且当前group只有一个线程且为listener&＃xff0c;则创建一个线程。

优先级队列

分为高优先级队列和普通队列&＃xff0c;已经开启的事务并且tickets不为0&＃xff0c;放入高优先队列&＃xff0c;否则放入普通队列。每个连接在thread_pool_high_prio_tickets次被放到优先队列中后&＃xff0c;会移到普通队列中。worker线程先从高优先队列取event处理&＃xff0c;只有当高优先队列为空时才从普通队列取event处理。

通过优先级队列&＃xff0c;可以让已经开启的事务或短事务得到优先处理&＃xff0c;及时提交释放锁等资源。

worker 线程

worker线程负责从优先队列取事件处理。如果没有取到event&＃xff0c;会尝试从epoll中取一个&＃xff0c;如果没有取到再进入等待&＃xff0c;如果等待超过thread_pool_idle_timeout worker线程会退出。

timer 线程

每隔thread_pool_stall_limit时间检查一次。

listener没有接收新的事件&＃xff0c;listener正在等待时需调用wake_or_create_thread&＃xff0c;重新创建listener&＃xff1b;

从上一次检查起&＃xff0c;worker线程没有收到新的事件&＃xff0c;并且队列不为空&＃xff0c;则认为发生了stall&＃xff0c;需唤醒或创建worker线程&＃xff1b;

检查net_wait_timeout是否超时&＃xff0c;如果超时退出连接&＃xff0c;而不是退出worker线程。

何时唤醒或创建worker线程

从队列中取事件时发现没有活跃线程时&＃xff1b;

worker线程发生等待且没有活跃线程时&＃xff1b;

timer线程认为发生了stall&＃xff1b;

重要参数解析

thread_pool_oversubscribe

一个group中活跃线程和等待中的线程超过thread_pool_oversubscribe时&＃xff0c;不会创建新的线程。

此参数可以控制系统的并发数&＃xff0c;同时可以防止调度上的死锁&＃xff0c;考虑如下情况&＃xff0c;A、B、C三个事务&＃xff0c;A、B 需等待C提交。A、B先得到调度&＃xff0c;同时活跃线程数达到了thread_pool_max_threads上限&＃xff0c;随后C继续执行提交&＃xff0c;此时已经没有线程来处理C提交&＃xff0c;从而导致A、B一直等待。thread_pool_oversubscribe控制group中活跃线程和等待中的线程总数&＃xff0c;从而防止了上述情况。

thread_pool_stall_limit

timer线程检测间隔。此参数设置过小&＃xff0c;会导致创建过多的线程&＃xff0c;从而产生较多的线程上下文切换&＃xff0c;但可以及时处理锁等待的场景&＃xff0c;避免死锁。参数设置过大&＃xff0c;对长语句有益&＃xff0c;但会阻塞短语句的执行。参数设置需视具体情况而定&＃xff0c;例如99%的语句10ms内可以完成&＃xff0c;那么我们可以将就thread_pool_stall_limit设置为10ms

一些改进

lock tables read 的处理

对于声明 lock tables read 等明确声明表锁的事件&＃xff0c;放入高优先级队列。

binlog dump线程的处理

binlog dump线程是典型的长事务场景&＃xff0c;当多个binlog dump线程分配到同一个group中时&＃xff0c;group中的线程很容易超过thread_pool_oversubscribe限制&＃xff0c;从而导致性能下降。

优化方法是修改binlog dump线程不受thread_pool_oversubscribe限制。

丰富诊断信息information_schema.thread_group_status

show create table THREAD_GROUP_STATUS\G

*************************** 1. row ***************************

Table: THREAD_GROUP_STATUS

Create Table: CREATE TEMPORARY TABLE &＃96;THREAD_GROUP_STATUS&＃96; (

&＃96;ID&＃96; int(21) unsigned NOT NULL DEFAULT &＃39;0&＃39;,

&＃96;THREAD_COUNT&＃96; int(21) unsigned NOT NULL DEFAULT &＃39;0&＃39;,

&＃96;ACTIVE_THREAD_COUNT&＃96; int(21) unsigned NOT NULL DEFAULT &＃39;0&＃39;,

&＃96;CONNECTION_COUNT&＃96; int(21) unsigned NOT NULL DEFAULT &＃39;0&＃39;,

&＃96;WAITING_THREAD_COUNT&＃96; int(21) unsigned NOT NULL DEFAULT &＃39;0&＃39;,

&＃96;DUMP_COUNT&＃96; bigint(21) unsigned NOT NULL DEFAULT &＃39;0&＃39;,

&＃96;LOW_QUEUE_COUNT&＃96; bigint(21) unsigned NOT NULL DEFAULT &＃39;0&＃39;,

&＃96;HIGH_QUEUE_COUNT&＃96; bigint(21) unsigned NOT NULL DEFAULT &＃39;0&＃39;

) ENGINE&＃61;MEMORY DEFAULT CHARSET&＃61;utf8

线程池调度异常&＃xff0c;无法连接的处理

对于本地登录的用户&＃xff0c;走老的one_thread_per_connection逻辑&＃xff0c;从而解决无法连接的情况。

连接池和线程池的区别

最后说一点连接池和线程池的区别。连接池和线程池是两个独立的概念&＃xff0c;连接池是在客户端的优化&＃xff0c;缓存客户的连接&＃xff0c;避免重复创建和销毁连接。而线程池是服务器端的优化。两者的优化角度不同&＃xff0c;不相关&＃xff0c;因此两种优化可以同时使用。