多线程_Redis08Redis为什么又采用多线程了

多模块组成:

Redis作为一个成熟的分布式缓存框架&＃xff0c;它由很多个模块组成&＃xff0c;如网络请求模块、索引模块、存储模块、高可用集群支撑模块、数据操作模块等。

Redis单线程:

• 很多人说Redis是单线程的&＃xff0c;就认为Redis中所有模块的操作都是单线程的&＃xff0c;其实这是不对的。我们所说的Redis单线程&＃xff0c;指的是"其网络IO和键值对读写是由一个线程完成的"&＃xff0c;也就是说&＃xff0c;

Redis中只有网络请求模块和数据操作模块是单线程的。

而其他的如持久化存储模块、集群支撑模块等是多线程的。

所以说&＃xff0c;Redis中并不是没有多线程模型的&＃xff0c;早在Redis 4.0的时候就已经针对部分命令做了多线程化。

那么&＃xff0c;为什么网络操作模块和数据存储模块最初并没有使用多线程呢&＃xff1f;

这个问题的答案比较简单&＃xff01;因为&＃xff1a;“没必要&＃xff01;”

为什么没必要呢&＃xff1f;我们先来说一下&＃xff0c;什么情况下要使用多线程&＃xff1f;

多线程适用场景:

一个计算机程序在执行的过程中&＃xff0c;主要需要进行两种操作分别是读写操作和计算操作。

其中读写操作主要是涉及到的就是I/O操作&＃xff0c;其中包括网络I/O和磁盘I/O。计算操作主要涉及到CPU。

而多线程的目的&＃xff0c;就是通过并发的方式来提升I/O的利用率和CPU的利用率。

首先&＃xff0c;我们可以肯定的说&＃xff0c;Redis不需要提升CPU利用率&＃xff0c;因为Redis的操作基本都是基于内存的&＃xff0c;CPU资源根本就不是Redis的性能瓶颈。

所以&＃xff0c;通过多线程技术来提升Redis的CPU利用率这一点是完全没必要的。

那么&＃xff0c;使用多线程技术来提升Redis的I/O利用率呢&＃xff1f;是不是有必要呢&＃xff1f;

Redis确实是一个I/O操作密集的框架&＃xff0c;他的数据操作过程中&＃xff0c;会有大量的网络I/O和磁盘I/O的发生。要想提升Redis的性能&＃xff0c;是一定要提升Redis的I/O利用率的&＃xff0c;这一点毋庸置疑。

但是&＃xff0c;提升I/O利用率&＃xff0c;并不是只有采用多线程技术这一条路可以走&＃xff01;

多线程的弊端:

Java中的多线程技术&＃xff0c;如内存模型、锁、CAS等&＃xff0c;这些都是Java中提供的一些在多线程情况下保证线程安全的技术。

线程安全&＃xff1a;是编程中的术语&＃xff0c;指某个函数、函数库在并发环境中被调用时&＃xff0c;能够正确地处理多个线程之间的共享变量&＃xff0c;使程序功能正确完成。

和Java类似&＃xff0c;所有支持多线程的编程语言或者框架&＃xff0c;都不得不面对的一个问题&＃xff0c;那就是如何解决多线程编程模式带来的共享资源的并发控制问题。

虽然&＃xff0c;采用多线程可以帮助我们提升CPU和I/O的利用率&＃xff0c;但是多线程带来的并发问题也给这些语言和框架带来了更多的复杂性。而且

多线程模型中&＃xff0c;多个线程的互相切换也会带来一定的性能开销。

所以&＃xff0c;在提升I/O利用率这个方面上&＃xff0c;Redis并没有采用多线程技术&＃xff0c;而是选择了多路复用 I/O技术。

小结

Redis并没有在网络请求模块和数据操作模块中使用多线程模型&＃xff0c;主要是基于以下四个原因&＃xff1a;

1. Redis 操作基于内存&＃xff0c;绝大多数操作的性能瓶颈不在 CPU
2. 使用单线程模型&＃xff0c;可维护性更高&＃xff0c;开发&＃xff0c;调试和维护的成本更低
3. 单线程模型&＃xff0c;避免了线程间切换带来的性能开销
4. 在单线程中使用多路复用 I/O技术也能提升Redis的I/O利用率

还是要记住&＃xff1a;Redis并不是完全单线程的&＃xff0c;只是有关键的网络IO和键值对读写是由一个线程完成的。

Linux多路复用技术

• 就是多个进程的IO可以注册到同一个管道上&＃xff0c;这个管道会统一和内核进行交互。当管道中的某一个请求需要的数据准备好之后&＃xff0c;进程再把对应的数据拷贝到用户空间中。
  
  

• 也就是说&＃xff0c;通过一个线程来处理多个IO流。IO多路复用在Linux下包括了三种&＃xff0c;select、poll、epoll&＃xff0c;抽象来看&＃xff0c;他们功能是类似的&＃xff0c;但具体细节各有不同。

• Redis的IO多路复用程序的所有功能都是通过包装操作系统的IO多路复用函数库来实现的。每个IO多路复用函数库在Redis源码中都有对应的一个单独的文件。
  

• 在Redis 中&＃xff0c;每当一个套接字准备好执行连接应答、写入、读取、关闭等操作时&＃xff0c;就会产生一个文件事件。因为一个服务器通常会连接多个套接字&＃xff0c;所以多个文件事件有可能会并发地出现。

• 一旦有请求到达&＃xff0c;就会交给 Redis 线程处理&＃xff0c;这就实现了一个 Redis 线程处理多个 IO
  流的效果。所以&＃xff0c;Redis选择使用多路复用IO技术来提升I/O利用率。

Redis高的性能原因:

1. 完全基于内存&＃xff0c;绝大部分请求是纯粹的内存操作&＃xff0c;非常快速。
2. 数据结构简单&＃xff0c;对数据操作也简单&＃xff0c;如哈希表、跳表都有很高的性能。
3. 采用单线程&＃xff0c;避免了不必要的上下文切换和竞争条件&＃xff0c;也不存在多进程或者多线程导致的切换而消耗 CPU
4. 使用多路I/O复用模型

Redis正式推出了6.0版本:

• 2020年5月份&＃xff0c;Redis正式推出了6.0版本&＃xff0c;这个版本中有很多重要的新特性&＃xff0c;其中多线程特性引起了广泛关注。

但是&＃xff0c;需要提醒大家的是&＃xff0c;Redis 6.0中的多线程&＃xff0c;也只是针对处理网络请求过程采用了多线程&＃xff0c;

而数据的读写命令&＃xff0c;仍然是单线程处理的。

之前版本:

但是&＃xff0c;不知道会不会有人有这样的疑问&＃xff1a;

Redis不是号称单线程也有很高的性能么&＃xff1f;

不是说多路复用技术已经大大的提升了IO利用率了么&＃xff0c;为啥还需要多线程&＃xff1f;

主要是因为我们对Redis有着更高的要求。

根据测算&＃xff0c;Redis 将所有数据放在内存中&＃xff0c;内存的响应时长大约为 100 纳秒&＃xff0c;对于小数据包&＃xff0c;Redis 服务器可以处理 80,000 到 100,000 QPS&＃xff0c;这么高的对于 80% 的公司来说&＃xff0c;单线程的 Redis 已经足够使用了。

但随着越来越复杂的业务场景&＃xff0c;有些公司动不动就上亿的交易量&＃xff0c;因此需要更大的 QPS。

为了提升QPS&＃xff0c;很多公司的做法是部署Redis集群&＃xff0c;并且尽可能提升Redis机器数。但是这种做法的资源消耗是巨大的。

而经过分析&＃xff0c;限制Redis的性能的主要瓶颈出现在网络IO的处理上&＃xff0c;虽然之前采用了多路复用技术。但是我们前面也提到过&＃xff0c;多路复用的IO模型本质上仍然是同步阻塞型IO模型

多路复用IO中select函数的处理过程&＃xff1a;

1. 从上图我们可以看到&＃xff0c;在多路复用的IO模型中&＃xff0c;在处理网络请求时&＃xff0c;调用 select&＃xff08;其他函数同理&＃xff09;的过程是阻塞的&＃xff0c;也就是说这个过程会阻塞线程&＃xff0c;如果并发量很高&＃xff0c;此处可能会成为瓶颈。
2. 虽然现在很多服务器都是多个CPU核的&＃xff0c;但是对于Redis来说&＃xff0c;因为使用了单线程&＃xff0c;在一次数据操作的过程中&＃xff0c;有大量的CPU时间片是耗费在了网络IO的同步处理上的&＃xff0c;并没有充分的发挥出多核的优势。

Redis 6.0采用多个IO线程来处理网络请求:

• 所以&＃xff0c;Redis 6.0采用多个IO线程来处理网络请求&＃xff0c;网络请求的解析可以由其他线程完成&＃xff0c;然后把解析后的请求交由主线程进行实际的内存读写。提升网络请求处理的并行度&＃xff0c;进而提升整体性能。
• 但是&＃xff0c;Redis 的多 IO 线程只是用来处理网络请求的&＃xff0c;对于读写命令&＃xff0c;Redis 仍然使用单线程来处理。

线程安全问题&＃xff1f;

那么&＃xff0c;在引入多线程之后&＃xff0c;如何解决并发带来的线程安全问题呢&＃xff1f;

• 这就是为什么我们前面多次提到的"Redis 6.0的多线程只用来处理网络请求&＃xff0c;而数据的读写还是单线程"的原因。
• Redis 6.0只有在网络请求的接收和解析&＃xff0c;以及请求后的数据通过网络返回给时&＃xff0c;使用了多线程。而数据读写操作还是由单线程来完成的&＃xff0c;所以&＃xff0c;这样就不会出现并发问题了。