linux多线程或多进程epoll处理accept惊群问题

什么是惊群

简单说&＃xff0c;惊群是因为多进程&＃xff08;多线程&＃xff09;在同时阻塞等待同一个事件的时候&＃xff08;休眠状态&＃xff09;&＃xff0c;当时间发生时&＃xff0c;就会唤醒所有等待的&＃xff08;休眠的&＃xff09;进程&＃xff08;线程&＃xff09;。但是事件只能被一个进程或线程处理&＃xff0c;而其他进程&＃xff08;线程&＃xff09;获取失败&＃xff0c;只能重新进入休眠状态&＃xff0c;这种现象和性能浪费就叫做惊群。

产生惊群的条件

1. 多个进程或者多个线程
2. 同时等待处理一个事件

具体场景复现

测试环境 :

1. debian11
2. 内核5.10.0-8
3. 编译器 clang11

多线程和多进程在惊群问题上差不多&＃xff0c;为了少些一点&＃xff0c;下文中没有特殊说明&＃xff0c;多线程 也包含了多进程

在linux中&＃xff0c;使用C/C&＃43;&＃43; 编写 tcp server时&＃xff0c;会依次调用 socket() bind() listen() accept() 这几个函数&＃xff0c;这几个函数会打开socket&＃xff0c;绑定ip和端口&＃xff0c;开始监听端口&＃xff0c;accept函数会阻塞当前进程&＃xff0c;等待客户端连接。

如果在单线程中&＃xff0c;只有一个accept函数在等待客户端连接&＃xff0c;当客户端来连接的时候&＃xff0c;只会有一个accept函数来处理&＃xff0c;所以也不会存在惊群问题了。

在多线模型中&＃xff0c;多个线程分别accept同一个socket&＃xff0c;当有客户端连接时&＃xff0c;内核会通知所有的线程来处理这个请求&＃xff0c;但是呢&＃xff0c;请求只能被一个线程处理&＃xff0c;其他的线程的不到这个事件&＃xff0c;只能白白被唤醒。

这是最简单的一种惊群&＃xff0c;这种情况在linux2.6以后就不会产生了。因为在Linux 2.6 版本之后&＃xff0c;通过引入一个标记位 WQ_FLAG_EXCLUSIVE&＃xff0c;解决掉了 Accept 惊群效应。我原本还想在centos3.9&＃xff08;内核版本是2.5&＃xff09;中去复现这种情况&＃xff0c;但是折腾了好久&＃xff0c;也没能在centos上编译也运行C&＃43;&＃43;程序&＃xff0c;遂放弃。 不废话了&＃xff0c;上代码&＃xff0c;测试第一种情况

#include
#include
#include
#include
#include
#include
#include #define WORKER_THREAD 4
//创建socket&＃xff0c;并返回fd
int createSocket() {int fd &＃61; socket(AF_INET, SOCK_STREAM, IPPROTO_TCP);if (fd <0) {std::cout <<"create socket error" <}void Worker1(int socketFd, int k) {std::cout <<" Worker" <}int main() {std::mutex mutex;std::unique_lock lck(mutex);std::condition_variable cv;int fd &＃61; createSocket();//第一种,多个线程不使用多路复用,accept同一个socketfor (int i &＃61; 0; i }


这代码可以用C写&＃xff0c;但是习惯用C&＃43;&＃43;了&＃xff0c;就用C&＃43;&＃43;写吧。代码也比较简单&＃xff0c;createSocket()创建了一个socket&＃xff0c;然后4个线程分别去accept这个socket。 下面是运行结果&＃xff1a;

可以看到&＃xff0c;4个线程都在运行&＃xff0c;并且accept&＃xff0c;但是当连接来的时候&＃xff0c;只有个线程能得到事件。

既然linux内核已经帮我们处理了惊群&＃xff0c;那我们还考虑这些干啥&＃xff0c;直接用不就完了。

但是&＃xff0c;我们在写代码的时候一般不会直接阻塞accept的&＃xff0c;都是使用多路复用来帮我们处理连接阻塞的是多路复用函数。目前综合性能比较好的IO多路复用是epoll。当在多线程中使用epoll时&＃xff0c;惊群问题就会出现了。 先代码和结果&＃xff0c;然后再解释

#include
#include
#include
#include
#include
#include
#include #define WORKER_THREAD 4
//创建socket&＃xff0c;并返回fd
int createSocket() {int fd &＃61; socket(AF_INET, SOCK_STREAM, IPPROTO_TCP);if (fd <0) {std::cout <<"create socket error" <}void Worker2(int socketFd, int k) {std::cout <<" Worker" <}int main() {std::mutex mutex;std::unique_lock lck(mutex);std::condition_variable cv;int fd &＃61; createSocket();//第二种,多个线程使用epoll多路复用,accept同一个socketfor (int i &＃61; 0; i }


结果

这里可以看到&＃xff0c;当有客户端来连接的时候&＃xff0c;4个线程都被唤醒了&＃xff0c;但是只有workr2 线程成功获取了事件&＃xff0c;其余的3个线程都白白唤醒浪费了性能

情景下的惊群问题&＃xff0c;第二种情景下的惊群问题为啥就不处理了呢&＃xff1f;

相关视频推荐