发现存在大量TIME_WAIT状态的连接
tcp 0 0 127.0.0.1:3306 127.0.0.1:41378 TIME_WAIT
tcp 0 0 127.0.0.1:3306 127.0.0.1:41379 TIME_WAIT
tcp 0 0 127.0.0.1:3306 127.0.0.1:39352 TIME_WAIT
tcp 0 0 127.0.0.1:3306 127.0.0.1:39350 TIME_WAIT
tcp 0 0 127.0.0.1:3306 127.0.0.1:35763 TIME_WAIT
tcp 0 0 127.0.0.1:3306 127.0.0.1:39372 TIME_WAIT
tcp 0 0 127.0.0.1:3306 127.0.0.1:39373 TIME_WAIT
tcp 0 0 127.0.0.1:3306 127.0.0.1:41176 TIME_WAIT
通过调整内核参数解决
vi /etc/sysctl.conf
编辑文件&＃xff0c;加入以下内容&＃xff1a;
net.ipv4.tcp_synCOOKIEs &＃61; 1
net.ipv4.tcp_tw_reuse &＃61; 1
net.ipv4.tcp_tw_recycle &＃61; 1
net.ipv4.tcp_fin_timeout &＃61; 30
然后执行/sbin/sysctl -p让参数生效。
net.ipv4.tcp_synCOOKIEs &＃61; 1表示开启SYN COOKIEs。当出现SYN等待队列溢出时&＃xff0c;启用COOKIEs来处理&＃xff0c;可防范少量SYN攻击&＃xff0c;默认为0&＃xff0c;表示关闭&＃xff1b;
net.ipv4.tcp_tw_reuse &＃61; 1表示开启重用。允许将TIME-WAIT sockets重新用于新的TCP连接&＃xff0c;默认为0&＃xff0c;表示关闭&＃xff1b;
net.ipv4.tcp_tw_recycle &＃61; 1表示开启TCP连接中TIME-WAIT sockets的快速回收&＃xff0c;默认为0&＃xff0c;表示关闭。
net.ipv4.tcp_fin_timeout修改系統默认的TIMEOUT时间
修改之后&＃xff0c;再用命令查看TIME_WAIT连接数
netstat -ae|grep “TIME_WAIT” |wc –l
发现大量的TIME_WAIT 已不存在&＃xff0c;mysql进程的占用率很快就降下来的&＃xff0c;网站访问正常。
不过很多时候&＃xff0c;出现大量的TIME_WAIT状态的连接&＃xff0c;往往是因为网站程序代码中没有使用mysql.colse()&＃xff0c;才导致大量的mysql TIME_WAIT.
如果你的服务器是Windows平台&＃xff0c;可以修改下面的注册表键值&＃xff1a;
[HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\Tcpip\Parameters]
"TcpTimedWaitDelay"&＃61;dword:0000001e
此值是TIME_WAIT状态的最长时间。缺省为240秒&＃xff0c;最低为30秒&＃xff0c;最高为300秒。建议为30秒。
注释&＃xff1a;
(
1&＃xff0c;TCP结束的过程如下:
Server Client
-------------- FIN --------------> server: fin_wait_1
-------------- ACK -------------> server发出ack后进入time_wait状态
Time_Wait的默认时间是2倍的MLS&＃xff0c;就是240秒钟。MLS是TCP片在网上的最长存活时间。
TIME_Wait的主要作用是保证关闭的TCP端口不立即被使用。因为当网络存在延迟时&＃xff0c;可能当某个端口被关闭后&＃xff0c;网络中还有一些重传的TCP片在发向这个端口&＃xff0c;如果这个端口立即建立新的TCP连接&＃xff0c;则可能会有影响。所以使用2倍的MSL时间来限制这个端口立即被使用。
现在的问题在于&＃xff0c;4分钟的时间有点长。
因此&＃xff0c;Time_wait的影响&＃xff0c;我想&＃xff0c;首先每个TCP连接都各自有个数据结构&＃xff0c;叫TCP Control Block.Time_wait的时候这个数据结构没有被释放。所以当有太多的TCP连接时&＃xff0c;内存可能会被占用很多。
2&＃xff0c;To ValorZ&＃xff1a;TIME_WAIT状态也称为2MSL等待状态&＃xff0c;而不是2MLS&＃xff0c;笔误吧&＃xff01;
每个TCP报文在网络内的最长时间&＃xff0c;就称为MSL(Maximum Segment Lifetime)&＃xff0c;它的作用和IP数据包的TTL类似。
RFC793指出&＃xff0c;MSL的值是2分钟&＃xff0c;但是在实际的实现中&＃xff0c;常用的值有以下三种&＃xff1a;30秒&＃xff0c;1分钟&＃xff0c;2分钟。
注意一个问题&＃xff0c;进入TIME_WAIT状态的一般情况下是客户端&＃xff0c;大多数服务器端一般执行被动关闭&＃xff0c;不会进入TIME_WAIT状态&＃xff0c;当在服务器端关闭某个服务再重新启动时&＃xff0c;它是会进入TIME_WAIT状态的。
举例&＃xff1a;
1.客户端连接服务器的80服务&＃xff0c;这时客户端会启用一个本地的端口访问服务器的80&＃xff0c;访问完成后关闭此连接&＃xff0c;立刻再次访问服务器的80&＃xff0c;这时客户端会启用另一个本地的端口&＃xff0c;而不是刚才使用的那个本地端口。原因就是刚才的那个连接还处于TIME_WAIT状态。
2.客户端连接服务器的80服务&＃xff0c;这时服务器关闭80端口&＃xff0c;立即再次重启80端口的服务&＃xff0c;这时可能不会成功启动&＃xff0c;原因也是服务器的连接还处于TIME_WAIT状态。
windows
TcpTimedWaitDelay和MaxUserPort设置
描述&＃xff1a;确定 TCP/IP 可释放已关闭连接并重用其资源前&＃xff0c;必须经过的时间。
关闭和释放之间的此时间间隔通称 TIME_WAIT 状态或两倍最大段生命周期(2MSL)状态。
此时间期间&＃xff0c;重新打开到客户机和服务器的连接的成本少于建立新连接。
减少此条目的值允许 TCP/IP 更快地释放已关闭的连接&＃xff0c;为新连接提供更多资源。如果运行的应用程序需要快速释放和创建新连接&＃xff0c;而且由于 TIME_WAIT 中存在很多连接&＃xff0c;导致低吞吐量&＃xff0c;则调整此参数。
如何查看或设置&＃xff1a; 使用 regedit 命令访问 HKEY_LOCAL_MACHINE/SYSTEM/CurrentControlSet/ Services/TCPIP/Parameters 注册表子键并创建名为 TcpTimedWaitDelay 的新 REG_DWORD 值。
将此值设置为十进制 30&＃xff0c;其为十六进制 0x0000001e。
该值将等待时间设置为 30 秒。
停止并重新启动系统。 缺省值&＃xff1a;0xF0&＃xff0c;它将等待时间设置为 240 秒(4 分钟)。
建议值&＃xff1a;最小值为 0x1E&＃xff0c;它将等待时间设置为 30 秒。
MaxUserPort 描述&＃xff1a;确定在应用程序从系统请求可用用户端口时&＃xff0c;TCP/IP 可指定的最高端口号。
如何查看或设置&＃xff1a; 使用 regedit 命令访问 HKEY_LOCAL_MACHINE/SYSTEM/CurrentControlSet/ Services/TCPIP/Parameters 注册表子键并创建名为 MaxUserPort 的新 REG_DWORD 值。
停止并重新启动系统。
缺省值&＃xff1a;无 建议值&＃xff1a;至少十进制 32768。
注&＃xff1a;当在 Windows NT 或 Windows 2000 操作系统上调整 WebSphere Application Server 时&＃xff0c;同时使用这两个参数。
***如不能恢复*****
1找研发排查下这种情况是不是程序上的bug&＃xff0c;短连接存在一定缺陷&＃xff0c;后端同事建议您使用长连接
2.在web的主机上配置tcp快速回收机制&＃xff0c;具体配置需要您那边对业务做出评估。
3.是否存在慢查询语句&＃xff0c;做出优化
京公网安备 11010802041100号