正文

　　前些天&＃xff0c;与另外一个项目组的同事聊天的时候&＃xff0c;谈到他遇到的一个有意思的BUG。在window上启动服务器&＃xff0c;然后客户端连接的时候收到一些奇怪的消息&＃xff0c;查证了&＃xff0c;原来是他自己的另一个工具也在相同的地址上监听&＃xff0c;客户端连接到了后面这个工具程序上。我问他&＃xff0c;是相同的IP和端口&＃xff1f;他说是的&＃xff0c;因为服务器代码和工具程序都设置了SO_REUSEADDR这个socket选项&＃xff0c;所以可以在同样的地址上监听。

　　可是&＃xff0c;在我的认知里面&＃xff0c; SO_REUSEADDR这个选项并不是说让两个程序在相同地址&＃xff08;相同的IP 和 端口&＃xff09;上监听&＃xff0c;而是说可以让处于time_wait状态的socket可以快速复用&＃xff0c;搜了一下&＃xff0c;看到的这篇文章&＃xff0c;也是这么说的&＃xff1a;

　　SO_REUSEADDR allows your server to bind to an address which is in a  TIME_WAIT state. It does not allow more than one server to bind to   the same address.

　　看了一下Linux manual&＃xff0c;关于这个选项是这么描述的&＃xff1a;

SO_REUSEADDRIndicates that the rules used in validating addresses suppliedin a bind(2) call should allow reuse of local addresses. ForAF_INET sockets this means that a socket may bind, except whenthere is an active listening socket bound to the address.When the listening socket is bound to INADDR_ANY with aspecific port then it is not possible to bind to this port forany local address. Argument is an integer boolean flag.

　　manual并没有提到time_wait的事情&＃xff0c;但是明确指出&＃xff0c;如果一个socket处于listen状态&＃xff0c;那么同样的端口&＃xff08;port&＃xff09;是不能再次被绑定的&＃xff08;binding&＃xff09;&＃xff0c;不能binding&＃xff0c;自然也不能再次listen&＃xff0c;因此是不可能两个程序在相同的地址&＃xff08;IP PORT&＃xff09;上监听的。

　　于是自己用python在写了一个小的测试程序&＃xff1a;

　　服务端代码&＃xff1a;

tcp_server.py

　　客户端代码&＃xff1a;

tcp_client.py

　　服务端代码设置了SO_REUSEADDR&＃xff0c;在Linux下&＃xff0c; 确实不能在相同的地址&＃xff08;IP&＃xff0c; Port&＃xff09;上监听&＃xff0c; 但是在windows上&＃xff0c;却又是可以的。于是想到&＃xff0c;这个选项可能与平台相关。

平台差异性

　　本文记录一下这个问答的要点&＃xff0c;并用上面的小程序在各个平台&＃xff08;Linux&＃xff0c; Mac&＃xff0c; Windows&＃xff09;上进行测试。注意&＃xff0c;本文只关注TCP、单播&＃xff0c;事实上原问答还包括UDP、多播知识&＃xff0c;感兴趣的读者可以自行阅读。

　　第零&＃xff1a;一条tcp连接是一个五元祖&＃xff1a; {, , , , }

 　   第一&＃xff1a;SO_REUSEPORT和SO_REUSEADDR在不同的操作系统上行为是不一样的

　　第二&＃xff1a;默认情况下&＃xff0c;任意两个socket都无法绑定到相同的源IP地址和源端口&＃xff0c; 0.0.0.0 &＃xff08;即INADDR_ANY &＃xff09;和所有其他地址冲突

　　第三&＃xff1a;BSD系统下

　　　　SO_REUSEADDR 使得0.0.0.0 与 其他地址不冲突

　　　　SO_REUSEPORT允许你将多个socket绑定到相同的地址和端口&＃xff0c; 但第一个启动的socket必须设置SO_REUSEPORT

　　第四&＃xff1a;MacOS IOS 表现同 BSD

　　第五&＃xff1a;Linux

　　　　SO_REUSEADDR 只要有socket处于listen状态&＃xff0c; 就不能在同样的地址和端口上listen&＃xff0c; 0.0.0.0 与其他所有地址冲突

　　　　只要监听前设置了SO_REUSEPORT&＃xff08;在Linux3.9版本之后可用&＃xff09; &＃xff0c;就可以在相同的(ip port)上监听

　　　　对于SO_REUSEPORT&＃xff1a;为了阻止"port 劫持"(Port hijacking)有一个特别的限制&＃xff0c;所有希望共享源地址和端口的socket都必须拥有相同的有效用户id(effective user ID)&＃xff1b;对于TCP监听socket&＃xff0c;内核尝试将新的客户连接请求(由accept返回)平均的交给共享同一地址和端口的socket(监听socket)

 　　第六&＃xff1a;Android同Linux

　　第七&＃xff1a;Windows

　　　　只有SO_REUSEADDR选项&＃xff0c;没有SO_REUSEPORT。

　　　　设置SO_REUSEADDR 等价于BSD上设定了SO_REUSEPORT和SO_REUSEADDR&＃xff0c;而且不管之前的端口是否设定了SO_REUSEADDR&＃xff08;存疑&＃xff09;

 　　　  上述选项存在风险&＃xff1a;因为允许一个应用程序从别的应用程序上"偷取"已连接的端口。因此在windows上加入了另一个socket选项: SO_EXECLUSIVEADDRUSE。设置了SO_EXECLUSIVEADDRUSE的socket确保一旦绑定成功&＃xff0c;那么被绑定的源端口和地址就只属于这一个socket&＃xff0c;其它的socket不能绑定&＃xff0c;甚至他们使用了SO_REUSEADDR也没用。

测试

　　在后文涉及到的三个平台&＃xff08;Linux 、MacOS、Windows&＃xff09;&＃xff0c;都涉及到三个IP&＃xff1a;127.0.0.1&＃xff0c; 0.0.0.0&＃xff0c;10.0.0.x&＃xff08;局域网IP&＃xff09;。使用的脚本如上&＃xff08;tcp_server.py, tcp_client.py&＃xff09;&＃xff0c;运行的时候需要简单修改tcp_server.py中第9、10行的注释&＃xff0c;以便测试不同选项下的效果。

MAC

　　由于没有BSD系统&＃xff0c;而且前文提到MacOS和BSD系统的表现是一样的&＃xff0c;因此在这里实在MAC上测试

　　在不使用SO_REUSEADDR &＃xff08;此时未使用SO_REUSEPORT&＃xff09;时&＃xff1a;

　　注意&＃xff1a;first指第一条监听的socket&＃xff0c;second指第二条希望在同样的端口&＃xff08;port&＃xff09;上监听的连接。兼容指第二条连接可以成功监听&＃xff0c;不兼容则指第二条连接不能成功监听。下同

　　在使用SO_REUSEADDR&＃xff08;此时未使用SO_REUSEPORT&＃xff09;时&＃xff1a;

　　在使用SO_REUSEADDR情况下&＃xff0c;如果第一个scoket在0.0.0.0上监听&＃xff0c;第二个scoket在127.0.0.1上监听。那么客户端使用127.0.0.1连接的时候会连接到第二个socket&＃xff1b;使用10.0.0.x则会连接到第一个socket

　　使用SO_REUSEPORT&＃xff08;同时使用了SO_REUSEADDR&＃xff09;&＃xff1a;

　　如果两个socket都在127.0.0.1上监听&＃xff0c;客户端也通过127.0.0.1去连接&＃xff0c;那么客户端连接都会发被第二个socket accept&＃xff0c; 笔者并发实验了几十次都是这样&＃xff0c; 但并没有找到明确的官方文档说明是否是这样。

Linux

　　从上面两个测试可以看到&＃xff0c;在linux下&＃xff0c;是否使用SO_REUSEADDR并不影响两个socket的监听

　　使用SO_REUSEPORT&＃xff08;同时使用了SO_REUSEADDR&＃xff09;&＃xff1a;

　　如果两个socket都在127.0.0.1上监听&＃xff0c;客户端也通过127.0.0.1去连接&＃xff0c; 那么客户端连接会被操作系统分发到两个socket上&＃xff0c;具体如下

　　客户端并发10次连接&＃xff1a; for ((a&＃61;1;a<&＃61;10;a&＃43;&＃43;)) ; do (python tcp_client.py 127.0.0.1 &); done

　　第一个socket accept了六次&＃xff0c; 第二个socket accept了10次。

Windows

　　前面已经提到&＃xff0c;windows下面只有SO_REUSEADDR选项&＃xff0c;但其功能类似bsd系统下的SO_REUSEADDR与SO_REUSEPORT

　　在不使用SO_REUSEADDR时&＃xff1a;

　　比如都在127.0.0.1 上监听时&＃xff0c;第二个socket会报错&＃xff1a; socket.error: [Errno 10048] 通常每个套接字地址(协议/网络地址/端口)

　　使用SO_REUSEADDR时&＃xff1a;

　　上面也提到&＃xff0c;如果第一个socket使用了SO_EXECLUSIVEADDRUSE选项&＃xff0c;那么第二个连接即使使用了SO_REUSEADDR也无济于事&＃xff0c;那么是否SO_EXECLUSIVEADDRUSE是默认开启的呢&＃xff1f;但是在Python2.7中&＃xff0c;socket并没有这个属性

　　查了一下MSDN&＃xff0c;有附图清晰了说明了在window下SO_REUSEADDR与SO_EXECLUSIVEADDRUSE的关系&＃xff0c;如下&＃xff1a;

　　但为什么使用Python的时候 效果不一样呢&＃xff0c;这个就没细究了 

总结

　　本文测试了一下socket中SO_REUSEADDR与SO_REUSEPORT在各个平台下的差异性&＃xff0c;一些结论只是实验结果&＃xff0c;并没有查到官方权威定论&＃xff0c;如果有差错&＃xff0c;还请指正&＃xff01;