Python3之socket编程（TCP/UDP，粘包问题，数据传输、文件上传）

作者：hy | 来源：互联网 | 2023-08-19 10:58

一、socket的定义Socket是应用层与TCPIP协议族通信的中间软件抽象层，它是一组接口。在设计模式中，Socket其实就是一个门面模式ÿ

一、socket的定义

　　Socket是应用层与TCP/IP协议族通信的中间软件抽象层&＃xff0c;它是一组接口。在设计模式中&＃xff0c;Socket其实就是一个门面模式&＃xff0c;它把复杂的TCP/IP协议族隐藏在Socket接口后面&＃xff0c;对用户来说&＃xff0c;一组简单的接口就是全部&＃xff0c;让Socket去组织数据&＃xff0c;以符合指定的协议。所以&＃xff0c;我们无需深入理解tcp/udp协议&＃xff0c;socket已经为我们封装好了&＃xff0c;我们只需要遵循socket的规定去编程&＃xff0c;写出的程序自然就是遵循tcp/udp标准的。

补充&＃xff1a;也有人将socket说成ip&＃43;port&＃xff0c;ip是用来标识互联网中的一台主机的位置&＃xff0c;而port是用来标识这台机器上的一个应用程序&＃xff0c;ip地址是配置到网卡上的&＃xff0c;而port是应用程序开启的&＃xff0c;ip与port的绑定就标识了互联网中独一无二的一个应用程序&＃xff0c;而程序的pid是同一台机器上不同进程或者线程的标识

二、套接字发展史及分类

　　套接字起源于 20 世纪 70 年代加利福尼亚大学伯克利分校版本的 Unix,即人们所说的 BSD Unix。因此,有时人们也把套接字称为“伯克利套接字”或“BSD 套接字”。一开始,套接字被设计用在同一台主机上多个应用程序之间的通讯。这也被称进程间通讯,或 IPC。套接字有两种&＃xff08;或者称为有两个种族&＃xff09;,分别是基于文件型的和基于网络型的。

基于文件类型的套接字家族

套接字家族的名字&＃xff1a;AF_UNIX

unix一切皆文件&＃xff0c;基于文件的套接字调用的就是底层的文件系统来取数据&＃xff0c;两个套接字进程运行在同一机器&＃xff0c;可以通过访问同一个文件系统间接完成通信

基于网络类型的套接字家族

套接字家族的名字&＃xff1a;AF_INET

(还有AF_INET6被用于ipv6&＃xff0c;还有一些其他的地址家族&＃xff0c;不过&＃xff0c;他们要么是只用于某个平台&＃xff0c;要么就是已经被废弃&＃xff0c;或者是很少被使用&＃xff0c;或者是根本没有实现&＃xff0c;所有地址家族中&＃xff0c;AF_INET是使用最广泛的一个&＃xff0c;python支持很多种地址家族&＃xff0c;但是由于我们只关心网络编程&＃xff0c;所以大部分时候我么只使用AF_INET)

三、套接字的工作流程

　　一个生活中的场景。你要打电话给一个朋友&＃xff0c;先拨号&＃xff0c;朋友听到电话铃声后提起电话&＃xff0c;这时你和你的朋友就建立起了连接&＃xff0c;就可以讲话了。等交流结束&＃xff0c;挂断电话结束此次交谈。

生活中的场景就解释了套接字的工作原理

先从服务器端说起。服务器端先初始化Socket&＃xff0c;然后与端口绑定(bind)&＃xff0c;对端口进行监听(listen)&＃xff0c;调用accept阻塞&＃xff0c;等待客户端连接。在这时如果有个客户端初始化一个Socket&＃xff0c;然后连接服务器(connect)&＃xff0c;如果连接成功&＃xff0c;这时客户端与服务器端的连接就建立了。客户端发送数据请求&＃xff0c;服务器端接收请求并处理请求&＃xff0c;然后把回应数据发送给客户端&＃xff0c;客户端读取数据&＃xff0c;最后关闭连接&＃xff0c;一次交互结束。

四、socket函数使用

socket函数用法

import socket socket.socket(socket_family,socket_type,protocal&＃61;0) #socket_family 可以是 AF_UNIX 或 AF_INET。socket_type 可以是 SOCK_STREAM 或 SOCK_DGRAM。protocol 一般不填,默认值为 0。#获取tcp/ip套接字 tcpSock &＃61; socket.socket(socket.AF_INET, socket.SOCK_STREAM)#获取udp/ip套接字 udpSock &＃61; socket.socket(socket.AF_INET, socket.SOCK_DGRAM)#由于 socket 模块中有太多的属性。我们在这里破例使用了&＃39;from module import *&＃39;语句。使用 &＃39;from socket import *&＃39;,我们就把 socket 模块里的所有属性都带到我们的命名空间里了,这样能大幅减短我们的代码。 #例如tcpSock &＃61; socket(AF_INET, SOCK_STREAM)

服务端套接字函数

s.bind() #绑定(主机,端口号)到套接字 s.listen() #开始TCP监听 s.accept() #被动接受TCP客户的连接,(阻塞式)等待连接的到来

客户端套接字函数

s.connect() #主动初始化TCP服务器连接 s.connect_ex() #connect()函数的扩展版本,出错时返回出错码,而不是抛出异常

公共用途的套接字函数

s.recv() #接收TCP数据 s.send() #发送TCP数据(send在待发送数据量大于己端缓存区剩余空间时,数据丢失,不会发完) s.sendall() #发送完整的TCP数据(本质就是循环调用send,sendall在待发送数据量大于己端缓存区剩余空间时,数据不丢失,循环调用send直到发完) s.recvfrom() #接收UDP数据 s.sendto() #发送UDP数据 s.getpeername() #连接到当前套接字的远端的地址 s.getsockname() #当前套接字的地址 s.getsockopt() #返回指定套接字的参数 s.setsockopt() #设置指定套接字的参数 s.close() #关闭套接字

面向锁的套接字方法

s.setblocking() #设置套接字的阻塞与非阻塞模式 s.settimeout() #设置阻塞套接字操作的超时时间 s.gettimeout() #得到阻塞套接字操作的超时时间

面向文件的套接字方法

s.fileno() #套接字的文件描述符 s.makefile() #创建一个与该套接字相关的文件

打电话的流程演示

服务端.py

import socket phone&＃61;socket.socket(socket.AF_INET,socket.SOCK_STREAM) #买手机 phone.bind((&＃39;127.0.0.1&＃39;,8080)) #插电话卡phone.listen(5) #开机&＃xff0c;backlogprint(&＃39;starting....&＃39;) conn,addr&＃61;phone.accept() #接电话 print(conn) print(&＃39;client addr&＃39;,addr) print(&＃39;ready to read msg&＃39;) client_msg&＃61;conn.recv(1024) #收消息 print(&＃39;client msg: %s&＃39; %client_msg) conn.send(client_msg.upper()) #发消息conn.close() phone.close()

客户端.py

import socket phone&＃61;socket.socket(socket.AF_INET,socket.SOCK_STREAM) phone.connect((&＃39;127.0.0.1&＃39;,8080)) #拨通电话phone.send(&＃39;hello&＃39;.encode(&＃39;utf-8&＃39;)) #发消息back_msg&＃61;phone.recv(1024) print(back_msg)phone.close()

输出

服务端&＃xff1a;

starting.... client addr (&＃39;127.0.0.1&＃39;, 65142) ready to read msg client msg: b&＃39;hello&＃39;

客户端

b&＃39;HELLO&＃39;

五、基于TCP的套接字

tcp服务端

ss &＃61; socket() #创建服务器套接字 ss.bind() #把地址绑定到套接字 ss.listen() #监听链接 inf_loop: #服务器无限循环cs &＃61; ss.accept() #接受客户端链接comm_loop: #通讯循环cs.recv()/cs.send() #对话(接收与发送)cs.close() #关闭客户端套接字 ss.close() #关闭服务器套接字(可选)

tcp客户端

cs &＃61; socket() # 创建客户套接字 cs.connect() # 尝试连接服务器 comm_loop: # 通讯循环cs.send()/cs.recv() # 对话(发送/接收) cs.close() # 关闭客户套接字

socket通信流程与打电话流程类似&＃xff0c;我们就以打电话为例来实现一个low版的套接字通信

服务端

import socket ip_port&＃61;(&＃39;127.0.0.1&＃39;,9000) #电话卡 BUFSIZE&＃61;1024 #收发消息的尺寸 s&＃61;socket.socket(socket.AF_INET,socket.SOCK_STREAM) #买手机 s.bind(ip_port) #手机插卡 s.listen(5) #手机待机conn,addr&＃61;s.accept() #手机接电话 # print(conn) # print(addr) print(&＃39;接到来自%s的电话&＃39; %addr[0])msg&＃61;conn.recv(BUFSIZE) #听消息,听话 print(msg,type(msg))conn.send(msg.upper()) #发消息,说话conn.close() #挂电话s.close() #手机关机

客户端

import socket ip_port&＃61;(&＃39;127.0.0.1&＃39;,9000) BUFSIZE&＃61;1024 s&＃61;socket.socket(socket.AF_INET,socket.SOCK_STREAM)s.connect_ex(ip_port) #拨电话s.send(&＃39;nitouxiang nb&＃39;.encode(&＃39;utf-8&＃39;)) #发消息,说话(只能发送字节类型)feedback&＃61;s.recv(BUFSIZE) #收消息,听话 print(feedback.decode(&＃39;utf-8&＃39;))s.close() #挂电话

输出

服务端

接到来自127.0.0.1的电话 b&＃39;nitouxiang nb&＃39;

客户端

NITOUXIANG NB

上述流程的问题是&＃xff0c;服务端只能接受一次链接&＃xff0c;然后就彻底关闭掉了&＃xff0c;实际情况应该是&＃xff0c;服务端不断接受链接&＃xff0c;然后循环通信&＃xff0c;通信完毕后只关闭链接&＃xff0c;服务器能够继续接收下一次链接&＃xff0c;下面是修改版

服务端

import socket ip_port &＃61; (&＃39;127.0.0.1&＃39;,8081) #电话卡 BUFSIZE&＃61;1024 s&＃61;socket.socket(socket.AF_INET,socket.SOCK_STREAM) #买手机 s.bind(ip_port) #手机插卡 s.listen(5) #手机待机while True: #新增接收链接循环,可以不停的接电话conn,addr&＃61;s.accept() #手机接电话print(&＃39;接到来自%s的电话&＃39; %addr[0])while True: ##新增通信循环,可以不断的通信,收发消息msg&＃61;conn.recv(BUFSIZE) #听消息,听话if len(msg) &＃61;&＃61; 0:break #如果不加,那么正在链接的客户端突然断开,recv便不再阻塞,死循环发生print(msg,type(msg))conn.send(msg.upper()) #发消息,说话conn.close() #挂电话 s.close() #手机关机

客户端

import socket ip_port&＃61;(&＃39;127.0.0.1&＃39;,8081) BUFSIZE&＃61;1024 s&＃61;socket.socket(socket.AF_INET,socket.SOCK_STREAM)s.connect_ex(ip_port) #拨电话while True: #新增通信循环,客户端可以不断发收消息msg&＃61;input(&＃39;>>: &＃39;).strip()if len(msg) &＃61;&＃61; 0:continues.send(msg.encode(&＃39;utf-8&＃39;)) #发消息,说话(只能发送字节类型)feedback&＃61;s.recv(BUFSIZE) #收消息,听话print(feedback.decode(&＃39;utf-8&＃39;))s.close() #挂电话

补充&＃xff1a;

在重启服务端时可能会遇到

这个是由于你的服务端仍然存在四次挥手的time_wait状态在占用地址&＃xff08;如果不懂&＃xff0c;请深入研究1.tcp三次握手&＃xff0c;四次挥手 2.syn洪水攻击 3.服务器高并发情况下会有大量的time_wait状态的优化方法&＃xff09;

解决办法

方法一

#加入一条socket配置&＃xff0c;重用ip和端口phone&＃61;socket(AF_INET,SOCK_STREAM) phone.setsockopt(SOL_SOCKET,SO_REUSEADDR,1) #就是它&＃xff0c;在bind前加 phone.bind((&＃39;127.0.0.1&＃39;,8080))

方法二

发现系统存在大量TIME_WAIT状态的连接&＃xff0c;通过调整linux内核参数解决&＃xff0c; vi /etc/sysctl.conf编辑文件&＃xff0c;加入以下内容&＃xff1a; net.ipv4.tcp_synCOOKIEs &＃61; 1 net.ipv4.tcp_tw_reuse &＃61; 1 net.ipv4.tcp_tw_recycle &＃61; 1 net.ipv4.tcp_fin_timeout &＃61; 30然后执行 /sbin/sysctl -p 让参数生效。net.ipv4.tcp_synCOOKIEs &＃61; 1 表示开启SYN COOKIEs。当出现SYN等待队列溢出时&＃xff0c;启用COOKIEs来处理&＃xff0c;可防范少量SYN攻击&＃xff0c;默认为0&＃xff0c;表示关闭&＃xff1b;net.ipv4.tcp_tw_reuse &＃61; 1 表示开启重用。允许将TIME-WAIT sockets重新用于新的TCP连接&＃xff0c;默认为0&＃xff0c;表示关闭&＃xff1b;net.ipv4.tcp_tw_recycle &＃61; 1 表示开启TCP连接中TIME-WAIT sockets的快速回收&＃xff0c;默认为0&＃xff0c;表示关闭。net.ipv4.tcp_fin_timeout 修改系統默认的 TIMEOUT 时间

六、基于UDP的套接字

udp服务端

ss &＃61; socket() #创建一个服务器的套接字 ss.bind() #绑定服务器套接字 inf_loop: #服务器无限循环cs &＃61; ss.recvfrom()/ss.sendto() # 对话(接收与发送) ss.close() # 关闭服务器套接字

udp客户端

cs &＃61; socket() # 创建客户套接字 comm_loop: # 通讯循环cs.sendto()/cs.recvfrom() # 对话(发送/接收) cs.close() # 关闭客户套接字

示例

服务端

import socket ip_port&＃61;(&＃39;127.0.0.1&＃39;,9000) BUFSIZE&＃61;1024 udp_server_client&＃61;socket.socket(socket.AF_INET,socket.SOCK_DGRAM)udp_server_client.bind(ip_port)while True:msg,addr&＃61;udp_server_client.recvfrom(BUFSIZE)print(msg,addr)udp_server_client.sendto(msg.upper(),addr)

客户端

import socket ip_port&＃61;(&＃39;127.0.0.1&＃39;,9000) BUFSIZE&＃61;1024 udp_server_client&＃61;socket.socket(socket.AF_INET,socket.SOCK_DGRAM)while True:msg&＃61;input(&＃39;>>: &＃39;).strip()if not msg:continueudp_server_client.sendto(msg.encode(&＃39;utf-8&＃39;),ip_port)back_msg,addr&＃61;udp_server_client.recvfrom(BUFSIZE)print(back_msg.decode(&＃39;utf-8&＃39;),addr)

输出

客户端

>>: 123 123 (&＃39;127.0.0.1&＃39;, 9000) >>: 3 3 (&＃39;127.0.0.1&＃39;, 9000) >>: 4 4 (&＃39;127.0.0.1&＃39;, 9000)

服务端

b&＃39;123&＃39; (&＃39;127.0.0.1&＃39;, 53066) b&＃39;3&＃39; (&＃39;127.0.0.1&＃39;, 53066) b&＃39;4&＃39; (&＃39;127.0.0.1&＃39;, 53066)

模拟QQ聊天&＃xff0c;多个客户端和服务端通信

服务端

import socket ip_port&＃61;(&＃39;127.0.0.1&＃39;,8081) udp_server_sock&＃61;socket.socket(socket.AF_INET,socket.SOCK_DGRAM) #买手机 udp_server_sock.bind(ip_port)while True:qq_msg,addr&＃61;udp_server_sock.recvfrom(1024)print(&＃39;来自[%s:%s]的一条消息:\033[1;44m%s\033[0m&＃39; %(addr[0],addr[1],qq_msg.decode(&＃39;utf-8&＃39;)))back_msg&＃61;input(&＃39;回复消息: &＃39;).strip()udp_server_sock.sendto(back_msg.encode(&＃39;utf-8&＃39;),addr)

客户端1

import socket BUFSIZE&＃61;1024 udp_client_socket&＃61;socket.socket(socket.AF_INET,socket.SOCK_DGRAM)qq_name_dic&＃61;{&＃39;TOM&＃39;:(&＃39;127.0.0.1&＃39;,8081),&＃39;JACK&＃39;:(&＃39;127.0.0.1&＃39;,8081),&＃39;一棵树&＃39;:(&＃39;127.0.0.1&＃39;,8081),&＃39;武大郎&＃39;:(&＃39;127.0.0.1&＃39;,8081), }while True:qq_name&＃61;input(&＃39;请选择聊天对象: &＃39;).strip()while True:msg&＃61;input(&＃39;请输入消息,回车发送: &＃39;).strip()if msg &＃61;&＃61; &＃39;quit&＃39;:breakif not msg or not qq_name or qq_name not in qq_name_dic:continueudp_client_socket.sendto(msg.encode(&＃39;utf-8&＃39;),qq_name_dic[qq_name])back_msg,addr&＃61;udp_client_socket.recvfrom(BUFSIZE)print(&＃39;来自[%s:%s]的一条消息:\033[1;44m%s\033[0m&＃39; %(addr[0],addr[1],back_msg.decode(&＃39;utf-8&＃39;)))udp_client_socket.close()

客户端2

输出

客户端1

请选择聊天对象: JACK 请输入消息,回车发送: 约不来自[127.0.0.1:8081]的一条消息:不约请输入消息,回车发送:

客户端2

请选择聊天对象: TOM 请输入消息,回车发送: 123 来自[127.0.0.1:8081]的一条消息:321 请输入消息,回车发送:

服务端

来自[127.0.0.1:62851]的一条消息:123 回复消息: 321 来自[127.0.0.1:60378]的一条消息:约不回复消息: 不约

七、recv与recvfrom

发消息&＃xff0c;都是将数据发送到己端的发送缓冲中&＃xff0c;收消息都是从己端的缓冲区中收。

tcp&＃xff1a;send发消息&＃xff0c;recv收消息
udp&＃xff1a;sendto发消息&＃xff0c;recvfrom收消息

1.send与sendinto

tcp是基于数据流的&＃xff0c;而udp是基于数据报的&＃xff1a;

send(bytes_data):发送数据流&＃xff0c;数据流bytes_data若为空&＃xff0c;自己这段的缓冲区也为空&＃xff0c;操作系统不会控制tcp协议发空包
sendinto(bytes_data,ip_port)&＃xff1a;发送数据报&＃xff0c;bytes_data为空&＃xff0c;还有ip_port,所有即便是发送空的bytes_data,数据报其实也不是空的&＃xff0c;自己这端的缓冲区收到内容&＃xff0c;操作系统就会控制udp协议发包。

2.recv与recvfrom

tcp协议&＃xff1a;

&＃xff08;1&＃xff09;如果收消息缓冲区里的数据为空&＃xff0c;那么recv就会阻塞&＃xff08;阻塞很简单&＃xff0c;就是一直在等着收&＃xff09;

&＃xff08;2&＃xff09;只不过tcp协议的客户端send一个空数据就是真的空数据&＃xff0c;客户端即使有无穷个send空&＃xff0c;也跟没有一个样。

&＃xff08;3&＃xff09;tcp基于链接通信

基于链接&＃xff0c;则需要listen&＃xff08;backlog&＃xff09;&＃xff0c;指定半连接池的大小
基于链接&＃xff0c;必须先运行的服务端&＃xff0c;然后客户端发起链接请求
对于mac系统&＃xff1a;如果一端断开了链接&＃xff0c;那另外一端的链接也跟着完蛋recv将不会阻塞&＃xff0c;收到的是空(解决方法是&＃xff1a;服务端在收消息后加上if判断&＃xff0c;空消息就break掉通信循环)
对于windows/linux系统&＃xff1a;如果一端断开了链接&＃xff0c;那另外一端的链接也跟着完蛋recv将不会阻塞&＃xff0c;收到的是空(解决方法是&＃xff1a;服务端通信循环内加异常处理&＃xff0c;捕捉到异常后就break掉通讯循环)

udp协议

&＃xff08;1&＃xff09;如果如果收消息缓冲区里的数据为“空”&＃xff0c;recvfrom也会阻塞

&＃xff08;2&＃xff09;只不过udp协议的客户端sendinto一个空数据并不是真的空数据&＃xff08;包含&＃xff1a;空数据&＃43;地址信息&＃xff0c;得到的报仍然不会为空&＃xff09;&＃xff0c;所以客户端只要有一个sendinto&＃xff08;不管是否发送空数据&＃xff0c;都不是真的空数据&＃xff09;&＃xff0c;服务端就可以recvfrom到数据。

&＃xff08;3&＃xff09;udp无链接

无链接&＃xff0c;因而无需listen&＃xff08;backlog&＃xff09;&＃xff0c;更加没有什么连接池之说了
无链接&＃xff0c;udp的sendinto不用管是否有一个正在运行的服务端&＃xff0c;可以己端一个劲的发消息&＃xff0c;只不过数据丢失
recvfrom收的数据小于sendinto发送的数据时&＃xff0c;在mac和linux系统上数据直接丢失&＃xff0c;在windows系统上发送的比接收的大直接报错
只有sendinto发送数据没有recvfrom收数据&＃xff0c;数据丢失

注意&＃xff1a;

1.你单独运行上面的udp的客户端&＃xff0c;你发现并不会报错&＃xff0c;相反tcp却会报错&＃xff0c;因为udp协议只负责把包发出去&＃xff0c;对方收不收&＃xff0c;我根本不管&＃xff0c;而tcp是基于链接的&＃xff0c;必须有一个服务端先运行着&＃xff0c;客户端去跟服务端建立链接然后依托于链接才能传递消息&＃xff0c;任何一方试图把链接摧毁都会导致对方程序的崩溃。

2.上面的udp程序&＃xff0c;你注释任何一条客户端的sendinto&＃xff0c;服务端都会卡住&＃xff0c;为什么&＃xff1f;因为服务端有几个recvfrom就要对应几个sendinto&＃xff0c;哪怕是sendinto(b&＃39;&＃39;)那也要有。

基于tcp先制作一个远程执行命令的程序&＃xff08;1&＃xff1a;执行错误命令 2&＃xff1a;执行ls 3&＃xff1a;执行ifconfig&＃xff09;

客户端

import socket BUFSIZE&＃61;1024 ip_port&＃61;(&＃39;127.0.0.1&＃39;,8080)s&＃61;socket.socket(socket.AF_INET,socket.SOCK_STREAM) res&＃61;s.connect_ex(ip_port)while True:msg&＃61;input(&＃39;>>: &＃39;).strip()if len(msg) &＃61;&＃61; 0:continueif msg &＃61;&＃61; &＃39;quit&＃39;:breaks.send(msg.encode(&＃39;utf-8&＃39;))act_res&＃61;s.recv(BUFSIZE)print(act_res.decode(&＃39;utf-8&＃39;),end&＃61;&＃39;&＃39;)

服务端

from socket import * import subprocessip_port&＃61;(&＃39;127.0.0.1&＃39;,8080) BUFSIZE&＃61;1024tcp_socket_server&＃61;socket(AF_INET,SOCK_STREAM) tcp_socket_server.setsockopt(SOL_SOCKET,SO_REUSEADDR,1) tcp_socket_server.bind(ip_port) tcp_socket_server.listen(5)while True:conn,addr&＃61;tcp_socket_server.accept()print(&＃39;客户端&＃39;,addr)while True:cmd&＃61;conn.recv(BUFSIZE)if len(cmd) &＃61;&＃61; 0:breakres&＃61;subprocess.Popen(cmd.decode(&＃39;utf-8&＃39;),shell&＃61;True,stdout&＃61;subprocess.PIPE,stdin&＃61;subprocess.PIPE,stderr&＃61;subprocess.PIPE)stderr&＃61;res.stderr.read()stdout&＃61;res.stdout.read()conn.send(stderr)conn.send(stdout)

输出

客户端

>>: ls 1.py 客户端.py 客户端1.py 客户端2.py 服务端.py >>: ifconfig en0 en0: flags&＃61;8863 mtu 1500ether 78:4f:43:5b:a5:4c inet6 fe80::d0:d821:dbf0:3d67%en0 prefixlen 64 secured scopeid 0x5 inet 192.168.31.165 netmask 0xffffff00 broadcast 192.168.31.255nd6 options&＃61;201media: autoselectstatus: active >>: ifconfig lo0: flags&＃61;8049 mtu 16384options&＃61;1203inet 127.0.0.1 netmask 0xff000000 inet6 ::1 prefixlen 128 inet6 fe80::1%lo0 prefixlen 64 scopeid 0x1 nd6 options&＃61;201 gif0: flags&＃61;8010 mtu 1280 stf0: flags&＃61;0<> mtu 1280 en0: flags&＃61;8863 mtu 1500ether 78:4f:43:5b:a5:4c inet6 fe80::d0:d821:dbf0:3d67%en0 prefixlen 64 secured scopeid 0x5 inet 192.168.31.165 netmask 0xffffff00 broadcast 192.168.31.255nd6 options&＃61;201media: autoselectstatus: active en1: flags&＃61;963 mtu 1500options&＃61;60ether e2:00:ec:98:eb:00 media: autoselect status: inactive en3: flags&＃61;963 mtu 1500options&＃61;60ether e2:00:ec:98:eb:01 media: autoselect status: inactive en2: flags&＃61;963 mtu 1500>>: >>:

服务端

客户端 (&＃39;127.0.0.1&＃39;, 58194)

上述程序是基于tcp的socket&＃xff0c;在运行时会发生粘包

服务端

from socket import * import subprocessip_port&＃61;(&＃39;127.0.0.1&＃39;,9003) bufsize&＃61;1024udp_server&＃61;socket(AF_INET,SOCK_DGRAM) udp_server.bind(ip_port)while True:#收消息cmd,addr&＃61;udp_server.recvfrom(bufsize)print(&＃39;用户命令----->&＃39;,cmd)#逻辑处理res&＃61;subprocess.Popen(cmd.decode(&＃39;utf-8&＃39;),shell&＃61;True,stderr&＃61;subprocess.PIPE,stdin&＃61;subprocess.PIPE,stdout&＃61;subprocess.PIPE)stderr&＃61;res.stderr.read()stdout&＃61;res.stdout.read()#发消息udp_server.sendto(stderr,addr)udp_server.sendto(stdout,addr) udp_server.close()

客户端

from socket import * ip_port&＃61;(&＃39;127.0.0.1&＃39;,9003) bufsize&＃61;1024udp_client&＃61;socket(AF_INET,SOCK_DGRAM)while True:msg&＃61;input(&＃39;>>: &＃39;).strip()udp_client.sendto(msg.encode(&＃39;utf-8&＃39;),ip_port)data,addr&＃61;udp_client.recvfrom(bufsize)print(data.decode(&＃39;utf-8&＃39;),end&＃61;&＃39;&＃39;)

上述程序是基于udp的socket&＃xff0c;在运行时永远不会发生粘包

注意注意注意&＃xff1a;

res&＃61;subprocess.Popen(cmd.decode(&＃39;utf-8&＃39;),
shell&＃61;True,
stderr&＃61;subprocess.PIPE,
stdout&＃61;subprocess.PIPE)

的结果的编码是以当前所在的系统为准的&＃xff0c;如果是windows&＃xff0c;那么res.stdout.read()读出的就是GBK编码的&＃xff0c;在接收端需要用GBK解码且只能从管道里读一次结果

八、粘包

1.什么是粘包

粘包&＃xff1a;发送方发送两个字符串”hello”&＃43;”world”&＃xff0c;接收方却一次性接收到了”helloworld”。

只有TCP有粘包现象&＃xff0c;UDP永远不会粘包。

所谓粘包问题主要还是因为接收方不知道消息之间的界限&＃xff0c;不知道一次性提取多少字节的数据所造成的。

补充&＃xff1a;

分包&＃xff1a;发送方发送字符串”helloworld”&＃xff0c;接收方却接收到了两个字符串”hello”和”world”。

TCP是以段&＃xff08;Segment&＃xff09;为单位发送数据的&＃xff0c;建立TCP链接后&＃xff0c;有一个最大消息长度&＃xff08;MSS&＃xff09;。如果应用层数据包超过MSS&＃xff0c;就会把应用层数据包拆分&＃xff0c;分成两个段来发送。这个时候接收端的应用层就要拼接这两个TCP包&＃xff0c;才能正确处理数据。

补充&＃xff1a;

一个socket收发消息的原理

2.粘包如何产生

TCP为了提高网络的利用率&＃xff0c;会使用一个叫做Nagle的算法。该算法是指&＃xff0c;发送端即使有要发送的数据&＃xff0c;如果很少的话&＃xff0c;会延迟发送。如果应用层给TCP传送数据很快的话&＃xff0c;就会把两个应用层数据包“粘”在一起&＃xff0c;TCP最后只发一个TCP数据包给接收端。

tcp的协议数据不会丢&＃xff0c;没有收完包&＃xff0c;下次接收&＃xff0c;会继续上次继续接收&＃xff0c;己端总是在收到ack时才会清除缓冲区内容。数据是可靠的&＃xff0c;但是会粘包。

反送方&＃xff1a;

当应用程序调用send函数时&＃xff0c;应用程序会将数据从应用程序拷贝到操作系统缓存&＃xff0c;再由操作系统从缓冲区读取数据并发送出去

接收方&＃xff1a;

对方计算机收到数据也是操作系统先收到&＃xff0c;至于应用程序何时处理这些数据&＃xff0c;操作系统并不清楚&＃xff0c;所以同样需要将数据先存储到操作系统的缓冲区中&＃xff0c;当应用程序调用recv时&＃xff0c;实际上是从操作系统缓冲区中将数据拷贝到应用程序的过程

上述过程对于TCP与UDP都是相同的不同之处在于&＃xff1a;

UDP&＃xff1a;

UDP在收发数据时是基于数据包的&＃xff0c;即一个包一个包的发送&＃xff0c;包与包之间有着明确的分界&＃xff0c;到达对方操作系统缓冲区后也是一个一个独立的数据包&＃xff0c;接收方从操作系统缓冲区中将数据包拷贝到应用程序

这种方式存在的问题&＃xff1a;

发送方发送的数据长度每个操作系统会有不同的限制&＃xff0c;数据超过限制则无法发送
接收方接收数据时如果应用程序的提供的缓存容量小于数据包的长度将造成数据丢失&＃xff0c;而缓冲区大小不可能无限大

TCP&＃xff1a;

当我们需要传输较大的数据&＃xff0c;或需要保证数据完整性时&＃xff0c;最简单的方式就是使用TCP协议了&＃xff0c;与UDP不同的是&＃xff0c;TCP增加了一套校验规则来保证数据的完整性&＃xff0c;会将超过TCP包最大长度的数据拆分为多个TCP包&＃xff0c;并在传输数据时为每一个TCP数据包指定一个顺序号&＃xff0c;接收方在收到TCP数据包后按照顺序将数据包进行重组&＃xff0c;重组后的数据全都是二进制数据&＃xff0c;且每次收到的二进制数据之间没有明显的分界

基于这种工作机制TCP在三种情况下会发送粘包问题

当单个数据包较小时接收方可能一次性读取了多个包的数据
当整体数据较大时接收方可能一次仅读取了一个包的一部分内容
另外TCP协议为了提高效率&＃xff0c;增加了一种优化机制&＃xff0c;会将数据较小且发送间隔较短的数据合并发送&＃xff0c;该机制也会导致发送方将两个数据包粘在一起发送

基础解决方案&＃xff1a;

首先明确只有TCP会出现粘包问题&＃xff0c;之所以粘包是因为接收方不知道一次该接收的数据长度&＃xff0c;那如何才能让接收方知道数据的长度呢&＃xff1f;

解决方案&＃xff1a;在发送数据前先发送数据长度

cmd 服务端&＃xff1a;

import socket import subprocess import struct server &＃61; socket.socket() server.bind(("127.0.0.1",9090)) server.listen()while True:client,addr &＃61; server.accept()while True:try:#接收客户端命令cmd &＃61; client.recv(1024).decode("utf-8")p &＃61; subprocess.Popen(cmd,shell&＃61;True,stdout&＃61;-1,stderr&＃61;-1)# data与err_data都是采用的系统编码&＃xff0c;windows是GBKdata &＃61; p.stdout.read()err_data &＃61; p.stderr.read()print("数据长度:%s" % (len(data) &＃43; len(err_data)))#计算数据长度length &＃61; len(data) &＃43; len(err_data)#将int类型的长度转成字节len_data &＃61; struct.pack("i",length)# 先发送长度&＃xff0c;在发真实数据有可能长度数据和真实数据黏在一起&＃xff0c;而接收方不知道长度数据的字节数导致黏包# 解决的方案就是长度信息占的字节数固定死整数转成一个固定长度字节# 先发送长度给客户端 client.send(len_data)# 再发送数据给客户端client.send(data)client.send(err_data)except ConnectionResetError:client.close()print("连接中断......")break

cmd 客户端&＃xff1a;

import socket import structc &＃61; socket.socket() c.connect(("127.0.0.1",9090)) while True:cmd &＃61; input(">>:").strip()c.send(cmd.encode("utf-8"))# 先接收长度&＃xff0c;长度固定为4个字节length &＃61; c.recv(4)# 转换为整型len_data &＃61; struct.unpack("i",length)[0] print("数据长度为%s" % len_data)# 存储已接收数据all_data &＃61; b"" # 已接收长度rcv_size &＃61; 0# 循环接收直到接收到的长度等于总长度while rcv_size

上述方案已经完美解决了粘包问题&＃xff0c;但是扩展性不高&＃xff0c;例如我们要实现文件上传下载&＃xff0c;不光要传输文件数据&＃xff0c;还需要传输文件名字&＃xff0c;md5值等等&＃xff0c;如何能实现呢&＃xff1f;

解决方案&＃xff1a;

发送端&＃xff1a;

先将所有的额外信息打包到一个头中
然后先发送头部数据
最后发送真实数据

接收端&＃xff1a;

接收固定长度的头部长度数据
根据长度数据获取头部数据
根据头部数据获取真实数据

cmd 服务端&＃xff1a;

# 要求&＃xff1a;不仅返回命令的结果还要返回执行命令的时间执行时间:2018/12/26 import socket import subprocess import struct import datetime import jsonserver &＃61; socket.socket() server.bind(("127.0.0.1",9090)) server.listen()while True:client,addr &＃61; server.accept()while True:try:# 接收命令cmd &＃61; client.recv(1024).decode("utf-8")p &＃61; subprocess.Popen(cmd,shell&＃61;True,stdout&＃61;-1,stderr&＃61;-1)# data与err_data都是采用的系统编码&＃xff0c;windows是GBKdata &＃61; p.stdout.read()err_data &＃61; p.stderr.read()print("数据长度:%s" % (len(data) &＃43; len(err_data)))# 计算真实数据长度length &＃61; len(data) &＃43; len(err_data)# 在发送数据之前发送额外的信息#t &＃61; "{执行时间:%s 真实数据长度:%s" % (datetime.datetime.now(),length)# 把要发送的数据先存到字典中t &＃61; {}t["time"] &＃61; str(datetime.datetime.now())t["size"] &＃61; lengtht["filename"] &＃61; "a.mp4"t_json &＃61; json.dumps(t) # 得到json格式字符串t_data &＃61; t_json.encode("utf-8") # 将json转成了字节t_length &＃61; struct.pack("i",len(t_data))# 1.先发送额外信息的长度client.send(t_length)# 2.发送额外信息client.send(t_data)# 3.发送真实数据client.send(data)client.send(err_data)except ConnectionResetError:client.close()print("连接中断......")break# 1.发送了真实数据长度 2.发送了额外信息长度 3.发送额外信息 4.发送真实数据

cmd 客户端&＃xff1a;

import socket import struct import jsonc &＃61; socket.socket() c.connect(("127.0.0.1",9090)) while True:cmd &＃61; input(">>>:")if not cmd:print("命令不能为空")continuec.send(cmd.encode("utf-8"))# 1.接收的是额外信息的长度length &＃61; c.recv(4)len_data &＃61; struct.unpack("i",length)[0] # 转换为整型# 2.接收额外信息t_data &＃61; c.recv(len_data)print(t_data.decode("utf-8"))json_dic &＃61; json.loads(t_data.decode("utf-8"))print("执行时间:%s" % json_dic["time"])data_size &＃61; json_dic["size"] # 得到数据长度all_data &＃61; b"" # 存储已接收数据rcv_size &＃61; 0 # 已接收长度# 接收真实数据# 循环接收直到接收到的长度等于总长度while rcv_size

文件上传下载

服务端&＃xff1a;

import socket import struct import json server &＃61; socket.socket() server.bind(("127.0.0.1",9090)) server.listen() client,addr &＃61; server.accept()f &＃61; open("接收到的文件",mode&＃61;"wb")head_len &＃61; client.recv(4) json_len &＃61; struct.unpack("i",head_len)[0]json_str &＃61; client.recv(json_len).decode("utf-8") head &＃61; json.loads(json_str) print(head)recv_size &＃61; 0 while recv_size

客户端&＃xff1a;

import socket import os import json import struct c &＃61; socket.socket() c.connect(("127.0.0.1",9090))filepath&＃61; r"F:\测试.mp4" f &＃61; open(filepath,mode&＃61;"rb")# 在发送数据前先发送报头 head &＃61; {"size":os.path.getsize(filepath),"filename":"回顾.mp4"} json_data &＃61; json.dumps(head).encode("utf-8")json_len &＃61; struct.pack("i",len(json_data)) c.send(json_len) # 发长度 c.send(json_data) # 发报头# 发数据 while True:data &＃61; f.read(1024)if not data:break# 发送给服务器c.send(data)print("上传完成...")

其他实例&＃xff1a;

import json,struct #假设通过客户端上传1T:1073741824000的文件a.txt#为避免粘包,必须自定制报头 header&＃61;{&＃39;file_size&＃39;:1073741824000,&＃39;file_name&＃39;:&＃39;/a/b/c/d/e/a.txt&＃39;,&＃39;md5&＃39;:&＃39;8f6fbf8347faa4924a76856701edb0f3&＃39;} #1T数据,文件路径和md5值#为了该报头能传送,需要序列化并且转为bytes head_bytes&＃61;bytes(json.dumps(header),encoding&＃61;&＃39;utf-8&＃39;) #序列化并转成bytes,用于传输#为了让客户端知道报头的长度,用struck将报头长度这个数字转成固定长度:4个字节 head_len_bytes&＃61;struct.pack(&＃39;i&＃39;,len(head_bytes)) #这4个字节里只包含了一个数字,该数字是报头的长度#客户端开始发送 conn.send(head_len_bytes) #先发报头的长度,4个bytes conn.send(head_bytes) #再发报头的字节格式 conn.sendall(文件内容) #然后发真实内容的字节格式#服务端开始接收 head_len_bytes&＃61;s.recv(4) #先收报头4个bytes,得到报头长度的字节格式 x&＃61;struct.unpack(&＃39;i&＃39;,head_len_bytes)[0] #提取报头的长度head_bytes&＃61;s.recv(x) #按照报头长度x,收取报头的bytes格式 header&＃61;json.loads(json.dumps(header)) #提取报头#最后根据报头的内容提取真实的数据,比如 real_data_len&＃61;s.recv(header[&＃39;file_size&＃39;]) s.recv(real_data_len)