作者:手机用户2502869943 | 来源:互联网 | 2023-08-26 06:48
本文由编程笔记#小编为大家整理,主要介绍了网络基础ftp任务(进度条计算文件大小断点续传搭建框架示例)相关的知识,希望对你有一定的参考价值。
一、网络基础
1、端口,是什么?为什么要有端口?
端口是为了将同一个电脑上的不同程序进行隔离。
IP是找电脑;端口是找电脑上的应用程序;
端口范围:1 – 65535 ; 1 - 1024 不要用 ; 一般程序员用8000、8001……
2、OSI 七层模型(记住哪七层)
应用层,使用软件; 打开软件或网站
表示层,看到数据,如图片和视频; 生产原始数据
会话层,保持登录或链接状态; 应用偷偷携带一点其他数据: 令牌 19rRNAwf8g
传输层,TCP/UDP; [TCP][原始数据|19rRNAwf8g]
网络层,IP; 【IP】【[TCP][原始数据|19rRNAwf8g]】
数据链路层,MAC; [MAC][ 【IP】【[TCP][原始数据|19rRNAwf8g]】]
物理层,将数据转换成电信号发送;
3、TCP三次握手,四次挥手
socket客户端向服务端发起连接请求:三次握手(只能先由客户端向服务端发起请求)
client.connect((……))
客户端 服务端
我能打你吗
来呀来呀
好的,我这就来
----------------------------------------
client.send(收发数据)
收发数据 收发数据
客户端和服务端断开连接:四次挥手(客户端和服务端都可以主动断开连接)
client.close() 或者 conn.close()
------------------------------------------------------------
我要断开连接
断开就断开,等我处理一些手头的事情
……
我处理完了,断开吧
拜拜
补充:断开连接时,反应到代码上:抛出异常(windows)/发送空内容(linux和mac系统)
总结:必须了解网络相关知识。
二、FTP任务分析(进度条、计算文件大小、断点续传、搭建框架示例)
1、进度条(
移动到行首、print不换行end=””)
import time
def jdt(now,all): # 进度条函数
per = int(now / all * 100)
print(‘
%s %s%%‘ % (‘*‘*per , per) ,end=‘‘)
time.sleep(0.05)
for i in range(101):
jdt(i,100) # 执行进度条函数
2、计算文件大小
之前我们学过一种计算文件大小的方式:os.path.getsize(file_path),现在再来学习一种方式:
import os
size1 = os.path.getsize(‘server.py‘)
size2 = os.stat(‘server.py‘).st_size
print(size1,size2) # 1844 1844
3、断点续传
我们先来写一个断点续传(脚本主要实现了客户端向服务端上传文件,上传过程中中断的话,再次上传此文件时接着上次中断的地方继续上传)的简单示例,然后从中提取一些编程思想:
import os
import json
import socketserver
import shutil
CODE = {
‘1001‘:‘上传文件,从头开始上传‘
}
def upload(cmd_dict,conn,username):
"""
服务端完成上传文件(含断点续传)
:param cmd_dict:
:param conn:
:return:
"""
# 2. 获取文件信息
file_md5 = cmd_dict[‘md5‘]
file_name = cmd_dict[‘file_name‘]
file_md5_path = os.path.join(username, file_md5)
file_name_path = os.path.join(username, file_name)
upload_file_size = cmd_dict[‘size‘]
# 3. 判断文件是否存在
exist = os.path.exists(file_md5_path)
if not exist: # 不续传
# 3.1.1 可以开始上传了,我已经准备好。
respOnse= {‘code‘: 1001}
conn.sendall(json.dumps(response).encode(‘utf-8‘))
# 3.1.2 接收上传的文件内容
f = open(file_md5_path, ‘wb‘)
recv_size = 0
while recv_size < upload_file_size:
data = conn.recv(1024)
f.write(data)
f.flush()
recv_size += len(data)
return
f.close()
# 3.1.3 改名字
shutil.move(file_md5_path, file_name_path)
else: # 续传
# 3.2 续传+大小
exist_size = os.stat(file_md5_path).st_size
response = {‘code‘: 1002, ‘size‘: exist_size}
conn.sendall(json.dumps(response).encode(‘utf-8‘))
f = open(file_md5_path, ‘ab‘)
recv_size = exist_size
while recv_size < upload_file_size:
data = conn.recv(1024)
f.write(data)
f.flush()
recv_size += len(data)
f.close()
# 3.1.3 改名字
shutil.move(file_md5_path, file_name_path)
class NbServer(socketserver.BaseRequestHandler):
def handle(self):
"""
self.request 是客户端的socket对象
:return:
"""
# 1. 接收命令
upload_cmd_bytes = self.request.recv(8096)
cmd_dict = json.loads(upload_cmd_bytes.decode(‘utf-8‘))
if cmd_dict[‘cmd‘] == ‘upload‘:
upload(cmd_dict,self.request,‘lili‘) # 服务端代码有个文件夹(lili)才能运行
elif cmd_dict[‘cmd‘] == ‘download‘:
pass
if __name__ == ‘__main__‘:
server = socketserver.ThreadingTCPServer((‘127.0.0.1‘,8001),NbServer)
server.serve_forever()
服务端 import os
import socket
import json
import hashlib
CODE = {
‘1001‘:‘上传文件,从头开始上传‘
}
def file_md5(file_path):
"""
文件进行md5加密
:param file_path:
:return:
"""
obj = open(file_path,‘rb‘)
m = hashlib.md5()
for line in obj:
m.update(line)
obj.close()
return m.hexdigest()
def jdt(size,total_size):
"""
显示进度条
:return:
"""
val = int(size / total_size * 100)
print(‘
%s%%|%s‘ % (val, "#" * val,), end=‘‘)
def send_file(exist_size,file_total_size):
"""
发送文件
:param exist_size:开始读取字节的位置
:param file_total_size: 文件总字节大小
:return:
"""
f = open(file_path, ‘rb‘)
f.seek(exist_size)
send_size = exist_size
while send_size < file_total_size:
data = f.read(1024)
sk.sendall(data)
send_size += len(data)
jdt(send_size,file_total_size)
f.close()
print(‘上传成功‘)
def upload(file_path):
"""
文件上传(含断点)
:param file_path:
:return:
"""
file_md5_val = file_md5(file_path)
file_name = os.path.basename(file_path)
file_size = os.stat(file_path).st_size
cmd_dict = {‘cmd‘: ‘upload‘, ‘file_name‘: file_name, ‘size‘: file_size, ‘md5‘: file_md5_val}
upload_cmd_bytes = json.dumps(cmd_dict).encode(‘utf-8‘)
sk.sendall(upload_cmd_bytes)
# 2. 等待服务端的响应
respOnse= json.loads(sk.recv(8096).decode(‘utf-8‘))
if response[‘code‘] == 1001:
send_file(0, file_size)
else:
# 短点续传
exist_size = response[‘size‘]
send_file(exist_size,file_size)
sk = socket.socket()
sk.connect((‘127.0.0.1‘,8001))
while True:
# upload|文件路|径
user_input = input("请输入要执行的命令")
# 1. 自定义协议{‘cmd‘:‘upload‘,‘file_path‘:‘.....‘}
cmd,file_path = user_input.split(‘|‘,maxsplit=1)
if cmd == ‘upload‘:
upload(file_path)
elif cmd == ‘download‘:
pass
客户端总结:
1)CODE 自定义状态码;
2)自定义规范: {‘code‘:1000 };
3)if…else… 分支用 反射;
4)其他:删除修改文件,如下示例:
import os
import shutil
# py2 + win:报错
os.rename(‘a.txt‘,‘b.txt‘)
# py2 + py3 都不会报错
shutil.move(‘c.txt‘,‘a.txt‘) # 若a.txt已经存在,则会将其覆盖掉
shutil.rmtree(‘E:@LilypythonDemoclassic‘) # 递归删除一个目录以及目录内的所有内容
4、搭建框架示例
# myProject/
# ├── bin (当前项目的启动脚本在这里)
# │ ├── start.py
# ├── core (核心代码都在这里)
# │ └── main.py
# └── db
# └── userInfo.json
# └── lib(不是内置和第三方模块,可能是自己写的,较完善且跟此程序相关性小)
# └── models.py
# └── conf(配置文件,多处用到某个值以后可能会被修改,则写到配置文件中)
# └── settings.py
# └── log(日志文件,供用户查看追责或者公司分析数据)
# └── all.log
# ├── readme (对程序作说明,说明如何使用此程序)