PyTorch模型的服务化部署

本文将介绍如何使用Flask搭建一个基于PyTorch的图片分类服务以及并行处理的相关技术。作为一个深度学习工程师&＃xff0c;学习这些内容纯粹是为了方便对服务化的模型进行debug&＃xff0c;因为web开发的同时常常表示他们很难定位到深度学习服务的bug的位置。

系统&＃xff1a;Ubuntu 18.04

Python版本&＃xff1a;3.7

依赖Python包&＃xff1a;

1. PyTorch&＃61;&＃61;1.3
2. Flask&＃61;&＃61;0.12
3. Gunicorn

需要注意的是Flask 0.12中默认的单进程单线程&＃xff0c;而最新的1.0.2则不是&＃xff08;具体是多线程还是多进程尚待考证&＃xff09;&＃xff0c;而中文博客里面能查到的资料基本都在说Flask默认单进程单线程。

依赖工具

1. nginx
2. apache2-utils

nginx 用于代理转发和负载均衡&＃xff0c;apache2-utils用于测试接口

对于做算法的读者&＃xff0c;不着急搭建深度学习模型&＃xff0c;因为算法工程师普遍对web开发不太熟悉&＃xff0c;可以先搭建一个最简单的web服务&＃xff0c;并验证其功能无误之后再加入深度学习模型。

2.1 Flask搭建图片上传服务

因为图片分类服务需要从本地上传图片&＃xff0c;可以先搭建一个用于图片上传的服务

# sim_server.py
from flask import Flask, request
from werkzeug.utils import secure_filename
import uuid
from PIL import Image
import os
import timeapp &＃61; Flask(__name__)&＃64;app.route("/run",methods &＃61; ["GET"])
def run():# 用于测试服务是否并行time.sleep(1)return "0"if __name__ &＃61;&＃61; "__main__":app.run(host&＃61;"0.0.0.0",port&＃61;5555,debug&＃61;True)


启动服务&＃xff1a;

python sim_server.py


此时可以使用apache-utils测试接口是否是异步运行

ab -c 2 -n 10 http://localhost:5555/run


得到一长串结果&＃xff0c;其中有一行是&＃xff1a;

Requests per second: 1.00 [#/sec] (mean)


这行显示的是服务每秒钟能处理几个请求&＃xff0c;如果是单进程单线程的话&＃xff0c;每秒钟只能处理一个请求&＃xff0c;服务的处理能力会随着进程数的增加而增加&＃xff0c;但是由于计算机性能限制&＃xff0c;增加进程数带来的处理能力提升会越来越小。

2.2 使用gunicorn启动多个进程

使用gunicorn可以快速启动多个进程&＃xff1a;

gunicorn -w 4 -b 0.0.0.0:5555 sim_server:app


输出如下内容代表服务创建成功&＃xff1a;

[2020-02-11 14:50:24 &＃43;0800] [892] [INFO] Starting gunicorn 20.0.4
[2020-02-11 14:50:24 &＃43;0800] [892] [INFO] Listening at: http://0.0.0.0:5555 (892)
[2020-02-11 14:50:24 &＃43;0800] [892] [INFO] Using worker: sync
[2020-02-11 14:50:24 &＃43;0800] [895] [INFO] Booting worker with pid: 895
[2020-02-11 14:50:24 &＃43;0800] [896] [INFO] Booting worker with pid: 896
[2020-02-11 14:50:24 &＃43;0800] [898] [INFO] Booting worker with pid: 898
[2020-02-11 14:50:24 &＃43;0800] [899] [INFO] Booting worker with pid: 899


再次使用apache-utils进行测试&＃xff0c;可以看到处理能力的提升&＃xff1a;

ab -c 4 -n 10 http://localhost:5555/run


得到处理能力&＃xff1a;Requests per second: 3.33 [#/sec] (mean)

可以看到&＃xff0c;开启四个进程之后&＃xff0c;服务的处理能力并没有达到4requests/second。

如果配置比较复杂&＃xff0c;也可以将配置写入一个文件中&＃xff0c;如&＃xff1a;

bind &＃61; &＃39;0.0.0.0:5555&＃39;
timeout &＃61; 10
workers &＃61; 4


然后运行&＃xff1a;

gunicorn -c gunicorn.conf sim_server:app


2.3 nginx代理

安装好nginx之后&＃xff0c;修改nginx的配置文件

worker_processes auto;
error_log /var/log/nginx/error.log;
pid /run/nginx.pid;
# Load dynamic modules. See /usr/share/nginx/README.dynamic.
include /usr/share/nginx/modules/*.conf;events {worker_connections 1024;
}http {server{listen 5556; # nginx端口server_name localhost;location / {proxy_pass http://localhost:5555/run; # gunicorn的url}}
}


然后按配置文件启动

sudo nginx -c nginx.conf


启动之后就可以在新的地址上访问了&＃xff1a;

ab -c 4 -n 10 http://localhost:5556/run

3. 将PyTorch分类模型接入服务

from flask import Flask, request
from werkzeug.utils import secure_filename
import uuid
from PIL import Image
import os
import time
import base64
import jsonimport torch
from torchvision.models import resnet18
from torchvision.transforms import ToTensorfrom keys import keyapp &＃61; Flask(__name__)
net &＃61; resnet18(pretrained&＃61;True)
net.eval()&＃64;app.route("/",methods&＃61;["GET"])
def show():return "classifier api"&＃64;app.route("/run",methods &＃61; ["GET","POST"])
def run():file &＃61; request.files[&＃39;file&＃39;]base_path &＃61; os.path.dirname(__file__)if not os.path.exists(os.path.join(base_path, "temp")):os.makedirs(os.path.join(base_path, "temp"))file_name &＃61; uuid.uuid4().hexupload_path &＃61; os.path.join(base_path, "temp", file_name)file.save(upload_path)img &＃61; Image.open(upload_path)img_tensor &＃61; ToTensor()(img).unsqueeze(0)out &＃61; net(img_tensor)pred &＃61; torch.argmax(out,dim &＃61; 1)return "result : {}".format(key[pred])if __name__ &＃61;&＃61; "__main__":app.run(host&＃61;"0.0.0.0",port&＃61;5555,debug&＃61;True)

并发测试

使用apache2-utils进行上传图片的post请求方法参考&＃xff1a;
https://links.jianshu.com/go?to&＃61;https%3A%2F%2Fgist.github.com%2Fchiller%2Fdec373004894e9c9bb38ac647c7ccfa8

严格参照&＃xff0c;注意一个标点&＃xff0c;一个符号都不要错。
使用这种方法传输图片的base64编码&＃xff0c;在服务端不需要解码也能使用

然后使用下面的方式访问
gunicorn 接口

ab -n 2 -c 2 -T "multipart/form-data; boundary&＃61;1234567890" -p turtle.txt http://localhost:5555/run


nginx 接口

ab -n 2 -c 2 -T "multipart/form-data; boundary&＃61;1234567890" -p turtle.txt http://localhost:5556/run


有了gunicorn和nginx就可以轻松地实现PyTorch模型的多机多卡部署了。

https://www.jianshu.com/p/a4c4a89a771d