模型部署利用TensorflowServing部署模型

使用Tensorflow框架训练好模型后&＃xff0c;想把模型部署到生产环境可以使用Tensorflow Serving进行部署。Tensorflow Serving具有以下作用&＃xff1a;

• 兼容Tensorflow训练的模型&＃xff0c;提供gRPC和RESTful API服务
• 便于实现&＃xff0c;自带版本管理&＃xff0c;支持模型热更新&＃xff0c;可同时部署多个版本模型等优点
• 使用docker进行部署&＃xff0c;方便快捷

Docker Hub上的tensorflow/serving repo存在多个版本的的tensorflow serving docker 镜像&＃xff0c;除tensorflow版本不同外&＃xff0c;存在四种镜像版本号&＃xff0c;分别为&＃xff1a;

• :latest&＃xff1a;带有编译好的Tensorflow Serving的原始镜像&＃xff0c;无法进行任何修改
• latest-devel&＃xff1a;devel指的是development&＃xff0c;可开启镜像容器bash修改配置&＃xff0c;然后使用docker commit制作新镜像
• latest-devel-gpu&＃xff1a;GPU版本的latest-devel

关于Tensorflow的部署过程如下&＃xff0c;摘自&＃xff1a;Tensorflow Serving Github

# Download the TensorFlow Serving Docker image and repo
docker pull tensorflow/servinggit clone https://github.com/tensorflow/serving
# Location of demo models
TESTDATA&＃61;"$(pwd)/serving/tensorflow_serving/servables/tensorflow/testdata"# Start TensorFlow Serving container and open the REST API port
docker run -t --rm -p 8501:8501 \-v "$TESTDATA/saved_model_half_plus_two_cpu:/models/half_plus_two" \-e MODEL_NAME&＃61;half_plus_two \tensorflow/serving &＃ Query the model using the predict API
curl -d &＃39;{"instances": [1.0, 2.0, 5.0]}&＃39; \-X POST http://localhost:8501/v1/models/half_plus_two:predict# Returns &＃61;> { "predictions": [2.5, 3.0, 4.5] }


在整个过程中运行docker时需要挂载宿主模型目录&＃xff08;一般在XXX/serving//tensorflow_serving/servables/tensorflow/testdata/your_model_path_name&＃xff09;到容器里面&＃xff08;/models/your_model_path_name&＃xff09;。这个时候就会产生疑问&＃xff0c;假设需要部署多个模型怎么办&＃xff1f;某个模型有多个版本该如何做版本控制&＃xff1f;接下来以实战介绍如何玩转Tensorflow serving&＃xff0c;该例子以部署YOLOX为例。

该部分以部署YOLOX为例&＃xff0c;介绍如何部署YOLOX的多个版本模型以及部署多个不同的YOLOX模型。

安装Tensorflow serving

根据上面的操作步骤&＃xff0c;安全并运行tensorflow-serving&＃xff0c;然后进行测试

测试运行成功

准备YOLOX模型

准备YOLOX的pb模型
模型的路径&＃xff1a;

使用saved_model_cli查看模型的信息&＃xff1a;



标记红框的是模型的输入输出&＃xff0c;忽略名字。

部署YOLOX模型

部署YOLOX的Tensorflow Serving。这里遇到一个问题&＃xff1a;我执行以下命令

docker run -t --rm -p 8501:8501 \-v /home/***/model/yolox_model:/models/yolox_model" \-e MODEL_NAME&＃61;yolox_model\tensorflow/serving &


出现以下错误&＃xff1a;

2022-06-20 08:46:28.357370: W tensorflow_serving/sources/storage_path/file_system_storage_path_source.cc:268] No versions of servable yolox_model found under base path /models/yolox_model. Did you forget to name your leaf directory as a number (eg. &＃39;/1/&＃39;)?


这个提示说你没有声明版本&＃xff0c;对比一下tensorflow serving Demo文件的异同&＃xff0c;发现yolox的文件下没有版本信息&＃xff0c;即001、002之类&＃xff0c;版本可以自定义。

最终的文件夹下的结构&＃xff1a;

修改完成后运行&＃xff1a;

访问&＃xff1a;http://[your host ip]:8501/v1/models/yolox_model

访问http://[your host ip]:8501/v1/models/yolox_model/metadata

测试YOLOX模型

为了方便起见&＃xff0c;以下用Python测试Tensorflow serving的Rest Api服务。

调用也比较简单&＃xff0c;具体如下。最终结果返回的是boxes&＃xff0c;由于yolox不是end2end&＃xff0c;所以还需要做进一步的后处理&＃xff0c;这里不详细讲述了&＃xff0c;具体可以参考我的github代码&＃xff1a;tfx_inference

多模型多版本部署

这一块比较简单&＃xff0c;主要是学会配置文件即可。以下是文件结构&＃xff1a;

model.config配置文件内容如下&＃xff1a;

这里要注意一点&＃xff1a;config文件中的base_path并不是设定你服务器上的路径&＃xff0c;而是容器里面模型的位置。 关于config文件可以参考&＃xff1a;serving_config。
完成后执行以下命令&＃xff1a;

docker run -p 8501:8501 -v /home/****/model:/models/model -t tensorflow/serving --model_config_file&＃61;/models/model/model.config


访问yolox_model1的模型&＃xff1a;http://your ip:8501/v1/models/yolox_model_1&＃xff0c;同理也可以访问yolox_model_2。

模型的热部署

在已有模型的服务已启动的情况下&＃xff0c;想要在不停止原服务的情况下新增一个模型&＃xff0c;可以通过配置模型配置文件定期检查时间&＃xff0c;来支持热部署。

主要是在运行的时候添加参数&＃xff1a;--model_config_file_poll_wait_seconds&＃61;60

1. Tensorflow serving
2. TensorFlow Serving &＃43; Docker &＃43; Tornado机器学习模型生产级快速部署
3. 使用tensorflow serving部署keras模型&＃xff08;tensorflow 2.0.0&＃xff09;
4. Tensorflow Serving With Docker
5. 如何将TensorFlow Serving的性能提高超过70%&＃xff1f;