作者:xiaozhao | 来源:互联网 | 2023-08-19 21:33
篇首语:本文由编程笔记#小编为大家整理,主要介绍了tensorflow相关的知识,希望对你有一定的参考价值。一、模型托管工具TensorFlowServing
篇首语:本文由编程笔记#小编为大家整理,主要介绍了tensorflow相关的知识,希望对你有一定的参考价值。
一、模型托管工具 TensorFlow Serving
TensorFlow Serving支持生产级的服务部署,允许用户快速搭建从模型训练到服务发布的工作流水线。
工作流水线主要由三部分构成
(1).持续训练过程:基于持续输入的批数据,使用TensorFlow不断训练模型,并将模型定期保存到指定目录
(2).模型服务:发布训练好的模型,对外提供基于gRPC协议的模型服务API,同时支持模型的不断更新
(3).客户端访问:使用基于gRPC协议的客户端程序向模型服务发起请求,并等待服务的响应结果。
二、服务的架构
![技术图片](https://img6.php1.cn/3cdc5/c45f/b64/058712693084a09b.jpeg)
其中,Loader、Source、Manager和SerableHandle是基于C++ 实现的核心类和接口,Servable、SavedModel和VersionPolicy是模型相关的插件模块。Client是用户实现的gRPC客户端,用于向Manager加载模型服务发起请求。