AWS和Facebook合作推出PyTorch模型服务框架TorchServe

　　近日，Facebook 和 AWS 合作推出了 PyTorch 模型服务库 TorchServe，强强联手剑指 Google TensorFlow。

　　PyTorch 是当下最火的深度学习开源库之一，可以帮助开发者和研究人员更轻松地构建和训练模型。即便有了 PyTorch，在生产中部署和管理模型仍然是机器学习的一大难题，包括构建定制的预测 API，对其进行缩放以及保证其安全等问题。

　　简化模型部署过程的一种方法是使用模型服务器，即专门设计用于在生产中提供机器学习预测的现成的 Web 应用程序。模型服务器可轻松加载一个或多个模型，并自动创建由可伸缩 Web 服务器支持的预测 API。它们还能够根据预测请求运行预处理和后处理代码。最后一个要点是，模型服务器还提供了一些在生产中至关重要的功能，例如日志记录、监视和安全。目前比较受欢迎的模型服务器包括 TensorFlow Serving 和 Multi Model Server。

　　今天，我非常高兴地宣布 TorchServe——PyTorch 模型服务库，能在不编写自定义代码的情况下轻松地大规模部署训练好的 PyTorch 模型。

　　TorchServe 是由 AWS 和 Facebook 合作开发的 PyTorch 模型服务库，是 PyTorch 开源项目的一部分。

　　借助 TorchServe，PyTorch 用户可以更快地将其模型应用于生产，而无需编写自定义代码：除了提供低延迟预测 API 之外，TorchServe 还为一些最常见的应用程序嵌入了默认处理程序，例如目标检测和文本分类。此外，TorchServe 包括多模型服务、用于 A / B 测试的模型版本控制、监视指标以及用于应用程序集成的 RESTful 端点。如你所料，TorchServe 支持任何机器学习环境，包括 Amazon SageMaker、容器服务和 Amazon Elastic Compute Cloud（EC2）。一些客户已经在体验 TorchServe 的优越性了。

　　丰田研究院高级开发有限公司（TRI-AD）正在为丰田汽车公司开发自动驾驶软件。TRI-AD 机器学习工具负责人 Yusuke Yachide 称：

　　我们在不断优化和改进计算机视觉模型，这对于践行 TRI-AD 以人为本，安全出行的自动驾驶使命至关重要。我们的模型是通过 AWS 上的 PyTorch 进行专科训练的，但是直到现在，PyTorch 仍缺乏模型服务框架。因此，我们花费了大量的技术成本来创建和维护用于将 PyTorch 模型部署到丰田车辆和云服务器车队的软件。有了 TorchServe，我们现在拥有了高性能、轻量级的模型服务器，该服务器由 AWS 和 PyTorch 社区支持和维护。

　　Matroid 是计算机视觉软件的制造商，该软件可检测视频镜头中的目标和事件。Matroid 公司创始人兼首席执行官 Reza Zadeh 表示：

　　我们在 AWS 和本地环境上使用 PyTorch 在短时间内很快开发出了大量的机器学习模型。使用自定义模型服务器部署模型，需要将模型转换为其他格式，既费时又麻烦。TorchServe 允许我们使用单个可服务文件简化模型部署，该文件也可作为真实情况的唯一来源，并且易于共享和管理。

　　下面，我就来展示下如何安装 TorchServe 以及如何加载一个在 Amazon Elastic Compute Cloud (EC2) 上预先训练好的模型。

　　首先，我启动了一个基于 CPU 的 Amazon Elastic Compute Cloud（EC2）instance 运行深度学习 AMI（Ubuntu 版）。该 AMI 预先安装了一些我需要的依赖项，这将加快设置速度。当然，你可以改用任何 AMI。

　　TorchServe 用 Java 实现，我需要最新的 OpenJDK 才能运行它。