tensorrt轻松部署高性能dnn推理_NVIDIATriton推理服务器助力深度学习推理

NVIDIA Triton推理服务器(NVIDIA Triton Inference Server)&＃xff0c;此前称为TensorRT推理服务器(TensorRT Inference Server)&＃xff0c;现可通过NVIDIA NGC或GitHub访问。

NVIDIA Triton推理服务器能够帮助开发人员和IT/DevOps轻松地在云端、本地数据中心或边缘部署高性能推理服务器。该服务器通过HTTP/REST或GRPC端点提供推理服务&＃xff0c;允许客户端请求对服务器管理的任何模型进行推理。

开发人员和AI公司可以使用NVIDIA Triton推理服务器部署不同框架后端(如TensorFlow、TensorRT、PyTorch和ONNX Runtime)的模型。

Tracxpoint目前已经采用了NVIDIA Triton推理服务器&＃xff0c;该公司是新一代自助结账杂货店解决方案的全球领先供应商。

该公司正在努力使店内零售体验变得像在线零售一样精简。为此&＃xff0c;他们使用深度学习来对购物车中的购物物品执行目标检测&＃xff0c;提供从供应商到客户的个性化实时服务&＃xff0c;并通过购物通道提供导航。

Tracxpoint使用NVIDIA Triton推理服务器部署和服务于来自不同框架(如TensorFlow和TensorRT)的多个模型。NVIDIA Triton推理服务器使他们能够灵活地无缝地更新重新训练的模型&＃xff0c;而不需要任何应用程序重启或中断用户。

NVIDIA Triton推理服务器也是开放式推理平台Kubeflow和KFServing的一部分。Triton推理服务器将是最早采用新KFServing V2 API的服务器之一。

了解有关NVIDIA Triton推理服务器的更多信息&＃xff0c;请点击文章底部“阅读原文”。