已阻止应用程序访问图形硬件_玩转智能硬件之JetsonNano(三)深度学习环境搭建...

0、前言

iotboy&＃xff1a;玩转智能硬件&＃xff08;一&＃xff09;Jetson Nano安装篇​zhuanlan.zhihu.comiotboy&＃xff1a;玩转智能硬件&＃xff08;二&＃xff09;Jetson Nano配置篇​zhuanlan.zhihu.com

在玩转智能硬件&＃xff08;一&＃xff09;和&＃xff08;二&＃xff09;中&＃xff0c;我们安装好Jetson Nano系统并配置好基本环境&＃xff0c;接下来开始搭建深度学习开发环境。

1、TensorRT安装

1.1、TensorRT介绍

NVIDIA®TensorRT™的核心是一个C&＃43;&＃43;库&＃xff0c;可促进在NVIDIA图形处理单元(GPU)上进行高性能推理。 它旨在与训练框架(如TensorFlow、Caffe、PyTorch、MXNet等)以互补的方式工作。它特别侧重于在GPU上快速高效地运行已训练的网络&＃xff0c;以生成结果(这一过程在不同的地方被称为评分、检测、回归或推理)

一些训练框架(如TensorFlow)集成了TensorRT&＃xff0c;因此可以用它来加速框架内的推理。 或者&＃xff0c;TensorRT可以用作用户应用程序中的库。 它包括用于从Caffe、ONNX或TensorFlow导入现有模型的解析器&＃xff0c;以及用于以编程方式构建模型的C&＃43;&＃43;和PythonAPI。

TensorRT通过组合层和优化内核选择来优化网络&＃xff0c;以提高延迟、吞吐量、能效和内存消耗。 如果应用程序指定&＃xff0c;它将额外优化网络以更低的精度运行&＃xff0c;从而进一步提高性能并降低内存需求。下图显示了定义为部分高性能推理优化器和部分运行时引擎的TensorRT。 它可以吸收在这些流行框架上训练的神经网络&＃xff0c;优化神经网络计算&＃xff0c;生成轻量级运行时引擎(这是您唯一需要部署到生产环境中的东西)&＃xff0c;然后它将最大化这些GPU平台上的吞吐量、延迟和性能。

1.2、TensorRT安装

• 基于JetPack

如果按照玩转智能硬件&＃xff08;一&＃xff09;Jetson Nano安装篇使用官方提供JetPack 4.4镜像安装操作系统后&＃xff0c;系统已经安装好TensorRT 7.1.3环境&＃xff0c;使用下面指令即可查看

• 自行编译安装

根据个人实际情况参考下面两个文档

NVIDIA Deep Learning TensorRT Documentation​docs.nvidia.comhttps://github.com/NVIDIA/TensorRT​github.com

• 安装PyCuda

PyCUDA允许您从Python访问NVIDIA的CUDA并行计算API。

配置cuda环境变量

安装

2、PyTorch安装

Nvidia提供了编译好的PyTorch安装包&＃xff0c;根据自己的需要选择合适的安装包。

• 安装torchvision

注意&＃xff1a;torchvision版本需要与PyTorch版本对应

• 验证安装

参考文档&＃xff1a;

https://forums.developer.nvidia.com/t/pytorch-for-jetson-nano-version-1-6-0-now-available/72048​forums.developer.nvidia.comNVIDIA Deep Learning TensorRT Documentation​docs.nvidia.comJetPack SDK​developer.nvidia.com高级程序&＃xff1a;Jetson Nano 安装OpenPose 实现骨骼提取​zhuanlan.zhihu.com