0、前言
iotboy&＃xff1a;玩转智能硬件&＃xff08;一&＃xff09;Jetson Nano安装篇zhuanlan.zhihu.com
iotboy&＃xff1a;玩转智能硬件&＃xff08;二&＃xff09;Jetson Nano配置篇zhuanlan.zhihu.com
在玩转智能硬件&＃xff08;一&＃xff09;和&＃xff08;二&＃xff09;中&＃xff0c;我们安装好Jetson Nano系统并配置好基本环境&＃xff0c;接下来开始搭建深度学习开发环境。
1、TensorRT安装
1.1、TensorRT介绍
NVIDIA®TensorRT™的核心是一个C&＃43;&＃43;库&＃xff0c;可促进在NVIDIA图形处理单元(GPU)上进行高性能推理。 它旨在与训练框架(如TensorFlow、Caffe、PyTorch、MXNet等)以互补的方式工作。它特别侧重于在GPU上快速高效地运行已训练的网络&＃xff0c;以生成结果(这一过程在不同的地方被称为评分、检测、回归或推理)
一些训练框架(如TensorFlow)集成了TensorRT&＃xff0c;因此可以用它来加速框架内的推理。 或者&＃xff0c;TensorRT可以用作用户应用程序中的库。 它包括用于从Caffe、ONNX或TensorFlow导入现有模型的解析器&＃xff0c;以及用于以编程方式构建模型的C&＃43;&＃43;和PythonAPI。
TensorRT是一个用于生产部署的高性能神经网络推理优化器和运行时引擎。TensorRT通过组合层和优化内核选择来优化网络&＃xff0c;以提高延迟、吞吐量、能效和内存消耗。 如果应用程序指定&＃xff0c;它将额外优化网络以更低的精度运行&＃xff0c;从而进一步提高性能并降低内存需求。下图显示了定义为部分高性能推理优化器和部分运行时引擎的TensorRT。 它可以吸收在这些流行框架上训练的神经网络&＃xff0c;优化神经网络计算&＃xff0c;生成轻量级运行时引擎(这是您唯一需要部署到生产环境中的东西)&＃xff0c;然后它将最大化这些GPU平台上的吞吐量、延迟和性能。
1.2、TensorRT安装
如果按照玩转智能硬件&＃xff08;一&＃xff09;Jetson Nano安装篇使用官方提供JetPack 4.4镜像安装操作系统后&＃xff0c;系统已经安装好TensorRT 7.1.3环境&＃xff0c;使用下面指令即可查看
查询结果根据个人实际情况参考下面两个文档
NVIDIA Deep Learning TensorRT Documentationdocs.nvidia.comhttps://github.com/NVIDIA/TensorRTgithub.com
PyCUDA允许您从Python访问NVIDIA的CUDA并行计算API。
配置cuda环境变量
配置好cuda环境变量后执行nvcc -V安装
pip install &＃39;pycuda>&＃61;2019.1.1&＃39;
2、PyTorch安装
Nvidia提供了编译好的PyTorch安装包&＃xff0c;根据自己的需要选择合适的安装包。
wget https://nvidia.box.com/shared/static/ncgzus5o23uck9i5oth2n8n06k340l6k.whl -O torch-1.4.0-cp36-cp36m-linux_aarch64.whl
sudo apt-get install python3-pip libopenblas-base libopenmpi-dev
pip3 install Cython
pip3 install numpy torch-1.4.0-cp36-cp36m-linux_aarch64.whl
$ sudo apt-get install libjpeg-dev zlib1g-dev
$ git clone --branch v1.2 https://github.com/pytorch/vision torchvision # see below for version of torchvision to download
$ cd torchvision
$ sudo python setup.py install # use python3 if installing for Python 3.6
$ cd ../ # attempting to load torchvision from build dir will result in import error
$ pip install &＃39;pillow<7&＃39; # always needed for Python 2.7, not needed torchvision v0.5.0&＃43; with Python 3.6
注意&＃xff1a;torchvision版本需要与PyTorch版本对应
参考文档&＃xff1a;
https://forums.developer.nvidia.com/t/pytorch-for-jetson-nano-version-1-6-0-now-available/72048forums.developer.nvidia.comNVIDIA Deep Learning TensorRT Documentationdocs.nvidia.comJetPack SDKdeveloper.nvidia.com高级程序&＃xff1a;Jetson Nano 安装OpenPose 实现骨骼提取zhuanlan.zhihu.com
京公网安备 11010802041100号