热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

如何用GPU服务器运行Python

如何用GPU服务器运行Python-目录前言一、服务器登录1.1下载安装putty1.2putty远程登录 1.3查看GPU、显卡常用命令1.4Linux常用命令二、

目录


前言


一、服务器登录


1.1 下载安装putty


1.2 putty远程登录 


1.3 查看GPU、显卡常用命令


1.4 Linux常用命令


二、Anaconda创建虚拟环境并安装pytorch


2.1 安装Anaconda


2.2 安装Pytorch


三、使用FileZilla拷贝文件至服务器


3.1 下载安装FileZilla


3.2 使用FileZilla传输文件 


四、运行JupyterNotebook


4.1 启动JupyterNotebook 


4.2 切换虚拟环境 


五、运行py文件


5.1 激活虚拟环境


5.2 运行py文件




前言

众所周知,使用本地电脑的CPU跑深度学习代码非常慢,而GPU内在架构做矩阵运算和深度学习的神经网络有着先天的优势,近期本人找到一台安装linux系统的GPU服务器,现将使用过程中摸索的经验分享给大家。


一、服务器登录

1.1 下载安装putty


首先我们要下载putty等软件进行登录服务器


下载连接:https://pan.baidu.com/s/1LZ5jl6Sk3-A3lmnDEdZmVA 
提取码:xuof



1.2 putty远程登录 


双击之后出现如下界面,然后输入服务器的地址(端口号选22),然后点击open进入登录界面 



进入服务器linux操作界面,如下图,输入密码(输入的具体内容不显示,输入完点击Enter即可)



查看显卡详情命令:nvidia-smi


从上图可以看到我们GPU的基本配置,内存为24G,当前有1.5G左右在运行pyton代码


1.3 查看GPU、显卡常用命令


可参考下方博文


查看gpu、显卡常用命令_heituzii的博客-CSDN博客


1.4 Linux常用命令


可参考下方博文


Linux常用命令大全(非常全!!!)_木头大左的博客-CSDN博客_linux常用命令


二、Anaconda创建虚拟环境并安装pytorch

2.1 安装Anaconda


通过下方连接选择需要的Anaconda版本



https://repo.anaconda.com/archive/



然后输入



wget+下载链接 



若成功会出现如下界面



具体过程可以参考下方博客 


如何在Linux服务器上安装Anaconda(超详细)_あなたを待って-CSDN博客_服务器安装anaconda


2.2 安装Pytorch


首先进入Anaconda安装目录


输入ls查看目录列表



ls 



输入cd+文件夹名,进入指定目录,我在自己本地操作目录如下



cd anaconda3/envs/



创建一个叫做 'dir1' 的目录' 



mkdir dir1



激活创建的虚拟环境



source activate dir1 



安装pytorch,进入pytorch官网, 如下链接


Start Locally | PyTorch


选择自己需要的版本,并获取相关命令 



nvidia-smi查看当前GPU版本,可以看到我使用的GPU版本是11.2安装11.3版本最契合



conda install pytorch torchvision torchaudio cudatoolkit=11.3 -c pytorch


然后我们需要什么package就在已激活的Anaconda虚拟环境envs中pip安装即可


putty软件可同时登录多个窗口,我们可以在一个窗口中运行代码,过程中报错什么package没有安装,在另一个窗口中进行虚拟环境安装相应的package即可


关闭虚拟环境



conda deactivate dir1



三、使用FileZilla拷贝文件至服务器

3.1 下载安装FileZilla


链接:https://pan.baidu.com/s/1lsoALuEKZkej58ov6bbL2Q 
提取码:31yg 


3.2 使用FileZilla传输文件 


安装好FileZilla之后将下载好的文件拷贝到服务器指定目录 ,具体操作步骤比较简单,可参照这篇博文FileZilla使用ssh连接linux_破阵的专栏-CSDN博客_filezilla ssh链接 


四、运行JupyterNotebook

4.1 启动JupyterNotebook 


通过cd命令,进入自己的文件夹(先创建自己的工作文件夹),然后输入



jupyter lab 



前面加上nohub可以保证在与服务器断开连接的情况下任然运行代码,当代码结果处理是,或者运行过程中可以去output.out文件中查看日志,此过程中服务器计算资源保持占用,结束之后输入 Kernel——Restart Kernel..解除占用,或者通过鼠标箭头移动到代码上,右键Clear Outputs



输入上述命令,可以生成相应的password和一个端口号,JupyterNotebook, 


在本地电脑打开任意浏览器,输入http://(服务器IP):(生成的端口号)/


进如JupyterNotebook,然后输入相应的password即可完成登录


4.2 切换虚拟环境 


选择Kernel——Change Kernel..可以选择自己搭建的环境,或者切换环境,然后在此环境下运行.pynb文件



五、运行py文件

5.1 激活虚拟环境



source activate+虚拟环境名称 



5.2 运行py文件


在自己想要使用的虚拟环境激活的情况下,cd命令访问py文件所在目录,然后输入命令



python+文件名.py



以上就是我当前使用GPU服务器的经验,分享给大家,希望可以有所帮助。 




推荐阅读
  • 本文探讨了在Git子模块目录中运行pre-commit时遇到的错误,并提供了一种通过Docker环境解决此问题的方法。 ... [详细]
  • 本文详细记录了作者从7月份的提前批到9、10月份正式批的秋招经历,包括各公司的面试流程、技术问题及HR面的常见问题。通过这次秋招,作者深刻体会到了技术积累和面试准备的重要性。 ... [详细]
  • CUDA 技术旨在通过将大量计算任务分配给 GPU 来加速处理速度,从而节省时间。本文将探讨如何在 Linux 系统中使用 CUDA 查询设备(如显卡)的属性信息,包括但不限于内存分配和代码执行等关键参数。 ... [详细]
  • 如何更换Anaconda和pip的国内镜像源
    本文详细介绍了如何通过国内多个知名镜像站(如北京外国语大学、中国科学技术大学、阿里巴巴等)更换Anaconda和pip的源,以提高软件包的下载速度和安装效率。 ... [详细]
  • 本文详细介绍了如何在 Ubuntu 14.04 系统上搭建仅使用 CPU 的 Caffe 深度学习框架,包括环境准备、依赖安装及编译过程。 ... [详细]
  • 对于初学者而言,搭建一个高效稳定的 Python 开发环境是入门的关键一步。本文将详细介绍如何利用 Anaconda 和 Jupyter Notebook 来构建一个既易于管理又功能强大的开发环境。 ... [详细]
  • 精选10款Python框架助力并行与分布式机器学习
    随着神经网络模型的不断深化和复杂化,训练这些模型变得愈发具有挑战性,不仅需要处理大量的权重,还必须克服内存限制等问题。本文将介绍10款优秀的Python框架,帮助开发者高效地实现分布式和并行化的深度学习模型训练。 ... [详细]
  • 本文介绍了如何使用 Google Colab 的免费 GPU 资源进行深度学习应用开发。Google Colab 是一个无需配置即可使用的云端 Jupyter 笔记本环境,支持多种深度学习框架,并且提供免费的 GPU 计算资源。 ... [详细]
  • 如何在Linux环境下通过Java代码获取主机IP地址
    本文详细介绍了在Linux系统中利用Java编程语言来获取当前主机的IP地址的方法。包括了如何处理网络接口以及选择合适的IP地址等关键步骤。 ... [详细]
  • 本文详细介绍了SSH(Secure Shell)的基础知识、应用场景以及如何在不同平台上使用SSH进行安全的远程操作。文章还探讨了SSH的高级用法,如免密登录和其他安全增强措施。 ... [详细]
  • 计算机视觉初学者指南:如何顺利入门
    本文旨在为计算机视觉领域的初学者提供一套全面的入门指南,涵盖基础知识、技术工具、学习资源等方面,帮助读者快速掌握计算机视觉的核心概念和技术。 ... [详细]
  • 尤洋:夸父AI系统——大规模并行训练的深度学习解决方案
    自从AlexNet等模型在计算机视觉领域取得突破以来,深度学习技术迅速发展。近年来,随着BERT等大型模型的广泛应用,AI模型的规模持续扩大,对硬件提出了更高的要求。本文介绍了新加坡国立大学尤洋教授团队开发的夸父AI系统,旨在解决大规模模型训练中的并行计算挑战。 ... [详细]
  • 本文探讨了如何通过优化 DOM 操作来提升 JavaScript 的性能,包括使用 `createElement` 函数、动画元素、理解重绘事件及处理鼠标滚动事件等关键主题。 ... [详细]
  • 在Conda环境中高效配置并安装PyTorch和TensorFlow GPU版的方法如下:首先,创建一个新的Conda环境以避免与基础环境发生冲突,例如使用 `conda create -n pytorch_gpu python=3.7` 命令。接着,激活该环境,确保所有依赖项都正确安装。此外,建议在安装过程中指定CUDA版本,以确保与GPU兼容性。通过这些步骤,可以确保PyTorch和TensorFlow GPU版的顺利安装和运行。 ... [详细]
  • 【图像分类实战】利用DenseNet在PyTorch中实现秃头识别
    本文详细介绍了如何使用DenseNet模型在PyTorch框架下实现秃头识别。首先,文章概述了项目所需的库和全局参数设置。接着,对图像进行预处理并读取数据集。随后,构建并配置DenseNet模型,设置训练和验证流程。最后,通过测试阶段验证模型性能,并提供了完整的代码实现。本文不仅涵盖了技术细节,还提供了实用的操作指南,适合初学者和有经验的研究人员参考。 ... [详细]
author-avatar
手浪用户2602928711
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有