热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

这可能是一篇最贴心的Anaconda指北了(踩坑点)

这可能是一篇最贴心的Anaconda指北了(踩坑点)-我以前学习Python和机器学习使用的是Python和pip分离的方式,现在希望从TensorFlow转Pytorch深度学

我以前学习Python和机器学习使用的是Python和pip分离的方式,现在希望从TensorFlow转Pytorch深度学习框架,但是由于原来pip管理的混乱,我发现Pytorch框架调入失败,于是下定决心让整个管理系统更有序,所以开始转Anaconda,有了如下一篇文章。 需要首先提示的一点,有很多人说要装Anaconda就需要先把原来的Python卸载,以免冲突。但是我把Anaconda配置好后,发现原来的Python并没有影响到我Anaconda环境下的Python版本或包。再但是,老版本Python和新按照的Anaconda共存,会显得非常冗余,而且指不定哪天你引入的编程环境就出问题了呢?总的来说就是:并不是装了Anaconda就必须清理原来单独的Python,但是,推荐你留下Anaconda就ok啦! (手动换行) 刚从Python3.7+pip转Anaconda+conda的配置坑里爬出来,写篇blog记录一些细节,现在开始。

1 为啥要装Anaconda?

下面的几点是我想到哪写到哪,比较零散,大家看个大概,懂个意思就?

  • Anaconda是Python的一个发行版,其实就是一个Python的集成环境管理器,其中包含了Python以及许多常用的库,比如numpy、pandas等,另外!还包含了一个名为conda的包管理器。
  • Anaconda一举多得,一旦装了Anaconda,就代表你已经装好了Python编译器以及众多常用包(除了第三方框架之类的)
  • Anaconda可以在其GUI下操作,也就是Anaconda Navigator。这种可视化的包管理,远远比单独装Python单独在终端pip装包要方便得多!况且,终端pip安装东西还比较难以去管理安装路径(所以我曾让C盘扛得太多ㄒoㄒ),而Anaconda就是一个集成管理器,每一个包,每一个虚拟环境的位置,都明明白白地存在着~
  • 我使用Anaconda之后最大的感触:可以创建多个虚拟环境! 如果既想使用TensorFlow,又想使用Pytoch,然后又不希望不同的库产生冲突,那么Anaconda的虚拟环境就是最好的选择!我在不同的虚拟环境下放不同的框架,不同的库,相互独立,只需要我每次切换到需要的环境下编程就可!美哉美哉啊~

2 下载并安装Anaconda

这里有人说不推荐在官网下载,比较慢。但是我下载的感觉是挺快的,这个就不详细描述了,附上官网链接:Anaconda Installers 我安装的版本如下图: 安装流程呢,大多数步骤都比较随性,但是!有两步非常关键!直接放图。 下图中我个人感觉问题不大,因为我选择了Just Me,能正常使用。 下图注意啦!!!第一个不选上,第二个选上!!!别问为什么,总结的别人的踩坑点...

3 配置Anaconda的系统环境变量

如果你写过代码,那么环境变量一定不陌生啦,和C语言 Go语言 Java语言...一样,在高级系统设置中进行环境变量的配置,按照教程,在系统变量的path中主要添加如下几项:

E:\Anaconda(Python需要)
E:\Anaconda\Scripts(conda自带脚本)
E:\Anaconda\Library\mingw-w64\bin(使用C with python的时候) E:\Anaconda\Library\usr\bin
E:\Anaconda\Library\bin(jupyter notebook动态库)

注意!添加的是你自己的Anaconda路径,而不是上面示例中的E:

做到这里,按道理讲你的Anaconda就已经配置完成,重新打开cmd检验是否配置成功,参见下图。

4 在Anaconda中创建属于你的虚拟环境

在系统中找到Anaconda Navigator管理软件,是这样的界面。很清晰对不对!我来大概介绍一下功能:如图的界面是在默认环境base(root)下的功能面板,其中Prompt是管理环境的命令行终端,Jupyter Notebook、Spyder、PyCharm等等都是用于编写程序的软件(根据自己情况选择)。 接下来是重头戏——Environment虚拟环境。看下图,在默认环境base下,已经拥有了右侧众多的包和库,这些都是可以直接import进去的。然而,默认的环境是没有框架的,比如TensorFlow、Pytorch等。我这次换上Anaconda的目的就是更方便地使用Pytorch,所以下面的教程是在创建的虚拟环境下按照Pytorch框架。 首先,点击左侧的Create新建虚拟环境,然后命名选择Python版本,我选择的是Python3.8版本。

在创建好虚拟环境之后,你会发现在刚才的界面上多了一个环境的选项,如果选择到Pytorch_envs,那么该界面下打开的任何软件和工具都是基于该环境下的Python版本以及各种包、库。

5 在虚拟环境下使用conda安装包和框架

如果在GUI界面中,显然是可以通过搜索的方式进行安装的,如图所示。 或者,用最通用的方法——用命令进行安装。介绍两种方式打开。第一种方式是点击环境右侧的▲,选择打开终端。 第二种方式是在指定的环境下点击Prompt。 如果进终端后发现不是指定的虚拟环境,那么使用activate <环境名>命令就可以激活到该环境下。 首先,要明确的一点是,如果使用默认镜像源安装Pytorch或者matplotlib之类的东西会非常慢,甚至安装失败。为了防止这个问题,先换镜像源是非常有必要的。比较主流的镜像源有:清华源、豆瓣源、中科大源... 豆瓣源我不太熟悉,清华源╥﹏╥一言难尽,之前有禁用过,现在可能是维护上没跟上,所以安装东西时等待了30min后弹出HTTPError的报错,意思就是无法从这个镜像源获取到所需要的东西。

这个时候就要果断换镜像源——中科大镜像源。只需要两行命令即可:

conda config --add channels https://mirrors.ustc.edu.cn/anaconda/pkgs/free/
conda config --set show_channel_urls yes

但是如果你仍然保留了清华镜像源,请删除彻底,否则下载东西的时候很可能再次拉取到清华镜像源。删除镜像源的命令也很简单:

conda config --add channels 

这个URL怎么查看?如下一行命令:

conda config --show channels

凡是有 除了ustc以外的镜像源,统统remove掉即可!(上图是我删除后保留的结果,简洁就一行镜像源) 附上参考链接:

  • conda 安装 pytorch 下载太慢解决
  • conda国内镜像修改(最新版)

现在终于开始正式安装东西了~命令很简单,和pip非常相似:

conda install <包/库名>

若安装的是Pytorch框架,那么需要去官网查看安装命令具体是什么样的,附上链接:Pytorch Installation 下图是我的选择,在输入命令时可以去掉 -c

conda install pytorch torchvision torchaudio cudatoolkit=10.2 -c pytorch
conda install pytorch torchvision torchaudio cudatoolkit=10.2 pytorch

用conda list可以查看所有该虚拟环境下的包、库以及框架。

所有的这些操作(创建虚拟环境、切换环境、安装库)都可以在Prompt中仅仅使用命令行完成,详细命令参见链接:

  • Conda Pip管理环境和安装包、更换源
  • Anaconda详细安装使用教程

举一些简单的例子:

  • 创建虚拟环境:conda create -n env_name python=3.8
  • 删除虚拟环境:conda remove -n env_name --all
  • 激活虚拟环境:activate env_name

(2021.5.30补充如下) 在Anaconda的帮助下,我这几天已经开始在自己的虚拟环境下写深度学习、跑集成学习以及做yolov5的目标检测了,至少有了Anaconda之后,我运行程序的环境不再迷糊~不会出现库似有似无的状况啦。提一提最近用得比较的东西吧? 如果说我们没有特别的必要打开Anaconda Navigator这个大软件,就尽量不从它打开命令行或者是IDE,因为打开它实在是有点花时间,加载的时间我都把命令输完东西装好了,或者早就把Pycharm打开了。那应该怎么做?最简单的方法就是把Anaconda Prompt快捷方式放在桌面上,直接点开即用。 话说回来,我们仔细想想啊,这个其实和cmd是一个东西!我们把cmd/powershell(事实证明,还是用cmd吧,powershell好像没显示activate的执行结果)用好,多用用cd命令或者activate命令激活虚拟环境也是很香的哦! 常用命令如下:

activate <虚拟环境名>
conda list
conda install <包名> conda install matplotlib

总结就一句话,执行的核心还是在终端,要快捷,就要用好终端~包括写大一点的程序写多后,会发现用终端命令编译执行程序比使用IDE的RUN程序更方便,而且也省去了IDE软件的环境配置,甚至编译器仅仅当文本编辑器就可以啦(都是题外话了,写代码写多了的感觉)

6 使用IDE进行编程

6.1 PyCharm

PyCharm的配置比较直接,打开PyCharm,在Configuration中将编译环境选择到Anaconda的指定虚拟环境(其实就是对应文件夹)下。 测试环境代码(测试了内置的numpy 自己安装的matplotlib和Pytorch)

# -*- coding: utf-8 -*-
"""
Created on Mon May 24 20:11:56 2021
@author: Zeng Wenxuan
"""
import torch
import numpy as np
import matplotlib.pyplot as plt

a = torch.rand((2, 3))
print(a)
print("Hello Anaconda!")

x = np.linspace(-0.5, 0.5, 50)
y = x ** 3
plt.plot(x, y, 'r')
plt.scatter(x, y)
plt.show()

6.2 Spyder

如果你没安装过Spyder,我推荐你在Anaconda界面下安装。并且选择你指定的虚拟环境!否则是默认的base环境。下图就是默认环境为Pytorch_envs的Spyder软件。 可以将py文件保存在任何你想要的目录下,所以完全不需要担心文件路径的问题~ 题外话,这是我第一次使用Spyder写代码,没想到这个界面挺让我喜欢的,和Matlab的相似度比较高,代码块、终端、图像、变量列表是分离的,挺清晰~

6.3 Jupyter Notebook

Jupyter Notebook是我学习Python和机器学习一直在使用的web编程工具,使用场景主要是编程的学习和练习,能够呈现每一模块的运行结果,非常适合入门的调试,但是不适用于写较大的项目。 第一种打开方式是在Anaconda的指定环境下点击Jupyter即可。 但是我遇到一个问题呀,启动的Jupyter根目录是在C盘中的User,我暂时没有想到方法进入到D盘自的目录下...╥﹏╥...哪位好心人知道可以给我留言呀~提前感谢啦! (2021.5.26中午补充:有小伙伴告诉我是Jupyter默认路径的问题,修改默认配置即可:参考这篇链接Jupyter notebook文件默认存储路径以及更改方法) 另一种通用的方法就是在命令行进入到Jupyter Notebook中,这也是我之前在windows的cmd下启动的方法。方法很简单:cd +jupyter notebook

7 参考资料

我从很多篇博客中学习到了很多知识,只是每一篇都有其不够完善的地方,比如有些文章把安装过程写的很详细,有些文章把安装包的过程写得很详细,有些文章侧重某一方面的坑点进行了描述。我写这篇总结的目的就是把整个安装过程、配置过程、优化过程进行完整的梳理,并把自己遇到的各种问题都记录下来,供自己和大家在之后的学习中参考。 下面我就把对自己最有帮助的一些文章链接放出来:

↑ 这篇把安装过程和环境配置写得非常简洁清晰

  • Anaconda详细安装及使用教程(带图文)

↑ 这篇缺少了点环境配置的描述,但后半部分对Anaconda的虚拟环境及各种工具的理解比较到位

  • Anaconda安装教程(使用Spyder)

↑ 这篇让我第一次接触到Spyder进行编程

  • conda 安装 pytorch 下载太慢解决

↑ 这篇让我学会去掉-c安装Pytorch conda国内镜像修改(最新版) ↑ 这篇让我知道要把不需要的镜像源统统remove掉

  • Conda Pip管理环境和安装包、更换源

Anaconda详细安装使用教程 ↑ 这两篇有详细的环境、包管理命令


推荐阅读
  • 通过Anaconda安装tensorflow,并安装运行spyder编译器的完整教程
    本文提供了一个完整的教程,介绍了如何通过Anaconda安装tensorflow,并安装运行spyder编译器。文章详细介绍了安装Anaconda、创建tensorflow环境、安装GPU版本tensorflow、安装和运行Spyder编译器以及安装OpenCV等步骤。该教程适用于Windows 8操作系统,并提供了相关的网址供参考。通过本教程,读者可以轻松地安装和配置tensorflow环境,以及运行spyder编译器进行开发。 ... [详细]
  • 本文介绍了在Windows系统下安装Python、setuptools、pip和virtualenv的步骤,以及安装过程中需要注意的事项。详细介绍了Python2.7.4和Python3.3.2的安装路径,以及如何使用easy_install安装setuptools。同时提醒用户在安装完setuptools后,需要继续安装pip,并注意不要将Python的目录添加到系统的环境变量中。最后,还介绍了通过下载ez_setup.py来安装setuptools的方法。 ... [详细]
  • Window10+anaconda+python3.5.4+ tensorflow1.5+ keras(GPU版本)安装教程 ... [详细]
  • Win10+Python3.7+Tensorflow安装
    Win10+Python3.7+Tensorflow安装Step1:安装AnacondaStep2:Tensorflow的安装转载请注明出处:https:blog.csdn.net ... [详细]
  • Centos7.6安装Gitlab教程及注意事项
    本文介绍了在Centos7.6系统下安装Gitlab的详细教程,并提供了一些注意事项。教程包括查看系统版本、安装必要的软件包、配置防火墙等步骤。同时,还强调了使用阿里云服务器时的特殊配置需求,以及建议至少4GB的可用RAM来运行GitLab。 ... [详细]
  • 本文介绍了在Python张量流中使用make_merged_spec()方法合并设备规格对象的方法和语法,以及参数和返回值的说明,并提供了一个示例代码。 ... [详细]
  • 开源Keras Faster RCNN模型介绍及代码结构解析
    本文介绍了开源Keras Faster RCNN模型的环境需求和代码结构,包括FasterRCNN源码解析、RPN与classifier定义、data_generators.py文件的功能以及损失计算。同时提供了该模型的开源地址和安装所需的库。 ... [详细]
  • python中安装并使用redis相关的知识
    本文介绍了在python中安装并使用redis的相关知识,包括redis的数据缓存系统和支持的数据类型,以及在pycharm中安装redis模块和常用的字符串操作。 ... [详细]
  • 本人学习笔记,知识点均摘自于网络,用于学习和交流(如未注明出处,请提醒,将及时更正,谢谢)OS:我学习是为了上 ... [详细]
  • 本文介绍了在Windows环境下如何配置php+apache环境,包括下载php7和apache2.4、安装vc2015运行时环境、启动php7和apache2.4等步骤。希望对需要搭建php7环境的读者有一定的参考价值。摘要长度为169字。 ... [详细]
  • 本文介绍了在CentOS上安装Python2.7.2的详细步骤,包括下载、解压、编译和安装等操作。同时提供了一些注意事项,以及测试安装是否成功的方法。 ... [详细]
  • 基于dlib的人脸68特征点提取(眨眼张嘴检测)python版本
    文章目录引言开发环境和库流程设计张嘴和闭眼的检测引言(1)利用Dlib官方训练好的模型“shape_predictor_68_face_landmarks.dat”进行68个点标定 ... [详细]
  • 31.项目部署
    目录1一些概念1.1项目部署1.2WSGI1.3uWSGI1.4Nginx2安装环境与迁移项目2.1项目内容2.2项目配置2.2.1DEBUG2.2.2STAT ... [详细]
  • Python使用Pillow包生成验证码图片的方法
    本文介绍了使用Python中的Pillow包生成验证码图片的方法。通过随机生成数字和符号,并添加干扰象素,生成一幅验证码图片。需要配置好Python环境,并安装Pillow库。代码实现包括导入Pillow包和随机模块,定义随机生成字母、数字和字体颜色的函数。 ... [详细]
  • 人工智能推理能力与假设检验
    最近Google的Deepmind开始研究如何让AI做数学题。这个问题的提出非常有启发,逻辑推理,发现新知识的能力应该是强人工智能出现自我意识之前最需要发展的能力。深度学习目前可以 ... [详细]
author-avatar
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有