关于运行scrapy项目时提示ModuleNotFoundError:Nomodulenamed'pymongo‘的解决方案

1问题描述

今天使用scrapy框架写爬虫并且使用mongodb存储结果时&＃xff0c;在powershell中运行scrapy crawl demo发现报错&＃xff0c;报错内容是No module named &＃39;pymongo‘&＃xff0c;即&＃xff0c;没有找到pymongo模块&＃xff0c;但是笔者确确实实的下载过这个模块&＃xff0c;那么到底是怎么回事呢&＃xff1f;

2问题分析

首先&＃xff0c;需要指出的是&＃xff0c;一定是环境问题。是否是多python版本共存&＃xff1f;笔者的电脑里同时存在着Python2.7和python3.6&＃xff0c;当初是安装anaconda时&＃xff0c;默认安装了前者&＃xff0c;后者是工作学习需要&＃xff0c;同时Python2将被淘汰&＃xff0c;安装了Python3&＃xff0c;导致当前笔者的电脑里同时存有两个环境&＃xff0c;而&＃xff0c;笔者先前将pymongo安装在了python36中&＃xff0c;并没有安装在Python27中&＃xff0c;导致在powershell中运行scrapy时默认使用了python2.7&＃xff0c;所以导致了上述报错&＃xff0c;那么到底是不是呢&＃xff1f;

3验证假设

验证假设最好的方法就是去尝试&＃xff0c;这里笔者先贴出powershell中的错误&＃xff1a;

这里先尝试在默认的Python27环境中同样也下载这个pymongo模块&＃xff0c;再运行一遍&＃xff0c;看看是否报错&＃xff0c;结果如下&＃xff1a;
发现能够正确运行了&＃xff0c;看来是这个问题&＃xff0c;即直接在终端运行scrapy程序会默认使用conda的Python默认路径&＃xff0c;即我这里是Python2.7。

4其他

这里使用cmd终端方法来试试&＃xff0c;因为powershell算是cmd升级版本&＃xff0c;笔者经过测试&＃xff08;先卸载Python2.7的pymongo再安装&＃xff09;分别测试发现&＃xff0c;确实是这个conda的默认环境导致的问题&＃xff0c;但是在笔者测试的过程中&＃xff0c;还发现了一个powershell问题&＃xff0c;即不能够像cmd切换环境&＃xff1a;如下分别是在cmd和powershell中的切换Python环境的调试

conda activate python版本号
我这里是36&＃xff0c;因为当初安装conda时默认的27
conda activate Python36


发现成功的切换环境&＃xff0c;但是在powershell中就不可以

因此&＃xff0c;这里需要注意&＃xff0c;但是既然在cmd中可以切换环境&＃xff0c;那么因为我最开始的scrapy是在python36中写的&＃xff0c;出错原因是powershell只认识默认的Python27版本&＃xff0c;而我在Python27中没有安装pymongo&＃xff0c;在Python36中安装了这个模块&＃xff0c;那么我在cmd中切换成Python36后再运行scrapy文件不就可以吗&＃xff1f;
实践出真知&＃xff1a;
确实可行

5总结

很多人因为工作学习需要&＃xff0c;会在电脑中同时存在多个Python版本&＃xff0c;
&＃xff08;1&＃xff09;在powershell运行scrapy文件程序时&＃xff0c;会默认使用conda默认的环境&＃xff0c;如果该默认环境中没有装有对应的第三方模块时&＃xff0c;就会出现类似的找不到模块的错误&＃xff0c;因此可以在默认的环境下也安装一样的模块&＃xff0c;同时继续使用powershell启动&＃xff1b;
&＃xff08;2&＃xff09;由于笔者在上面分析中发现&＃xff0c;powershell无法切换环境&＃xff0c;如果不非要使用powershell&＃xff0c;可以在终端cmd中&＃xff0c;切换Python解释器后&＃xff0c;因为pymongo安装在Python36中了&＃xff0c;切换后就可以直接运行。
总之&＃xff0c;如果没有多版本共存问题&＃xff0c;就不会出现本文问题&＃xff1b;同时如果powershell可以切换版本也会节省很多debug时间。