MacOSX安装Scrapy

环境：Mac OS X Yosemite 10.11.4

安装Scrapy

学习Python爬虫必须要使用的框架Scrapy，以下是安装教程 以及可能遇到的问题和解决办法.

打开终端执行以下命令:
sudo easy_install pip
pip 和 easy_install 都是 Python 的框架管理命令，pip 是对 easy_install的升级。
安装成功后接着执行以下命令:
sudo pip install Scrapy

如果执行成功，那么 Scrapy 就安装成功了

但往往事与愿违，你很有可能遇到如下错误：OSError: [Errno 1] Operation not permitted ,就是各种root都不可以,google之后才发现这和新系统有个叫sip的机制有关.

由于El Capitan引入了SIP机制(System Integrity Protection)， 默认下系统启用SIP系统完整性保护机制，无论是对于硬盘还是运行时的进程限制对系统目录的写操作。 这就是这个OSError: [Errno 1] Operation not permitted 错误的原因,解决办法就是取消SIP机制，具体做法是：
重启电脑，按住Command+R(直到出现苹果标志)进入Recovery Mode(恢复模式),左上角菜单里找到实用工具 -> 终端输入csrutil disable回车重启Mac即可
如果想重新启动SIP机制重复上述步骤改用csrutil enable即可
我们现在再看看sip的状态,
$ csrutil status
System Integrity Protection status: disabled.
这样再安装时再也不会提示无法写入的权限提示了

权限的问题解决好后,你也有可能遇见这种错误:

Paste_Image.png

解决方法有如下几种：你可以使用任意一种

1、终端执行命令安装或更新命令行开发工具：
xcode-select &＃8211;install

2、配置路径：C_INCLUDE_PATH
C_INCLUDE_PATH=/Applications/Xcode.app/Contents/Developer/Platforms/MacOSX.platform/Developer/SDKs/MacOSX10.10.sdk/usr/include/libxml2:/Applications/Xcode.app/Contents/Developer/Platforms/MacOSX.platform/Developer/SDKs/MacOSX10.10.sdk/usr/include/libxml2/libxml:/Applications/Xcode.app/Contents/Developer/Platforms/MacOSX.platform/Developer/SDKs/MacOSX10.10.sdk/usr/include


3、参照官网使用如下命令安装Scrapy
STATIC_DEPS=true pip install lxml

一般此三个方法就可解决错误成功安装Scrapy

如果安装成功了 但是在python下执行import scrapy报下面的错误
Traceback (most recent call last):
File &＃8220;&＃8221;, line 1, in
File &＃8220;/Library/Python/2.7/site-packages/scrapy/init.py&＃8221;, line 48, in
from scrapy.spiders import Spider
File &＃8220;/Library/Python/2.7/site-packages/scrapy/spiders/init.py&＃8221;, line 10, in
from scrapy.http import Request
File &＃8220;/Library/Python/2.7/site-packages/scrapy/http/init.py&＃8221;, line 12, in
from scrapy.http.request.rpc import XmlRpcRequest
File &＃8220;/Library/Python/2.7/site-packages/scrapy/http/request/rpc.py&＃8221;, line 7, in
from six.moves import xmlrpc_client as xmlrpclib
ImportError: cannot import name xmlrpc_client

虽然我也不知道具体原因但已经在stackoverflow上找到解决办法:
在命令行终端依次执行下列命令即可:
sudo rm -rf /Library/Python/2.7/site-packages/six
sudo rm -rf/System/Library/Frameworks/Python.framework/Versions/2.7/Extras
/lib/python/six
sudo pip install six