python3重定向_【Python3.4.3】Scrapy1.2.0禁止重定向的解决方法

使用scrapy抓取内容的时候如果页面中有下面重定向的代码,scrapy就会去另一个页面,如下代码

第一种

重定向方法是在返回头里添加301重定向,如下php代码//设置地址被永久的重定向 301

header(&＃39;HTTP/1.1 301 Moved Permanently&＃39;);

header(&＃39;location:www.xxx.com&＃39;);

禁止这种重定向的方法是在项目设置文件(setting.py)中添加下面代码REDIRECT_ENABLED &＃61; False

第二种

是直接在页面里添加重定向代码,如下

采集中会出现如下所示重定向提示

禁止这种重定向的方法是在设置文件(setting.py)中添加下面代码(关键是里面的那个注释掉的代码)DOWNLOADER_MIDDLEWARES_BASE &＃61; {

&＃39;scrapy.contrib.downloadermiddleware.robotstxt.RobotsTxtMiddleware&＃39;: 100,

&＃39;scrapy.contrib.downloadermiddleware.httpauth.HttpAuthMiddleware&＃39;: 300,

&＃39;scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware&＃39;: 400,

&＃39;scrapy.contrib.downloadermiddleware.retry.RetryMiddleware&＃39;: 500,

&＃39;scrapy.contrib.downloadermiddleware.defaultheaders.DefaultHeadersMiddleware&＃39;: 550,

#&＃39;scrapy.contrib.downloadermiddleware.redirect.RedirectMiddleware&＃39;: 600,

&＃39;scrapy.contrib.downloadermiddleware.COOKIEs.COOKIEsMiddleware&＃39;: 700,

&＃39;scrapy.contrib.downloadermiddleware.httpproxy.HttpProxyMiddleware&＃39;: 750,

&＃39;scrapy.contrib.downloadermiddleware.httpcompression.HttpCompressionMiddleware&＃39;: 800,

&＃39;scrapy.contrib.downloadermiddleware.stats.DownloaderStats&＃39;: 850,

&＃39;scrapy.contrib.downloadermiddleware.httpcache.HttpCacheMiddleware&＃39;: 900,

}