极简Scrapy爬虫4：items包装

运行环境：
* Python 2.7.12
* Scrapy 1.2.2
* Mac OS X 10.10.3 Yosemite


继续爬取Scrapy 1.2.2文档提供的练习网址：

&＃8220;http://quotes.toscrapy.com&＃8220;

可以暂时不用考虑爬虫被封的情况，用于初级爬虫练习。

目标

使用items来包装需要爬取的内容。把内容都用items.py来进行管理，便于把抓取的内容传递进pipelines进行后期处理。同时，把内容都放进items.py以后，可以解耦合爬虫文件spider.py，责任更加明晰：爬虫负责去发请求，解析网址；items.py负责管理抓取到的内容。

改写第一个爬虫

步骤1：声明items

首先，我们针对第一个爬虫进行改写。

在项目目录下有items.py文件。这是存放items的地方，也就是存放抓取内容的地方。我们需要在items.py中告诉Scrapy我们要抓取的内容叫什么名字，也就是需要声明items。

items.py文件改写如下：

import scrapy
class QuotesItem(scrapy.Item):
quote = scrapy.Field()
author = scrapy.Field()
tags = scrapy.Field()


表示我们要抓取的内容是：quote，author以及tags。

步骤2：引入items.py的类

建立新爬虫文件quotes_2_4.py，并将第一个爬虫文件的内容复制如下：

import scrapy
class QuotesSpider(scrapy.Spider):
name = 'quotes_2_1'
start_urls = [
'http://quotes.toscrape.com'
]
allowed_domains = [
'toscrape.com'
]
def parse(self,response):
for quote in response.css('div.quote'):
yield{
'quote': quote.css('span.text::text').extract_first(),
'author': quote.css('small.author::text').extract_first(),
'tags': quote.css('div.tags a.tag::text').extract(),
}


首先更改两个内容：

• 在文件开头引入items，from quotes_2.items import QuotesItem。quotes_2.items表示quotes_2项目下的items文件，import QuotesItem是引入QuotesItem这个类，上一段就是在这个类中声明的items。（如果声明了多个类，可以使用from <项目名>.items import *表示引入items.py中所有的类。
• 更改爬虫名字，name = 'quotes_2_4'。

步骤3：改写parse()函数

然后，需要更改parse()函数中的yield{}内容，parse()函数改写如下：

def parse(self,response):
for quote in response.css('div.quote'):
item = QuotesItem()
item['quote'] = quote.css('span.text::text').extract_first()
item['author'] = quote.css('small.author::text').extract_first()
item['tags'] = quote.css('div.tags a.tag::text').extract()
yield item


具体内容是：

• 实例化item，item = QuotesItem()。
• 对item中的变量赋值。
• yield item。

这样就实现了items来包装抓取内容，达到items.py来管理内容的目的。

最终的爬虫文件如下：

import scrapy
from quotes_2.items import QuotesItem
class QuotesSpider(scrapy.Spider):
name = 'quotes_2_4'
start_urls = [
'http://quotes.toscrape.com',
]
allowed_domains = [
'toscrape.com',
]
def parse(self,response):
for quote in response.css('div.quote'):
item = QuotesItem()
item['quote'] = quote.css('span.text::text').extract_first()
item['author'] = quote.css('small.author::text').extract_first()
item['tags'] = quote.css('div.tags a.tag::text').extract()
yield item


运行爬虫

$ scrapy crawl quotes24 -o results_2_4_01.json


可以达到第一个爬虫一样的效果。