pythonscrapy爬虫崔庆才_Scrapy框架爬虫

说明&＃xff1a;文章是本人读了崔庆才的Python3---网络爬虫开发实战&＃xff0c;做的简单整理&＃xff0c;希望能帮助正在学习的小伙伴~~

1. 准备工作&＃xff1a;

安装Scrapy框架、MongoDB和PyMongo库&＃xff0c;如果没有安装&＃xff0c;google了解一下~~

2. 创建项目&＃xff1a;

使用命令创建Scrapy项目&＃xff0c;命令如下&＃xff1a;

scrapy startproject tutorial

该命令可以在任意文件夹运行&＃xff0c;如果提示权限问题&＃xff0c;可以加sudo运行。该命令会创建一个名为tutorial的文件夹&＃xff0c;结构如下&＃xff1a;

# scrapy.cfg&＃xff1a; Scrapy项目的配置文件&＃xff0c;定义了项目的配置文件路径&＃xff0c;部署相关信息等

# item.py&＃xff1a; 定义item数据结构(爬取的数据结构)

# pipeline.py&＃xff1a; 定义数据管道

# settings.py&＃xff1a; 配置文件

# middlewares.py&＃xff1a; 定义爬取时的中间件

# spiders&＃xff1a; 放置Spiders的文件夹

3. 创建Spider&＃xff1a;

Spider是自己定义的类&＃xff0c;Scrapy用它来从网页抓取内容&＃xff0c;并解析抓取结果。该类必须继承Scrapy提供的Spider类scrapy.Spider。

使用命令创建一个Spider&＃xff0c;命令如下&＃xff1a;

cd tutorial

scrapy genspider quotes quotes.toscrape.com

首先&＃xff0c;进入刚才创建的tutorial文件夹&＃xff0c;然后执行genspider命令。第一个参数是spider的名称&＃xff0c;第二个参数是网络域名(要抓取网络的域名)。执行完毕后&＃xff0c;spiders文件夹中多了一个quotes.py&＃xff0c;它就是刚刚创建的Spider&＃xff0c;内容如下&＃xff1a;

该类中有三个属性 ------ name、allowed_domains、start_urls&＃xff0c;一个方法parse。

# name&＃xff0c;唯一的名字&＃xff0c;用来区分不同的Spider。

# allowed_domains&＃xff0c;允许爬取的域名&＃xff0c;如果初始或后续的请求链接不是该域名下的&＃xff0c;则被过滤掉。

# start_urls&＃xff0c;Spider在启动时爬取的url列表&＃xff0c;用来定义初始的请求。

# parse&＃xff0c;它是spider的一个方法&＃xff0c;用来处理start_urls里面的请求返回的响应&＃xff0c;该方法负责解析返回的响应&＃xff0c;提取数据或进一步生成处理的请求。

4. 创建Item&＃xff1a;

Item是保存爬取数据的容器&＃xff0c;使用方法和字典类似。创建Item需要继承scrapy.Item类&＃xff0c;并且定义类型为scrapy.Field的字段。

定义Item&＃xff0c;将生成的items.py修改如下&＃xff1a;

这里定义了三个字段&＃xff0c;接下来爬取时我们会用到这个Item。

5. 解析Response&＃xff1a;

前面我们看到&＃xff0c;parse()方法的参数response是start_urls里面的链接爬取后的结果&＃xff0c;所以在parse方法中&＃xff0c;可以对response变量包含的内容进行解析。网页结构如下&＃xff1a;

提取方式可以是CSS选择器或XPath选择器。在这里&＃xff0c;使用CSS选择器&＃xff0c;parse()方法修改如下&＃xff1a;

首先&＃xff0c;利用选择器选取所有的quote&＃xff0c;并将其赋值给quotes变量&＃xff0c;然后利用for循环对每一个quote遍历&＃xff0c;解析每一个quote的内容。

对text来说&＃xff0c;他的class是text&＃xff0c;所以用.text选择器来选取&＃xff0c;这个结果实际上是整个带有标签的节点&＃xff0c;要获取它的正文内容&＃xff0c;可以加::text来获取。这时的结果是长度为1的列表&＃xff0c;所以还需要用extract_first()方法来获取第一个元素。

而对于tags来说&＃xff0c;由于我们要获取所有的标签&＃xff0c;所以用extract()方法来获取整个列表即可。

6. 使用Item&＃xff1a;

上面定义了Item&＃xff0c;这边我们就需要用到它。Item可以理解为一个字典&＃xff0c;不过在这里需要先实例化&＃xff0c;然后将解析的结果赋值给Item的每一个字段&＃xff0c;最后返回Item。

修改QuotesSpider类如下&＃xff1a;

至此&＃xff0c;首页的所有内容被解析出来了&＃xff0c;并将结果赋值给一个个TutorialItem。

7. 后续Request&＃xff1a;

上面实现了网页首页的抓取解析&＃xff0c;那么下一页怎么抓取呢&＃xff1f;我们可以看到网页的翻页结构如下&＃xff1a;

这里有一个Next按钮&＃xff0c;查看源码&＃xff0c;可以看出下一页的全链接是&＃xff1a;http://quotes.toscrape.com/page/2/,通过这个链接我们就可以构造下一个请求。

构造请求需要用到scrapy.Request。这里会有两个参数 -------url和callback。

# url&＃xff0c;请求链接。

# callback&＃xff0c;回调函数。请求完毕后&＃xff0c;获取响应&＃xff0c;引擎会将该响应作为参数传递给回调函数&＃xff0c;回调函数进行解析或生成下一个请求。

在parse()方法中追加如下代码&＃xff1a;

第一句&＃xff0c;获取下一个页面的链接&＃xff0c;即要获取a超链接中的href属性。

第二句&＃xff0c;调用urljoin()方法&＃xff0c;urljoin()方法可以将相对URL构造成一个绝对URL。例如&＃xff0c;获取得到下一页的地址是/page/2/&＃xff0c;urljoin()方法处理后的结果是&＃xff1a;http://quotes.toscrape.com/page/2/。

第三句&＃xff0c;通过url和callback变量构造了一个新的请求&＃xff0c;回调函数callback依然使用parse()方法。这样&＃xff0c;爬虫就进入了一个循环&＃xff0c;直到最后一页。

修改之后&＃xff0c;整个Spider类如下&＃xff1a;

8. 运行&＃xff1a;

进入目录&＃xff0c;运行如下命令&＃xff1a;

scrapy crawl quotes

就可以看到Scrapy的运行结果了。

9. 保存到文件&＃xff1a;

运行完Scrapy后&＃xff0c;我们只在控制台看到了输出结果。如何保存结果呢&＃xff1f;

Scrapy提供了Feed Exports可以轻松将结果输出。例如&＃xff0c;我们想将上面的结果保存成JSON文件&＃xff0c;可以执行如下命令&＃xff1a;

scrapy crawl quotes -o quotes.json

命令运行后&＃xff0c;会发现项目内多了一个quotes.json文件&＃xff0c;这个文件包含了抓取的所有内容&＃xff0c;格式为JSON。

另外&＃xff0c;还支持其他格式如下&＃xff1a;

scrapy crawl quotes -o quotes.jsonlines   (scrapy crawl quotes -o quotes.jl ,  jl是jsonlines的缩写)

scrapy crawl quotes -o quotes.csv

scrapy crawl quotes -o quotes.xml

scrapy crawl quotes -o quotes.pickle

scrapy crawl quotes -o quotes.marshal

scrapy crawl quotes -o ftp://user:pass&＃64;ftp.example.com/path/to/quotes.csv    (远程输出&＃xff0c;需要正确配置&＃xff0c;否则会报错)

10. 使用Pipeline&＃xff1a;

如果想进行复杂额操作&＃xff0c;如将结果保存到MongoDB数据库&＃xff0c;或者筛选Item&＃xff0c;我们可以定义Pipeline来实现。

前面提到&＃xff0c;Pipeline是项目管道&＃xff0c;当Item生成后&＃xff0c;它会自动被送到Pipeline进行处理&＃xff0c;主要的操作如下&＃xff1a;

# 清理HTML数据

# 验证爬取的数据&＃xff0c;检查爬取的字段

# 查重并丢弃重复内容

# 将结果保存到数据库

实现Pipeline&＃xff0c;只需要定义一个类并实现process_item()方法即可。启用Pipeline后&＃xff0c;Pipline会自动调用这个方法。process_item()方法必须返回包含数据的字典或item对象&＃xff0c;或者抛出DropItem异常。

process_item()方法有两个参数&＃xff0c;一个参数是item&＃xff0c;每次Spider生成的Item都会作为参数传递过来&＃xff0c;另一个参数是spider&＃xff0c;就是Spider的实例。

接下来&＃xff0c;我们实现一个Pipline&＃xff0c;筛掉text长度大于50的Item&＃xff0c;并将结果保存到MongoDB数据库。

修改pipelines.py如下&＃xff1a;

# from_crawler&＃xff0c;这是一个类方法&＃xff0c;用&＃64;classmethod标识&＃xff0c;是一种依赖注入。它的参数就是crawler&＃xff0c;通过crawler可以拿到全局配置的每一个配置信息。在全局配置settings.py中&＃xff0c;可以配置MONGO_UR和MONGO_DB来指定MongoDB连接需要的地址和数据库名称&＃xff0c;拿到配置信息之后返回类对象即可。所以这个方法主要是用来获取settings.py中的配置信息。

# open_spider&＃xff0c;当Spider开启时&＃xff0c;这个方法被调用。进行初始化操作。

# close_spider&＃xff0c;当Spider关闭时&＃xff0c;这个方法被调用。将数据库连接关闭。

最主要的process_item()方法则进行了数据插入操作。

定义好的TutorialPipeline和MongoPipline这两个类后&＃xff0c;我们需要在settings.py中使用它们&＃xff0c;MongoDB的连接信息也需要在settings.py中定义。

settings.py中加入如下内容&＃xff1a;

赋值ITEM_PIPELINES字典&＃xff0c;键名是Pipeline的类名称&＃xff0c;键值是调用的优先级&＃xff0c;是一个数字&＃xff0c;数字越小对应的Pipeline越先被调用。

重新执行如下命令进行爬取&＃xff1a;

scrapy crawl quotes

结束后&＃xff0c;MongoDB中会创建了一个tutorial的数据库、TutorialItem的表&＃xff0c;如下图&＃xff1a;

11. 结语&＃xff1a;

至此&＃xff0c;一个简单的Scrapy框架爬虫就完成了&＃xff0c;这只是一个简单的爬虫例子&＃xff0c;想要了解更多&＃xff0c;可以去看看崔庆才的书---------《Python3   网络爬虫开发实战》。

Github上面也有许多相关的项目可以去研究~~~