python爬虫之scrapy框架的使用

元素、元素&＃xff0c;就能得到书名、出版信息和评分的数据。

实现:

-----创建项目-----

1.Scrapy的安装&＃xff0c;详见我写的另外文档https://blog.csdn.net/qq_38588845/article/details/97009061

2.开始创建&＃xff0c;你可以创建到自己喜欢的目录&＃xff0c;比如D盘&＃xff0c;E盘等等&＃xff0c;利用cd &＃43; 路径跳转

3.然后使用 scrapy startproject douban 去创建项目目录&＃xff0c;项目名称是douban

目录结构如下&＃xff1a;

解读&＃xff1a;Scrapy项目里每个文件都有特定的功能&＃xff0c;比如settings.py 是scrapy里的各种设置。items.py是用来定义数据的&＃xff0c;pipelines.py是用来处理数据的&＃xff0c;它们对应的就是Scrapy的结构中的Item Pipeline&＃xff08;数据管道&＃xff09;。

-----编辑爬虫-----

在spiders文件下创建好爬虫文件&＃xff0c;名称叫做top250.py&＃xff0c;后面大部分代码在里面写。

top250.py

import scrapy
import bs4
from ..items import DoubanItem
# 需要引用DoubanItem&＃xff0c;它在items里面。因为是items在top250.py的上一级目录&＃xff0c;所以要用..items&＃xff0c;这是一个固定用法。class DoubanSpider(scrapy.Spider):
#定义一个爬虫类DoubanSpider。name &＃61; &＃39;douban&＃39;#定义爬虫的名字为douban。allowed_domains &＃61; [&＃39;book.douban.com&＃39;]#定义爬虫爬取网址的域名。start_urls &＃61; []#定义起始网址。for x in range(3):url &＃61; &＃39;https://book.douban.com/top250?start&＃61;&＃39; &＃43; str(x * 25)start_urls.append(url)#把豆瓣Top250图书的前3页网址添加进start_urls。def parse(self, response):#parse是默认处理response的方法。bs &＃61; bs4.BeautifulSoup(response.text,&＃39;html.parser&＃39;)#用BeautifulSoup解析response。datas &＃61; bs.find_all(&＃39;tr&＃39;,class_&＃61;"item")#用find_all提取

在3行&＃xff0c;我们需要引用DoubanItem&＃xff0c;它在items里面。因为是items在top250.py的上一级目录&＃xff0c;所以要用..items&＃xff0c;这是一个固定用法。

当我们每一次&＃xff0c;要记录数据的时候&＃xff0c;比如前面在每一个最小循环里&＃xff0c;都要记录“书名”&＃xff0c;“出版信息”&＃xff0c;“评分”。我们会实例化一个item对象&＃xff0c;利用这个对象来记录数据。

每一次&＃xff0c;当数据完成记录&＃xff0c;它会离开spiders&＃xff0c;来到Scrapy Engine&＃xff08;引擎&＃xff09;&＃xff0c;引擎将它送入Item Pipeline&＃xff08;数据管道&＃xff09;处理。这里&＃xff0c;要用到yield语句。

定义数据的过程在item.py完成,相当于数据管道上完成。

-----定义数据-----

item.py

import scrapy
#导入scrapy
class DoubanItem(scrapy.Item):
#定义一个类DoubanItem&＃xff0c;它继承自scrapy.Itemtitle &＃61; scrapy.Field()#定义书名的数据属性publish &＃61; scrapy.Field()#定义出版信息的数据属性score &＃61; scrapy.Field()#定义评分的数据属性

如果用可视化的方式来呈现程序运行的过程&＃xff0c;就如同上图所示&＃xff1a;爬虫&＃xff08;Spiders&＃xff09;会把豆瓣的10个网址封装成requests对象&＃xff0c;引擎会从爬虫&＃xff08;Spiders&＃xff09;里提取出requests对象&＃xff0c;再交给调度器&＃xff08;Scheduler&＃xff09;&＃xff0c;让调度器把这些requests对象排序处理。

然后引擎再把经过调度器处理的requests对象发给下载器&＃xff08;Downloader&＃xff09;&＃xff0c;下载器会立马按照引擎的命令爬取&＃xff0c;并把response返回给引擎。

紧接着引擎就会把response发回给爬虫&＃xff08;Spiders&＃xff09;&＃xff0c;这时爬虫会启动默认的处理response的parse方法&＃xff0c;解析和提取出书籍信息的数据&＃xff0c;使用item做记录&＃xff0c;返回给引擎。引擎将它送入Item Pipeline&＃xff08;数据管道&＃xff09;处理。

-----设置-----

点击settings.py文件&＃xff0c;你能在里面找到如下的默认设置代码&＃xff0c;不然会出现一些报错信息&＃xff1a;

# Crawl responsibly by identifying yourself (and your website) on the user-agent
#USER_AGENT &＃61; &＃39;douban (&＃43;http://www.yourdomain.com)&＃39;# Obey robots.txt rules
ROBOTSTXT_OBEY &＃61; True

1.删除USER _AGENT的注释&＃xff0c;并到网页上右击&＃xff0c;network找到USER_AGENT的值&＃xff0c;并赋值上去

2.ROBOTSTXT_OBEY&＃61;True改成ROBOTSTXT_OBEY&＃61;False&＃xff0c;就是把遵守robots协议换成无需遵从robots协议&＃xff0c;这样Scrapy就能不受限制地运行。

修改后如下&＃xff1a;

# Crawl responsibly by identifying yourself (and your website) on the user-agent
USER_AGENT &＃61; &＃39;Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36&＃39;# Obey robots.txt rules
ROBOTSTXT_OBEY &＃61; False

-----运行-----

cmd --切记在douban目录下&＃xff0c;运行命令scrapy crawl douban&＃xff0c;不然会报错

总结用法

存储数据

csv存储

在setting.py里面&＃xff0c;添加下面代码,即可!

FEED_URI&＃61;&＃39;./storage/data/%(name)s.csv&＃39;
FEED_FORMAT&＃61;&＃39;CSV&＃39;
FEED_EXPORT_ENCODING&＃61;&＃39;ansi&＃39;

解读&＃xff1a;

FEED_URI是导出文件的路径。&＃39;./storage/data/%(name)s.csv&＃39;&＃xff0c;就是把存储的文件放到与settings.py文件同级的storage文件夹的data子文件夹里。

FEED_FORMAT 是导出数据格式&＃xff0c;写CSV就能得到CSV格式。

FEED_EXPORT_ENCODING 是导出文件编码&＃xff0c;ansi是一种在windows上的编码格式&＃xff0c;你也可以把它变成utf-8用在mac电脑上。-------------------------------------------------------------------------------------

Excel存储

1.取消ITEM_PIPELINES的注释&＃xff08;删掉#&＃xff09;即可

#取消&＃96;ITEM_PIPELINES&＃96;的注释后&＃xff1a;# Configure item pipelines
# See https://doc.scrapy.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES &＃61; {&＃39;jobuitest.pipelines.JobuitestPipeline&＃39;: 300,
}

2.修改pipelines.py代码

pipelines.py

下面是本人其他的一个案例的一个存储&＃xff0c;作为参考即可&＃xff01;

import openpyxlclass JobuiPipeline(object):
#定义一个JobuiPipeline类&＃xff0c;负责处理itemdef __init__(self):#初始化函数 当类实例化时这个方法会自启动self.wb &＃61;openpyxl.Workbook()#创建工作薄self.ws &＃61; self.wb.active#定位活动表self.ws.append([&＃39;公司&＃39;, &＃39;职位&＃39;, &＃39;地址&＃39;, &＃39;招聘信息&＃39;])#用append函数往表格添加表头def process_item(self, item, spider):#process_item是默认的处理item的方法&＃xff0c;就像parse是默认处理response的方法line &＃61; [item[&＃39;company&＃39;], item[&＃39;position&＃39;], item[&＃39;address&＃39;], item[&＃39;detail&＃39;]]#把公司名称、职位名称、工作地点和招聘要求都写成列表的形式&＃xff0c;赋值给lineself.ws.append(line)#用append函数把公司名称、职位名称、工作地点和招聘要求的数据都添加进表格return item#将item丢回给引擎&＃xff0c;如果后面还有这个item需要经过的itempipeline&＃xff0c;引擎会自己调度def close_spider(self, spider):#close_spider是当爬虫结束运行时&＃xff0c;这个方法就会执行self.wb.save(&＃39;./jobui.xlsx&＃39;)#保存文件self.wb.close()#关闭文件

3.在最后&＃xff0c;我们还要再修改Scrapy中settings.py文件里的默认设置&＃xff1a;添加请求头&＃xff0c;以及把ROBOTSTXT_OBEY&＃61;True改成ROBOTSTXT_OBEY&＃61;False。

# Crawl responsibly by identifying yourself (and your website) on the user-agent
USER_AGENT &＃61; &＃39;Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36&＃39;# Obey robots.txt rules
ROBOTSTXT_OBEY &＃61; False

# Configure a delay for requests for the same website (default: 0)
# See https://doc.scrapy.org/en/latest/topics/settings.html#download-delay
# See also autothrottle settings and docs
DOWNLOAD_DELAY &＃61; 0.5

4.还有DOWNLOAD_DELAY &＃61; 0这行的注释&＃xff08;删掉#&＃xff09;。DOWNLOAD_DELAY翻译成中文是下载延迟的意思&＃xff0c;这行代码可以控制爬虫的速度。因为这个项目的爬取速度不宜过快&＃xff0c;我们要把下载延迟的时间改成0.5秒。

最后运行scrapy crawl&＃43;项目名称

保存的文件是在根目录下