pythonscrapy库_Python爬虫学习（三）使用Scrapy库

(一)Scrapy库概述

1&＃xff0c;安装&＃xff1a;pip  install  scrapy失败&＃xff1b;

运行D:\Python\Python36\python.exe -m pip install --upgrade pip命令升级pip命令失败&＃xff1b;

安装&＃xff1a;D:\Python\Python36\python.exe -m pip install wheel

安装&＃xff1a;D:\Python\Python36\python.exe -m pip install scrapy

2&＃xff0c;框架概述&＃xff1a;

入口&＃xff1a;SPIDERS&＃xff1b;出口&＃xff1a;ITEM  PIPELINES&＃xff1b;用户编写SPIDERS(URL)&＃xff0c;ITEM  PIPELINES(对数据处理)

ENGINE&＃xff1a;控制所有模块之间的数据流&＃xff0c;根据条件触发事件&＃xff0c;不允许用户修改&＃xff0c;代码已实现

DOWNLOADER&＃xff1a;根据请求下载网页&＃xff0c;功能单一&＃xff0c;不允许用户修改&＃xff0c;代码已实现

SCHEDULER&＃xff1a;对所有爬取请求进行调度管理&＃xff0c;不允许用户修改&＃xff0c;代码已实现

DOWNLOADER  MIDDLEWARE&＃xff1a;用户可以修改配置&＃xff1b;中间件

SPIDERS&＃xff1a;解析DOWNLOADER返回的响应(Response)&＃xff1b;产生爬取项(scraped  item)&＃xff1b;产生额外的爬取请求(Request)&＃xff1b;需要用户编写的最核心代码

ITEM  PIPELINES&＃xff1a;以流水线方式处理Spider产生的爬取项&＃xff1b;由一组操作顺序组成&＃xff0c;每个操作是一个item  pipelines类型&＃xff1b;操作可包括&＃xff1a;清理&＃xff0c;检验&＃xff0c;查重爬虫项中HTML数据

将数据存入数据库&＃xff1b;由用户编写功能

SPIDER  MIDDLEWARE&＃xff1a;中间件

3&＃xff0c;requests库和Scrapy库区别&＃xff1a;

(二)Scrapy库的使用

1&＃xff0c;Scrapy命令行&＃xff1a;常用命令&＃xff1a;创建过程&＃xff0c;创建爬虫&＃xff0c;运行爬虫为最常用命令

2&＃xff0c;爬取某个HTML&＃xff1a;

(1)建立过程&＃xff1a; scrapy startproject python123demo

(2)建立爬虫demo&＃xff1a;scrapy genspider demo python123.io&＃xff1b;建立demo.py文件

#demo.py#-*- coding: utf-8 -*-

importscrapyclassDemoSpider(scrapy.Spider):

name&＃61; ‘demo‘allowed_domains&＃61; [‘python123.io‘] #说明只能爬取这个文件下的URL

start_urls &＃61; [‘http://python123.io/‘]def parse(self, response): #处理响应&＃xff0c;解析内容形成字典&＃xff0c;发现新的URL爬取请求

pass

(3)&＃xff0c;修改爬虫文件deom.py文件

#-*- coding: utf-8 -*-

importscrapyclassDemoSpider(scrapy.Spider):

name&＃61; ‘demo‘

#allowed_domains &＃61; [‘python123.io‘] #说明只能爬取这个文件下的URL

start_urls &＃61; [‘http://python123.io/ws/demo.html‘]def parse(self, response): #处理响应&＃xff0c;解析内容形成字典&＃xff0c;发现新的URL爬取请求

fname&＃61;response.url.split("/")[-1]

with open(fname,"wb") as f:

f.write(response.body)

self.log("保存文件&＃xff1a;%s"%name)

(4)&＃xff0c;运行爬虫&＃xff1a;scrapy crawl demo

2&＃xff0c;yield&＃xff1a;

例子&＃xff1a;

3&＃xff0c;相关类&＃xff1a;

(1)request类&＃xff1a;

(2)response类&＃xff1a;

(3)Item类&＃xff1a;类字典类型&＃xff0c;可以按照字典类型操作&＃xff1b;表示从HTML中提取的内容

4&＃xff0c;CSS Selector&＃xff1a;

(三)实例&＃xff1a;

实例一&＃xff1a;

1&＃xff0c;功能&＃xff1a;

2&＃xff0c;实现难点&＃xff1a;

3&＃xff0c;准备工作&＃xff1a;网站选取原则&＃xff1a;

爬取链接&＃xff1a;http://quote.eastmoney.com/stock_list.html#sh 东方财富股票综合排名

http://gu.qq.com/xxxxxx/gp  腾讯个股股票信息

先爬取股票综合排名&＃xff1a;获取股票代码&＃xff0c;放入搜狐股票的链接中转到个股信息

爬取股票综合排名网页发现&＃xff1a;股票简略信息都在

4&＃xff0c;步骤&＃xff1a;

原文&＃xff1a;https://www.cnblogs.com/lq13035130506/p/12254076.html