scrapymysql实例,8.Scrapy爬虫案例实战Python全栈

任务&＃xff1a;爬取腾讯网中关于指定条件的所有社会招聘信息&＃xff0c;搜索条件为北京地区&＃xff0c;Python关键字的就业岗位,并将信息存储到MySql数据库中。

实现思路&＃xff1a;首先爬取每页的招聘信息列表&＃xff0c;再爬取对应的招聘详情信息

① 创建项目

在命令行编写下面命令&＃xff0c;创建项目tencent

scrapy startproject tencent

项目目录结构&＃xff1a;

tencent

├── tencent

│ ├── __init__.py

│ ├── __pycache__

│ ├── items.py # Items的定义&＃xff0c;定义抓取的数据结构

│ ├── middlewares.py # 定义Spider和DownLoader的Middlewares中间件实现。

│ ├── pipelines.py # 它定义Item Pipeline的实现&＃xff0c;即定义数据管道

│ ├── settings.py # 它定义项目的全局配置

│ └── spiders # 其中包含一个个Spider的实现&＃xff0c;每个Spider都有一个文件

│ ├── __init__.py

│ └── __pycache__

└── scrapy.cfg #Scrapy部署时的配置文件&＃xff0c;定义了配置文件路径、部署相关信息等内容

② 进入tencent项目目录&＃xff0c;创建爬虫spider类文件(hr招聘信息)

执行genspider命令&＃xff0c;第一个参数是Spider的名称&＃xff0c;第二个参数是网站域名。

scrapy genspider hr hr.tencent.com

$ tree

├── tencent

│ ├── __init__.py

│ ├── __pycache__

│ │ ├── __init__.cpython-36.pyc

│ │ └── settings.cpython-36.pyc

│ ├── items.py

│ ├── middlewares.py

│ ├── pipelines.py

│ ├── settings.py

│ └── spiders

│ ├── __init__.py

│ ├── __pycache__

│ │ └── __init__.cpython-36.pyc

│ └── hr.py #在spiders目录下有了一个爬虫类文件hr.py

└── scrapy.cfg

# hr.py的文件代码如下&＃xff1a;

# -*- coding: utf-8 -*-

import scrapy

class HrSpider(scrapy.Spider):

name &＃61; &＃39;hr&＃39;

allowed_domains &＃61; [&＃39;hr.tencent.com&＃39;]

start_urls &＃61; [&＃39;https://hr.tencent.com/position.php?keywords&＃61;python&lid&＃61;2156&＃39;]

def parse(self, response):

#解析当前招聘列表信息的url地址&＃xff1a;

detail_urls &＃61; response.css(&＃39;tr.even a::attr(href),tr.odd a::attr(href)&＃39;).extract()

#遍历url地址

for url in detail_urls:

#fullurl &＃61; &＃39;http://hr.tencent.com/&＃39; &＃43; url

#构建绝对的url地址&＃xff0c;效果同上(域名加相对地址)

fullurl &＃61; response.urljoin(url)

print(fullurl)

测试一下获取第一页的招聘详情url地址信息

③ 创建Item

Item是保存爬取数据的容器&＃xff0c;它的使用方法和字典类型&＃xff0c;但相比字典多了些保护机制。

创建Item需要继承scrapy.Item类&＃xff0c;并且定义类型为scrapy.Field的字段&＃xff1a;

职位id号&＃xff0c;名称、位置、类别、要求、人数、工作职责、工作要求

具体代码如下&＃xff1a;(创建一个类名为HrItem)

import scrapy

class TencentItem(scrapy.Item):

# define the fields for your item here like:

# name &＃61; scrapy.Field()

pass

class HrItem(scrapy.Item):

&＃39;&＃39;&＃39;

人事招聘信息封装类

(职位id号&＃xff0c;名称、位置、类别、要求、人数、职责和要求)

&＃39;&＃39;&＃39;

table &＃61; "hr" #表名

id &＃61; scrapy.Field()

title &＃61; scrapy.Field()

location &＃61; scrapy.Field()

type &＃61; scrapy.Field()

number &＃61; scrapy.Field()

duty &＃61; scrapy.Field()

requirement &＃61; scrapy.Field()

④ 解析Response

在hr.py文件中&＃xff0c;parse()方法的参数response是start_urls里面的链接爬取后的结果。

提取的方式可以是CSS选择器、XPath选择器或者是re正则表达式。

# -*- coding: utf-8 -*-

import scrapy

from tencent.items import HrItem

class HrSpider(scrapy.Spider):

name &＃61; &＃39;hr&＃39;

allowed_domains &＃61; [&＃39;hr.tencent.com&＃39;]

start_urls &＃61; [&＃39;https://hr.tencent.com/position.php?keywords&＃61;python&lid&＃61;2156&＃39;]

def parse(self, response):

#解析当前招聘列表信息的url地址&＃xff1a;

detail_urls &＃61; response.css(&＃39;tr.even a::attr(href),tr.odd a::attr(href)&＃39;).extract()

#遍历url地址

for url in detail_urls:

#fullurl &＃61; &＃39;http://hr.tencent.com/&＃39; &＃43; url

#构建绝对的url地址&＃xff0c;效果同上(域名加相对地址)

fullurl &＃61; response.urljoin(url)

#print(fullurl)

# 构造请求准备爬取招聘详情信息&＃xff0c;并指定由parse_page()方法解析回调函数

yield scrapy.Request(url&＃61;fullurl,callback&＃61;self.parse_page)

#获取下一页的url地址

next_url &＃61; response.css("#next::attr(href)").extract_first()

#判断若不是最后一页

if next_url !&＃61; "Javascript:;":

url &＃61; response.urljoin(next_url)

#构造下一页招聘列表信息的爬取

yield scrapy.Request(url&＃61;url,callback&＃61;self.parse)

# 解析详情页

def parse_page(self,response):

#构造招聘信息的Item容器对象

item &＃61; HrItem()

# 解析id号信息&＃xff0c;并封装到Item中

item["id"] &＃61; response.selector.re_first(&＃39;οnclick&＃61;"applyPosition\(([0-9]&＃43;)\);"&＃39;)

#标题

item["title"] &＃61; response.css(&＃39;#sharetitle::text&＃39;).extract_first()

#位置

item["location"] &＃61; response.selector.re_first(&＃39;工作地点&＃xff1a;(.*?)&＃39;)

#类别

item["type"] &＃61; response.selector.re_first(&＃39;职位类别&＃xff1a;(.*?)&＃39;)

#人数

item["number"] &＃61; response.selector.re_first(&＃39;招聘人数&＃xff1a;([0-9]&＃43;)人&＃39;)

#工作职责

duty &＃61; response.xpath(&＃39;//table//tr[3]//li/text()&＃39;).extract()

item["duty"] &＃61; &＃39;&＃39;.join(duty)

#工作要求

requirement &＃61; response.xpath(&＃39;//table//tr[4]//li/text()&＃39;).extract()

item["requirement"] &＃61; &＃39;&＃39;.join(requirement)

#print(item)

#交给管道文件

yield item

⑤、创建数据库和表&＃xff1a;

在mysql中创建数据库mydb和数据表hr

CREATE TABLE &＃96;hr&＃96; (

&＃96;id&＃96; int(10) unsigned NOT NULL AUTO_INCREMENT,

&＃96;title&＃96; varchar(255) DEFAULT NULL,

&＃96;location&＃96; varchar(32) DEFAULT NULL,

&＃96;type&＃96; varchar(32) DEFAULT NULL,

&＃96;number&＃96; varchar(32) DEFAULT NULL,

&＃96;duty&＃96; text DEFAULT NULL,

&＃96;requirement&＃96; text DEFAULT NULL,

PRIMARY KEY (&＃96;id&＃96;)

) ENGINE&＃61;InnoDB DEFAULT CHARSET&＃61;utf8

⑥、使用Item Pipeline

在Item管道文件中&＃xff0c;定义一个MysqlPipeline&＃xff0c;负责连接数据库并执行信息写入操作

import pymysql

class TencentPipeline(object):

def process_item(self, item, spider):

return item

class MysqlPipeline(object):

def __init__(self,host,user,password,database,port):

self.host &＃61; host

self.user &＃61; user

self.password &＃61; password

self.database &＃61; database

self.port &＃61; port

&＃64;classmethod

def from_crawler(cls,crawler):

return cls(

host &＃61; crawler.settings.get("MYSQL_HOST"),

user &＃61; crawler.settings.get("MYSQL_USER"),

password &＃61; crawler.settings.get("MYSQL_PASS"),

database &＃61; crawler.settings.get("MYSQL_DATABASE"),

port &＃61; crawler.settings.get("MYSQL_PORT"),

)

def open_spider(self, spider):

&＃39;&＃39;&＃39;负责连接数据库&＃39;&＃39;&＃39;

self.db &＃61; pymysql.connect(self.host,self.user,self.password,self.database,charset&＃61;"utf8",port&＃61;self.port)

self.cursor &＃61; self.db.cursor()

def process_item(self, item, spider):

&＃39;&＃39;&＃39;执行数据表的写入操作&＃39;&＃39;&＃39;

#组装sql语句

data &＃61; dict(item)

keys &＃61; &＃39;,&＃39;.join(data.keys())

values&＃61;&＃39;,&＃39;.join([&＃39;%s&＃39;]*len(data))

sql &＃61; "insert into %s(%s) values(%s)"%(item.table,keys,values)

#指定参数&＃xff0c;并执行sql添加

self.cursor.execute(sql,tuple(data.values()))

#事务提交

self.db.commit()

return item

def close_spider(self, spider):

&＃39;&＃39;&＃39;关闭连接数据库&＃39;&＃39;&＃39;

self.db.close()

⑦ 修改配置文件

打开配置文件&＃xff1a;settings.py 开启并配置ITEM_PIPELINES信息&＃xff0c;配置数据库连接信息

当有CONCURRENT_REQUESTS&＃xff0c;没有DOWNLOAD_DELAY 时&＃xff0c;服务器会在同一时间收到大量的请求。

当有CONCURRENT_REQUESTS&＃xff0c;有DOWNLOAD_DELAY 时&＃xff0c;服务器不会在同一时间收到大量的请求。

# 忽略爬虫协议

ROBOTSTXT_OBEY &＃61; False

# 并发量

CONCURRENT_REQUESTS &＃61; 1

#下载延迟

DOWNLOAD_DELAY &＃61; 0

ITEM_PIPELINES &＃61; {

#&＃39;educsdn.pipelines.EducsdnPipeline&＃39;: 300,

&＃39;educsdn.pipelines.MysqlPipeline&＃39;: 301,

}

MYSQL_HOST &＃61; &＃39;localhost&＃39;

MYSQL_DATABASE &＃61; &＃39;mydb&＃39;

MYSQL_USER &＃61; &＃39;root&＃39;

MYSQL_PASS &＃61; &＃39;&＃39;

MYSQL_PORT &＃61; 3306

⑧、运行爬取&＃xff1a;

执行如下命令来启用数据爬取

scrapy crawl hr