Python分布式爬虫详解（三）

数据科学俱乐部

中国数据科学家社区

上一章中&＃xff0c;利用scrapy-redis做了一个简单的分布式爬虫&＃xff0c;虽然很一般&＃xff08;只有30个请求&＃xff09;但是基本能说清楚原理&＃xff0c;本章中&＃xff0c;将对该项目进行升级&＃xff0c;使其成为一个完整的分布式爬虫项目。

Python分布式爬虫详解&＃xff08;一&＃xff09;

Python分布式爬虫详解&＃xff08;二&＃xff09;

本章知识点&＃xff1a;

a.代理ip的使用

b.Master端代码编写

c.数据转存到mysql

一、使用代理ip

在 中&＃xff0c;介绍了ip代理池的获取方式&＃xff0c;那么获取到这些ip代理后如何使用呢&＃xff1f;

首先&＃xff0c;在setting.py文件中创建USER_AGENTS和PROXIES两个列表&＃xff1a;

USER_AGENTS &＃61; [
    &＃39;Mozilla/5.0 (X11; U; Linux x86_64; zh-CN; rv:1.9.2.10) Gecko/20100922 Ubuntu/10.10 (maverick) Firefox/3.6.10&＃39;,
    &＃39;Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.71 Safari/537.36&＃39;,
    &＃39;Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/30.0.1599.101 Safari/537.36&＃39;,
    &＃39;Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 Safari/537.1 LBBROWSER&＃39;,
    &＃39;Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.122 UBrowser/4.0.3214.0 Safari/537.36&＃39;,
    &＃39;Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 UBrowser/6.2.4094.1 Safari/537.36&＃39;

]

PROXIES &＃61; [
    {&＃39;ip_port&＃39;: &＃39;118.190.95.43:9001&＃39;, "user_passwd": None},
    {&＃39;ip_port&＃39;: &＃39;61.135.217.7:80&＃39;, "user_passwd": None},
    {&＃39;ip_port&＃39;: &＃39;118.190.95.35:9001&＃39;, "user_passwd": None},
]


我们知道&＃xff0c;下载中间件是介于Scrapy的request/response处理的钩子&＃xff0c;每个请求都需要经过中间件。所以在middlewares.py中新建两个类&＃xff0c;用于随机选择用户代理和ip代理&＃xff1a;

# 随机的User-Agent
class RandomUserAgent(object):
    def process_request(self, request, spider):
        useragent &＃61; random.choice(USER_AGENTS)
        #print useragent
        request.headers.setdefault("User-Agent", useragent)

# 随机的代理ip
class RandomProxy(object):
    def process_request(self, request, spider):
        proxy &＃61; random.choice(PROXIES)
        # 没有代理账户验证的代理使用方式
        request.meta[&＃39;proxy&＃39;] &＃61; "http://" &＃43; proxy[&＃39;ip_port&＃39;]


在setting.py中开启下载中间件&＃xff1a;

DOWNLOADER_MIDDLEWARES &＃61; {
    &＃39;dytt_redis_slaver.middlewares.RandomUserAgent&＃39;: 543,
    &＃39;dytt_redis_slaver.middlewares.RandomProxy&＃39;: 553,
}


二、Master端代码

Scrapy-Redis分布式策略中&＃xff0c;Master端(核心服务器)&＃xff0c;不负责爬取数据&＃xff0c;只负责url指纹判重、Request的分配&＃xff0c;以及数据的存储&＃xff0c;但是一开始要在Master端中lpush开始位置的url&＃xff0c;这个操作可以在控制台中进行&＃xff0c;打开控制台输入&＃xff1a;

redis-cli
127.0.0.1:6379> lpush dytt:start_urls https://www.dy2018.com/0/


也可以写一个爬虫对url进行爬取&＃xff0c;然后动态的lpush到redis数据库中&＃xff0c;这种方法对于url数量多且有规律的时候很有用&＃xff08;不需要在控制台中一条一条去lpush&＃xff0c;当然最省事的方法是在slaver端代码中增加rule规则去实现url的获取&＃xff09;。比如要想获取所有电影的分类。

链接就是一个或者两个数字&＃xff0c;所以rule规则为&＃xff1a;

    rules &＃61; (
        Rule(LinkExtractor(allow&＃61;r&＃39;/\d{1,2}/$&＃39;), callback&＃61;&＃39;parse_item&＃39;),
    )


在parse_item中返回这个请求链接&＃xff1a;

 def parse_item(self, response):
        # print(response.url)
        items &＃61; DyttRedisMasterItem()
        items[&＃39;url&＃39;] &＃61; response.url
        yield items


piplines.py中&＃xff0c;将获得的url全部lpush到redis数据库&＃xff1a;

import redis

class DyttRedisMasterPipeline(object):
    def __init__(self):
        # 初始化连接数据的变量
        self.REDIS_HOST &＃61; &＃39;127.0.0.1&＃39;
        self.REDIS_PORT &＃61; 6379
        # 链接redis
        self.r &＃61; redis.Redis(host&＃61;self.REDIS_HOST, port&＃61;self.REDIS_PORT)

    def process_item(self, item, spider):
        # 向redis中插入需要爬取的链接地址
        self.r.lpush(&＃39;dytt:start_urls&＃39;, item[&＃39;url&＃39;])
        return item


运行slaver端时&＃xff0c;程序会等待请求的到来&＃xff0c;当starts_urls有值的时候&＃xff0c;爬虫将开始爬取&＃xff0c;但是一开始并没有数据&＃xff0c;因为会过滤掉重复的链接&＃xff1a;

毕竟有些电影的类型不止一种&＃xff1a;

scrapy默认16个线程&＃xff08;当然可以修改为20个啊&＃xff09;&＃xff0c;而分类有20个&＃xff0c;所以start_urls会随机剩下4个&＃xff0c;等待任务分配&＃xff1a;

当链接过滤完毕后&＃xff0c;就有数据了&＃xff1a;

因为在setting.py中设置了&＃xff1a;

SCHEDULER_PERSIST &＃61; True


所以重新启动爬虫的时候&＃xff0c;会接着之前未完成的任务进行爬取。在slaver端中新增rule规则可以实现翻页功能&＃xff1a;

page_links &＃61; LinkExtractor(allow&＃61;r&＃39;/index_\d*.html&＃39;)
rules &＃61; (
        # 翻页规则
        Rule(page_links),
        # 进入电影详情页
        Rule(movie_links, callback&＃61;&＃39;parse_item&＃39;),
    )


三、数据转存到Mysql

因为&＃xff0c;redis只支持String,hashmap,set,sortedset等基本数据类型&＃xff0c;但是不支持联合查询&＃xff0c;所以它适合做缓存。将数据转存到mysql数据库中&＃xff0c;方便以后查询&＃xff1a;

创建数据表&＃xff1a;

代码如下&＃xff1a;

# -*- coding: utf-8 -*-

import json
import redis
import pymysql

def main():
    # 指定redis数据库信息
    rediscli &＃61; redis.StrictRedis(host&＃61;&＃39;127.0.0.1&＃39;, port&＃61;6379, db&＃61;0)
    # 指定mysql数据库
    mysqlcli &＃61; pymysql.connect(host&＃61;&＃39;127.0.0.1&＃39;, user&＃61;&＃39;root&＃39;, passwd&＃61;&＃39;zhiqi&＃39;, db&＃61;&＃39;Scrapy&＃39;, port&＃61;3306, use_unicode&＃61;True)

    while True:
        # FIFO模式为 blpop&＃xff0c;LIFO模式为 brpop&＃xff0c;获取键值
        source, data &＃61; rediscli.blpop(["dytt_slaver:items"])
        item &＃61; json.loads(data)

        try:
            # 使用cursor()方法获取操作游标
            cur &＃61; mysqlcli.cursor()
            # 使用execute方法执行SQL INSERT语句
            cur.execute("INSERT INTO dytt (name, year, language, "
                        "movie_type, release_date, score, file_size, "
                        "film_time, introduction, posters, download_link) VALUES "
                        "(%s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s )",
                        [item[&＃39;name&＃39;], item[&＃39;year&＃39;], item[&＃39;language&＃39;],
                         item[&＃39;movie_type&＃39;], item[&＃39;release_date&＃39;], item[&＃39;score&＃39;],
                         item[&＃39;file_size&＃39;], item[&＃39;film_time&＃39;], item[&＃39;introduction&＃39;],
                         item[&＃39;posters&＃39;], item[&＃39;download_link&＃39;]])
            # 提交sql事务
            mysqlcli.commit()
            #关闭本次操作
            cur.close()
            print ("inserted %s" % item[&＃39;name&＃39;])
        except pymysql.Error as e:
            print ("Mysql Error %d: %s" % (e.args[0], e.args[1]))


if __name__ &＃61;&＃61; &＃39;__main__&＃39;:
    main()


最终结果&＃xff1a;

项目地址:

https://github.com/ZhiqiKou/Scrapy_notes

本文作者

Zhiqi Kou&＃xff0c;一个向往成为真正程序员的码奴。

地址&＃xff1a;zhihu.com/people/zhiqi-kou

投稿邮箱&＃xff1a;pythonpost&＃64;163.com

欢迎点击申请Python中文社区新专栏作者计划

Python中文社区作为一个去中心化的全球技术社区&＃xff0c;以成为全球20万Python中文开发者的精神部落为愿景&＃xff0c;目前覆盖各大主流媒体和协作平台&＃xff0c;与阿里、腾讯、百度、微软、亚马逊、开源中国、CSDN等业界知名公司和技术社区建立了广泛的联系&＃xff0c;拥有来自十多个国家和地区数万名登记会员&＃xff0c;会员来自以公安部、工信部、清华大学、北京大学、北京邮电大学、中国人民银行、中科院、中金、华为、BAT、谷歌、微软等为代表的政府机关、科研单位、金融机构以及海内外知名公司&＃xff0c;全平台近20万开发者关注。

▼ 点击下方阅读原文&＃xff0c;免费成为社区会员