用scrapy抓取网站图片

学习Python&＃xff0c;就避免不了爬虫&＃xff0c;而Scrapy就是最流行的一个。你可以爬取文字信息&＃xff08;如招聘职位信息&＃xff0c;网站评论等&＃xff09;&＃xff0c;也可以爬取图片&＃xff0c;比如看到一些好的网站展示了很多精美的图片&＃xff08;这里只用作个人学习Scrapy使用&＃xff0c;不作商业用途&＃xff09;&＃xff0c;可以download下来。好了&＃xff0c;不多说&＃xff0c;现在开始一个最简单的图片爬虫。

首先&＃xff0c;我们需要一个浏览器&＃xff0c;方便查看html路径&＃xff0c;这里推荐使用火狐开发者版&＃xff08;https://www.mozilla.org/en-US/firefox/developer/&＃xff09; 这个版本的火狐logo是蓝色的哦

装了这个&＃xff0c;你不需要在去装firebug&＃xff0c;firepath之类的插件

这里的例子&＃xff0c;以花瓣网为例&＃xff0c;抓取http://www.meisupic.com/topic.php 这个页面的图片。

Step 1: Open Firefox and access with above URL, navigate to Inspector tab, click arrow and then select a picture, you then can see the location of selected picture (see below)

在这里我们发现&＃xff0c;打开的页面包含了很多主题的图片&＃xff0c;然后每个主题对应一个图片链接地址&＃xff0c;打开之后&＃xff0c;就是这个主题下面对应的图片。那我们的目的是抓取每一个主题下面的图片&＃xff0c;所以&＃xff0c;第一步要获取每个主题的链接&＃xff0c;打开这个链接&＃xff0c;在查看图片的地址&＃xff0c;然后一个一个download。现在大概知道了我们这个例子有两层结构&＃xff1a;①访问主页&＃xff0c;展示的是不同主题的图片 ②打开每一个主题&＃xff0c;展示的这个主题下面的图片

现在开始创建一个scrapy的工程&＃xff08;可以参考之前的文章https://blog.51cto.com/waytogo/2092238&＃xff09;

这里我创建了一个huaban2的project&＃xff08;之前有做另一个&＃xff0c;所以这里命名为huaban2&＃xff0c;想写什么名都可以&＃xff09;&＃xff0c;然后再创建一个spider&＃xff0c;begin是一个command line的文件&＃xff0c;里面是就scrapy crawl meipic的命令&＃xff0c;一会再看

Step 2: Implement a spider

# -*- coding: utf-8 -*-
from huaban2.items import Huaban2Item
import scrapyclass HuabanSpider(scrapy.Spider):name &＃61; &＃39;meipic&＃39;allowed_domains &＃61; [&＃39;meisupic.com&＃39;]baseURL &＃61; &＃39;http://www.meisupic.com/topic.php&＃39;start_urls &＃61; [baseURL]def parse(self, response):node_list &＃61; response.xpath("//div[&＃64;class&＃61;&＃39;body glide&＃39;]/ul")if len(node_list) &＃61;&＃61; 0:returnfor node in node_list:sub_node_list &＃61; node.xpath("./li/dl/a/&＃64;href").extract()if len(sub_node_list) &＃61;&＃61; 0:returnfor url in sub_node_list:new_url &＃61; self.baseURL[:-9] &＃43; urlyield scrapy.Request(new_url, callback&＃61;self.parse2)def parse2(self, response):node_list &＃61; response.xpath("//div[&＃64;id&＃61;&＃39;searchCon2&＃39;]/ul")if len(node_list) &＃61;&＃61; 0:returnitem &＃61; Huaban2Item()item["image_url"] &＃61; node_list.xpath("./li/a/img/&＃64;data-original").extract()yield item


解释一下这段代码&＃xff1a;在用 scrapy genspider meipic meisupic.com 生成spider之后&＃xff0c;默认的结构已经写好了&＃xff0c;这里我们设置了一个baseURL, parse是默认的方法。从上面的分析中得知&＃xff0c;我们需要拿到每一个主题的链接&＃xff0c;所以用xpath定位

node_list &＃61; response.xpath("//div[&＃64;class&＃61;&＃39;body glide&＃39;]/ul")

这样我们得到一个selector对象&＃xff0c;赋给变量node_list,加个if判断一下&＃xff0c;如果没了就结束(return之后的代码都不会执行&＃xff0c;这个大家应该都知道&＃xff09;&＃xff0c;接着我们要取/ul/li/dl下面的a中的href&＃xff0c;取到之后&＃xff0c;用extract()&＃xff0c;返回一个list&＃xff0c;就是dl下面所有中的链接&＃xff0c;接下来&＃xff0c;我们需要拼接一个完整的URL&＃xff0c;然后请求这个URL&＃xff0c;用yield返回。因为我们真正要抓取的图片在第二层页面&＃xff0c;所以这里的回调函数&＃xff08;callback)调用一个parse2&＃xff08;这是自己定义的一个方法&＃xff09;&＃xff0c;parse2用来处理图片链接。同理&＃xff0c;parse2的response就是之前拼接的URL请求的页面返回的