详解Python爬取网页中的搜狗图片方法

前言

最近几天，研究了一下一直很好奇的爬虫算法。这里写一下最近几天的点点心得。下面进入正文：

我们这里以sogou作为爬取的对象。

首先我们进入搜狗图片，进入壁纸分类（当然只是个例子Q_Q），因为如果需要爬取某网站资料，那么就要初步的了解它…

发现我们需要的图片src是在img标签下的，于是先试着用 Python 的 requests提取该组件，进而获取img的src然后使用 urllib.request.urlretrieve逐个下载图片，从而达到批量获取资料的目的，思路好了，下面应该告诉程序要爬取的url为http://pic.sogou.com/pics/recommend?category=%B1%DA%D6%BD，此url来自进入分类后的地址栏。明白了url地址我们来开始愉快的代码时间吧：

在写这段爬虫程序的时候，最好要逐步调试，确保我们的每一步操作正确，这也是程序猿应该有的好习惯。笔者不知道自己算不算个程序猿哈。线面我们来剖析该url指向的网页。

import requests
import urllib
from bs4 import BeautifulSoup
res = requests.get(&＃39;http://pic.sogou.com/pics/recommend?category=%B1%DA%D6%BD&＃39;)
soup = BeautifulSoup(res.text,&＃39;html.parser&＃39;)
print(soup.select(&＃39;img&＃39;))

output：

发现，有点接近我们需要的元素了，点开all_items 发现下面是0 1 2 3...一个一个的貌似是图片元素。试着打开一个url。发现真的是图片的地址。找到目标之后。点击XHR下的Headers

得到第二行

Request URL:

http://pic.sogou.com/pics/channel/getAllRecomPicByTag.jsp?category=%E5%A3%81%E7%BA%B8&tag=%E5%85%A8%E9%83%A8&start=0&len=15&width=1536&height=864，试着去掉一些不必要的部分，技巧就是，删掉可能的部分之后，访问不受影响。经笔者筛选。最后得到的url：http://pic.sogou.com/pics/channel/getAllRecomPicByTag.jsp?category=%E5%A3%81%E7%BA%B8&tag=%E5%85%A8%E9%83%A8&start=0&len=15 字面意思，知道category后面可能为分类。start为开始下标，len为长度，也即图片的数量。好了，开始愉快的代码时间吧：

开发环境为Win7 Python 3.6，运行的时候Python需要安装requests，

Python3.6 安装requests 应该CMD敲入：

pip install requests

笔者在这里也是边调试边写，这里把最终的代码贴出来：

import requests
import json
import urllib

def getSogouImag(category,length,path):
 n = length
 cate = category
 imgs = requests.get(&＃39;http://pic.sogou.com/pics/channel/getAllRecomPicByTag.jsp?category=&＃39;+cate+&＃39;&tag=%E5%85%A8%E9%83%A8&start=0&len=&＃39;+str(n))
 jd = json.loads(imgs.text)
 jd = jd[&＃39;all_items&＃39;]
 imgs_url = []
 for j in jd:
  imgs_url.append(j[&＃39;bthumbUrl&＃39;])
 m = 0
 for img_url in imgs_url:
   print(&＃39;***** &＃39;+str(m)+&＃39;.jpg *****&＃39;+&＃39; Downloading...&＃39;)
   urllib.request.urlretrieve(img_url,path+str(m)+&＃39;.jpg&＃39;)
   m = m + 1
 print(&＃39;Download complete!&＃39;)

getSogouImag(&＃39;壁纸&＃39;,2000,&＃39;d:/download/壁纸/&＃39;)

程序跑起来的时候，笔者还是有点小激动的。来，感受一下：

至此，关于该爬虫程序的编程过程叙述完毕。整体来看，找到需要爬取元素所在url，是爬虫诸多环节中的关键

以上就是详解Python爬取网页中的搜狗图片方法的详细内容，更多请关注 第一PHP社区 其它相关文章！