爬取妹子图【Python学习】

——>>python小白一枚，仅限于了解基础语法，经过多天的学习，结果令人欣慰，可以正确的输出"Hello world！！"。

使用爬虫爬取网络图片，只需要知道图片的地址，以百度随意一张为例，https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&sec=1562045484890&di=942bc24341f9fe3e9c63d158a0b65543&imgtype=0&src=http%3A%2F%2Fwww.chinapoesy.com%2FUploadFiles%2FPoesy%2F20141015_92b4978b-973a-472c-b4e8-33d89e01853f.jpg

想要保存图片，只需要分析出图片的src。一个简单的例子，爬取一张妹子图片。

代码示例    

发送网络请求----->获取响应---->分析img标签的位置----->获取图片的地址---->保存---->打完收工

rs = requests.get("http://www.mmonly.cc/mmtp/swmn/289848_2.html")
soup = BeautifulSoup(rs.text, 'lxml')
ele = soup.find("div", class_="big-pic")
img = ele.find('img')
src1 = img.get('src')
print(src1)
rs1 = requests.get(src1)
with open('2.jpg', 'wb') as f:
    f.write(rs1.content)

老司机快上车，http://www.mzitu.com/all

该网站是典型的反扒，直接访问是没有问题的，但是当你复制地址，在新的对话框内打开时，会出现403，解决策略，通过目录页间接进入。学习于一言不合就开车的张诚的博客python入门系列课程。

获取目录后，诸葛进行访问，获取每个界面的最大值，遍历保存即可。

（滑稽）要是只想保存比较色青的图片，可以使用阿里云的图片智能鉴黄api。

import requests
from bs4 import BeautifulSoup
import os

class mzi_Spider():

    def __init__(self):
        self.all_url = "http://www.mzitu.com/all"
        self.headers = {
            "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36",
            "referer": "https://www.mzitu.com/tag/youhuo/",
            }
        # 存储路径
        self.path = ''

    def get_link_list(self):
        # 发送请求
        start_html = requests.get(self.all_url, headers=self.headers)
        # print(start_html.text)

        soup = BeautifulSoup(start_html.text, "html.parser")
        peles = soup.find_all("p", class_="url")
        return peles

    def read_link(self, peles):
        for n in peles:
            # 读取每一个p分组内的a标签
            aeles = n.find_all("a")
        return aeles

    def get_max_size(self, a):
        # 进行请求  获得最大页面
        html = requests.get(a["href"], headers=self.headers)
        mess = BeautifulSoup(html.text, "html.parser")
        pic_max = mess.find("div", class_="pagenavi").find_all('span')[-2]
        pic_max = pic_max.text
        return pic_max

    def spider_f(self, aeles):
        for a in aeles:
            title = a.get_text()
            if title != "":
                print("ready:" + title)

            if os.path.exists(self.path + title.strip().replace('?', '')):
                print("directory already exists")
                flag = 1
            else:
                # 创建目录
                os.makedirs(self.path + title.strip().replace('?', ''))
                flag = 0
            try:
                pic_max = self.get_max_size(a)
            except:
                continue
            if flag == 1 and len(os.listdir(self.path + title.strip().replace('?', ''))) >= int(pic_max):
                print("已经保存完毕,跳过")
                continue
            else:
                self.Save(a, pic_max, title)

    def Save(self, a, pic_max, title):
        for num in range(1, int(pic_max) + 1):
            pic = a["href"] + "/" + str(num)
            html = requests.get(pic, headers=self.headers)
            mess = BeautifulSoup(html.text, "html.parser")
            pic_url = mess.find('img', alt=title)
            if pic_url == None:
                continue
            print(pic_url['src'])
            html = requests.get(pic_url['src'], headers=self.headers)

            filename = pic_url['src'].split('/')[-1]
            f = open(title + "/" + filename, "wb")
            f.write(html.content)
            f.close()

    def MainLoop(self):
        #主要逻辑
        #网站的目录列表获取
        peles = self.get_link_list()
        #读取获取到的连接
        aeles = self.read_link(peles)
        #开始爬取
        self.spider_f(aeles)


if __name__ == '__main__':
    spiderman = mzi_Spider()
    spiderman.MainLoop()
    print("success")