Python网络爬虫（爬取嗅事百科的热图）

.*?&＃39;

选择所有符合正则表达式的图片&＃xff0c;用img_src_list来保存

img_src_list&＃61;re.findall(ex,page_text,re.S)


img_src_list里面保存的是图片的下载地址&＃xff0c;遍历img_src_list&＃xff0c;下载图片并保存到相应的位置

for src in img_src_list:src&＃61;&＃39;https:&＃39;&＃43;srcimg_data&＃61;requests.get(url&＃61;src,headers&＃61;headers).contentimg_name&＃61;src.split(&＃39;/&＃39;)[-1]imgpath&＃61;&＃39;./img/&＃39;&＃43;img_namewith open(imgpath,&＃39;wb&＃39;) as fp:fp.write(img_data)


完整的代码如下&＃xff08;还实现翻页的功能&＃xff09;&＃xff1a;

import requests
import re
import os
headers&＃61;{&＃39;User-Agent&＃39;:&＃39;Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36&＃39;
}
if not os.path.exists(&＃39;./img&＃39;):os.mkdir(&＃39;./img&＃39;)
url&＃61;&＃39;https://www.qiushibaike.com/imgrank/page/%d/&＃39;
for pageNum in range(1,5):print(&＃39;第{}页开始下载&＃39;.format(pageNum))new_url&＃61;format(url%pageNum)page_text&＃61;requests.get(url&＃61;new_url,headers&＃61;headers).textex&＃61;&＃39;

.*?&＃39;img_src_list&＃61;re.findall(ex,page_text,re.S)for src in img_src_list:src&＃61;&＃39;https:&＃39;&＃43;srcimg_data&＃61;requests.get(url&＃61;src,headers&＃61;headers).contentimg_name&＃61;src.split(&＃39;/&＃39;)[-1]imgpath&＃61;&＃39;./img/&＃39;&＃43;img_namewith open(imgpath,&＃39;wb&＃39;) as fp:fp.write(img_data)print(img_name,&＃39;下载成功&＃xff01;&＃xff01;&＃xff01;&＃39;)
print(&＃39;内容全部下载完成&＃xff01;&＃xff01;&＃xff01;&＃39;)


PS&＃xff1a;正则表达式是比较重要的&＃xff0c;有兴趣的同学可以点击去学习一下正则表达式
本代码只能用于学习