python爬虫豆瓣图片（三）

通过这几天对python入门的接触&＃xff0c;以及以前对php、java、c、R的认识&＃xff0c;无论这些语言怎么学习&＃xff0c;到了一定的深度后&＃xff0c;都要一定的缜密、沉稳极强的逻辑创造思维&＃xff0c;而目前的学习专业课也好&＃xff0c;刷oj题也好&＃xff0c;做自己喜欢的事也好&＃xff0c;这都可以锻练一个人的解决问题的能力。对一个方向的知识进行超强的把握是有非常有必要的。接下来就开始专攻数学有关的数据分析了,做到能够单独打一场比赛&＃xff0c;毕竟……….多谢&＃xff01;

在前两章已经完成了简单的网页的爬取以及为浏览器的学习&＃xff0c;最后&＃xff0c;我们把豆瓣的首页的图片进行爬取&＃xff01;

最终的效果如下&＃xff1a;

代码&＃xff1a;

#导入所需的库import urllib.request,socket,re,sys,os#定义文件路径targetPath&＃61;"E:\\python\\test2"def saveFile(path):#检测当前路径是否有效if not os.path.isdir(targetPath):os.mkdir(targetPath)#设置每个图片的路径pos&＃61;path.rindex(&＃39;/&＃39;)t&＃61;os.path.join(targetPath,path[pos&＃43;1:])return t#网址url&＃61;"https://www.douban.com/"headers&＃61;{&＃39;User-Agent&＃39;: &＃39;Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko)&＃39; }req&＃61;urllib.request.Request(url&＃61;url,headers&＃61;headers)res&＃61;urllib.request.urlopen(req)data&＃61;res.read()for link,t in set(re.findall(r&＃39;(https:[^s]*?(jpg|png|gif))&＃39;,str(data))):print(link)try: urllib.request.urlretrieve(link,saveFile(link))except:print(&＃39;失败&＃39;)

运行后依次打印图片的地址&＃xff0c;如图所示&＃xff1a;

再见&＃xff01;