原文地址https://blog.csdn.net/u011541946/article/details/77700074
前面一篇文章介绍了response对象的一些常用API&＃xff0c;也已经提到&＃xff0c;我们的重点是对response对象的操作。主要的操作就是数据分析和提取&＃xff0c;一般来说&＃xff0c;数据有很多种&＃xff0c;有字段&＃xff0c;有图片&＃xff0c;有视频&＃xff0c;有音频&＃xff0c;凡是html页面能支持的content-type都是数据。只是不同场景下&＃xff0c;有不同目的。例如&＃xff0c;加入你需要在一个图片网站&＃xff0c;爬取一些你敢兴趣的图片。或者你需要在一些招聘网站爬取职位信息&＃xff0c;或者&＃xff0c;你需要从服务器端下载一个文件。这些事情requests都可以帮你做到。本文&＃xff0c;就是简单介绍&＃xff0c;如何从网页获取一个图片的过程。
1. 设置我们的场景
打开百度图片搜索&＃xff0c;输入selenium&＃xff0c;然后找到一个selenium的图片&＃xff0c;我们需要把这个图片通过requests下载到本地&＃xff0c;图片如下。
这里我们假如说要下载第一张图片。
2. 手动获取图片在服务器上的url
点击打开上面红圈这个图片&＃xff0c;记录下这个图片在服务器上的路径。你可以右键这个图片-查看图片&＃xff0c;获取到这个路径&＃xff1a;https://timgsa.baidu.com/timg?image&quality&＃61;80&size&＃61;b9999_10000&sec&＃61;1504662907&di&＃61;2bf9d214dfdc9b0243163fb0a20f1228&imgtype&＃61;jpg&er&＃61;1&src&＃61;http%3A%2F%2Fpic.baike.soso.com%2Fp%2F20140415%2Fbki-20140415104220-671149140.jpg
3. 利用requests.get()方法和response.content方法是否能够打印出图片
import requestsdef download_image():url &＃61; &＃39;https://timgsa.baidu.com/timg?image&quality&＃61;80&size&＃61;b9999_10000&sec&＃61;1504068152047&di&＃61;8b53bf6b8e5deb64c8ac726e260091aa&imgtype&＃61;0&src&＃61;http%3A%2F%2Fpic.baike.soso.com%2Fp%2F20140415%2Fbki-20140415104220-671149140.jpg&＃39;response &＃61; requests.get(url)print(response.status_code)print(response.content)if __name__ &＃61;&＃61; &＃39;__main__&＃39;:download_image()
运行一下&＃xff0c;发现请求正确&＃xff0c;但是用response.content打印出来是一堆乱码。
200 OK
b&＃39;\xff\xd8\xff\xe0\x00\x10JFIF\x00\x01\x01\x01\x00H\x00H\x00\x00\xff\xd....后面跟着很多类似的乱码一样的数据
现在问题来了&＃xff0c;我们怎么样才能把图片下载到本地&＃xff0c;用response.content方法是行不通的。我们知道&＃xff0c;图片也是文件格式&＃xff0c;图片也是一些二进制代码组成。我们把图片当做普通的文件&＃xff0c;然后通过字节流的方法&＃xff0c;把图片保存到本地。
4.通过字节流方式保存图片
大概的原理是&＃xff0c;一个图片是由字节流数据组成&＃xff0c;我们可以把图片分层多个字节流数据&＃xff0c;加载到内存&＃xff0c;然后复制字节流到一个本地路径&＃xff0c;最后组合成一张图片。
import requestsdef download_image():url &＃61; &＃39;https://timgsa.baidu.com/timg?image&quality&＃61;80&size&＃61;b9999_10000&sec&＃61;1504068152047&di&＃61;8b53bf6b8e5deb64c8ac726e260091aa&imgtype&＃61;0&src&＃61;http%3A%2F%2Fpic.baike.soso.com%2Fp%2F20140415%2Fbki-20140415104220-671149140.jpg&＃39;response &＃61; requests.get(url, stream &＃61; True)# 这里打开一个空的png文件&＃xff0c;相当于创建一个空的txt文件,wb表示写文件with open(&＃39;selenium.png&＃39;, &＃39;wb&＃39;) as file:# 每128个流遍历一次for data in response.iter_content(128):# 把流写入到文件&＃xff0c;这个文件最后写入完成就是&＃xff0c;selenium.pngfile.write(data) # data相当于一块一块数据写入到我们的图片文件中print(response.status_code)if __name__ &＃61;&＃61; &＃39;__main__&＃39;:download_image()
运行之后&＃xff0c;得到请求状态码是200&＃xff0c;而且会在当前这个脚本文件同级目录下生成一个selenium.png的图片。如果你要指定图片保存路径&＃xff0c;你可以在open(&＃39;图片完整路径&＃39;,&＃39;wb&＃39;)&＃xff0c;通过这样方式&＃xff0c;把图片保存到你想要保存的磁盘路径。上面虽然实现了我们的下载图片的目的&＃xff0c;但是有一个问题就是&＃xff0c;我们使用完了stream之后&＃xff0c;没有立马去关闭&＃xff0c;这样会造成内存资源紧张&＃xff0c;如果是批量下载很多图片&＃xff0c;这个方式是不可取的。
5.换一种方式&＃xff0c;及时关闭stream
import requests
from contextlib import closingdef download_image_improve():url &＃61; &＃39;https://timgsa.baidu.com/timg?image&quality&＃61;80&size&＃61;b9999_10000&sec&＃61;1504068152047&di&＃61;8b53bf6b8e5deb64c8ac726e260091aa&imgtype&＃61;0&src&＃61;http%3A%2F%2Fpic.baike.soso.com%2Fp%2F20140415%2Fbki-20140415104220-671149140.jpg&＃39;response &＃61; requests.get(url, stream &＃61; True)with closing(requests.get(url, stream &＃61; True)) as response:# 这里打开一个空的png文件&＃xff0c;相当于创建一个空的txt文件,wb表示写文件with open(&＃39;selenium1.png&＃39;, &＃39;wb&＃39;) as file:# 每128个流遍历一次for data in response.iter_content(128):# 把流写入到文件&＃xff0c;这个文件最后写入完成就是&＃xff0c;selenium.png
file.write(data)if __name__ &＃61;&＃61; &＃39;__main__&＃39;:download_image_improve()
运行之后&＃xff0c;也会在当前脚本文件所在目录生成一个selenium1.png文件。contextlib.closing()函数是实现在一个代码块之后自动关闭&＃xff0c;这里的代码块&＃xff0c;就是我们请求下载图片的过程。这篇&＃xff0c;已经实现了限定的图片url下载&＃xff0c;如果是爬虫&＃xff0c;肯定是大量图片下载。上面图片下载可以提取出来&＃xff0c;重构成一个方法&＃xff0c;在实际爬虫中调用。当然&＃xff0c;爬虫中&＃xff0c;很多是变量&＃xff0c;图片请求url是变量&＃xff0c;图片名称和保存路径也是变量。这里不继续讨论&＃xff0c;爬虫实现的过程了。
京公网安备 11010802041100号