Python爬虫学习（二）循序渐进的实例练习

学习资料&＃xff1a;小猿圈https://book.apeland.cn/details/69/

需求&＃xff1a;给定一个页面&＃xff0c;爬整个页面的信息&＃xff0c;例如爬取 的所有文本数据
1.过程&＃xff1a;
new project–>new directory–>new python file
2.代码&＃xff1a;

import requests
#指定搜索关键字
word &＃61; input(&＃39;enter a word you want to search:&＃39;)
#自定义请求头信息:UA伪装,将包含了User-Agent的字典作用到请求方法的headers参数中即可
headers&＃61;{&＃39;User-Agent&＃39;: &＃39;Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36&＃39;,}
#指定url&＃xff0c;原始url可能是https://www.sogou.com/web?query&＃61;撩妹&＃xff0c;发现该url携带了参数
url &＃61; &＃39;https://www.sogou.com/web&＃39;
#封装get请求参数&＃xff1a;如果请求携带了参数&＃xff0c;则可以将参数封装到字典中结合这requests请求方法中的data/params参数进行url参数的处理
param &＃61; {&＃39;query&＃39;:word,
}
#发起请求
response &＃61; requests.get(url&＃61;url,params&＃61;param,headers&＃61;headers)
#获取响应数据
page_text &＃61; response.text
#持久化存储
fileName &＃61; word&＃43;&＃39;.html&＃39;
with open(fileName,&＃39;w&＃39;,encoding&＃61;&＃39;utf-8&＃39;) as fp:fp.write(page_text)


&＃xff08;结果暂不放图&＃xff09;

需求&＃xff1a;我有想查的关键字&＃xff0c;我要查我想查的东西&＃xff0c;例如&＃xff1a;在百度中搜索“”&＃xff0c;爬去得到的搜索结果&＃xff0c;以文本数据展现
代码&＃xff1a;

#把查询参数写活&＃xff0c;变成用户自定义的
#UA是请求载体的标识&＃xff0c;如果服务器端检测到载体是浏览器端&＃xff0c;就不会拒绝&＃xff0c;如果检测到是爬虫就会被拒绝&＃xff0c;所以我们写的爬虫需要伪装成浏览器&＃xff0c;这叫做UA伪装
import requests
#指定搜索关键字
word &＃61; input(&＃39;enter a word you want to search:&＃39;)
#自定义请求头信息:UA伪装,将包含了User-Agent的字典作用到请求方法的headers参数中即可
headers &＃61; {&＃39;User-Agent&＃39;: &＃39;Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36&＃39;,}
#指定url&＃xff0c;原始url可能是https://www.sogou.com/web?query&＃61;撩妹&＃xff0c;发现该url携带了参数
url &＃61; &＃39;https://www.sogou.com/web&＃39;
#封装get请求参数&＃xff1a;如果请求携带了参数&＃xff0c;则可以将参数封装到字典中结合这requests请求方法中的data/params参数进行url参数的处理
param &＃61; {&＃39;query&＃39;: word,
}
#发起请求
response &＃61; requests.get(url&＃61;url,params&＃61;param,headers&＃61;headers)#获取响应数据
page_text &＃61; response.text
#持久化存储
fileName &＃61; word&＃43;&＃39;.html&＃39;
with open(fileName, &＃39;w&＃39;, encoding&＃61;&＃39;utf-8&＃39;) as fp:fp.write(page_text)

&＃xff08;结果暂不放图&＃xff09;

查看&＃xff1a;
1.点击html文件查看爬去结果&＃xff0c;可进一步在浏览器中查看

需求&＃xff1a;在指定页面搜我想搜的东西&＃xff0c;但不需要整个页面的信息&＃xff0c;只需要部分的信息
例如&＃xff1a;在百度翻译中发起请求&＃xff0c;搜索“”&＃xff0c;爬取得到的翻译结果而不是整个页面的信息
分析&＃xff1a;
1.试一下输入一个单词&＃xff0c;没有点击翻译它也会即时刷新&＃xff0c;而并不是整个页面都刷新了&＃xff0c;只是局部的刷新

2.F12打开查看响应的过程

我们发现在输入单词的过程中&＃xff0c;输入了很多字符&＃xff0c;最后的一次请求才是你最后得到的结果&＃xff0c;比如输入dog&＃xff0c;会有三个sug&＃xff0c;第一个sug查询的是d&＃xff0c;第二个是do&＃xff0c;第三个是dog&＃xff0c;这才是我们想要的

3.自定义要爬取的内容
代码&＃xff1a;

结果&＃xff1a;

1.目标
基于requests模块ajax的get请求
1.分析

param数据来源

2.代码

import requests
if __name__ &＃61;&＃61; "__main__":#指定ajax-get请求的url&＃xff08;通过抓包进行获取&＃xff09;url &＃61; &＃39;https://movie.douban.com/j/chart/top_list?&＃39;#定制请求头信息&＃xff0c;相关的头信息必须封装在字典结构中headers &＃61; {#定制请求头中的User-Agent参数&＃xff0c;当然也可以定制请求头中其他的参数&＃39;User-Agent&＃39;: &＃39;Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36&＃39;,}#定制get请求携带的参数(从抓包工具中获取)param &＃61; {&＃39;type&＃39;:&＃39;5&＃39;,&＃39;interval_id&＃39;:&＃39;100:90&＃39;,&＃39;action&＃39;:&＃39;&＃39;,&＃39;start&＃39;:&＃39;0&＃39;,&＃39;limit&＃39;:&＃39;20&＃39;}#发起get请求&＃xff0c;获取响应对象response &＃61; requests.get(url&＃61;url,headers&＃61;headers,params&＃61;param)#获取响应内容print(response.json())


3.结果