python爬虫cookie过期_python爬虫学习（六）requests关于cookie的堪误

Introducation

本文修正了关于前段时间对于requests自动保存COOKIEs和header的使用错误。

requests

python有个库是requests&＃xff0c;比更底层的urllib等更加方便简易。而且自带管理COOKIE&＃xff0c;headers等功能。

在python爬虫学习(四)获取COOKIE中&＃xff0c;简单介绍了获取COOKIE的方法&＃xff0c;而实际上&＃xff0c;requests会自动管理COOKIEs。

在通过requests get或者post网页之后&＃xff0c;如果是第一次访问某些页面&＃xff0c;在网页的response headers里会有set-COOKIEs的字段&＃xff0c;而requests会识别这些字段&＃xff0c;同时在接下来的get\post行为中&＃xff0c;自动添加这些COOKIEs。

检验

以访问百度为例&＃xff1a;

import requests

conn &＃61; requests.session()

resp &＃61; conn.get(&＃39;https://www.baidu.com/s?wd&＃61;findspace&＃39;)

# 打印请求的头

print(resp.request.headers)

# 打印结果如下&＃xff0c;requests已经自动填充了部分数据

{&＃39;Connection&＃39;: &＃39;keep-alive&＃39;, &＃39;User-Agent&＃39;: &＃39;python-requests/2.4.3 CPython/3.4.2 Linux/3.16.0-4-amd64&＃39;, &＃39;Accept&＃39;: &＃39;*/*&＃39;, &＃39;Accept-Encoding&＃39;: &＃39;gzip, deflate&＃39;}

# 再访问一次&＃xff1a;

resp &＃61; conn.get(&＃39;https://www.baidu.com/s?wd&＃61;findspace&＃39;)

print(resp.request.headers)

{&＃39;Connection&＃39;: &＃39;keep-alive&＃39;, &＃39;User-Agent&＃39;: &＃39;python-requests/2.4.3 CPython/3.4.2 Linux/3.16.0-4-amd64&＃39;, &＃39;Accept&＃39;: &＃39;*/*&＃39;, &＃39;COOKIE&＃39;: &＃39;BD_NOT_HTTPS&＃61;1; BDSVRTM&＃61;3; PSTM&＃61;1458389621; BIDUPSID&＃61;9CB03BE7D7F436EC2EE23C6E6EBE8EBD&＃39;, &＃39;Accept-Encoding&＃39;: &＃39;gzip, deflate&＃39;}

可以看到请求中已经自动加上了COOKIE&＃xff0c;但是也可以看到&＃xff0c;user-agent是&＃39;python-requests/2.4.3 CPython/3.4.2 Linux/3.16.0-4-amd64&＃39;&＃xff0c;可以通过前几篇中说的设置headers的方法来设置

headers &＃61; {

"method": "POST",

"scheme": "https",

"version": "HTTP/1.1",

"accept": "*/*",

"accept-encoding": "gzip, deflate",

"accept-language": "en-US,en;q&＃61;0.8,zh-CN;q&＃61;0.6,zh;q&＃61;0.4",

"content-type": "application/x-www-form-urlencoded;charset&＃61;UTF-8",

"dnt": "1",

"faces-request": "partial/ajax",

"origin": "https://www.baidu.com",

"referer": "https://www.baidu.com",

}

resp &＃61; conn.get(url, headers&＃61;headersm timeout&＃61;60)

注意此时的头会和requests填充的头相互补充&＃xff0c;但是用户自定义的头具有高优先级。比如&＃xff0c;你在headers里填充COOKIEs为自己的数据&＃xff0c;则在本次请求中会覆盖requests之前给你保存的COOKIEs。

也就不用像前文一样去手动保存COOKIE了。