02网络请求（03cookie）

 1、COOKIE简介

2、爬虫自动登录访问授权页面 

人人网举例&＃xff1a;需要登录才能才能查看&＃xff08;经验&＃xff1a;不管对方网址是否反扒&＃xff0c;都加上请求头&＃xff0c;才是最安全的&＃xff09;

# -*- coding: utf-8 -*-# 爬虫自动登录访问授权页面&＃xff08;自动获取COOKIE&＃xff09;# 大鹏董成鹏主页&＃xff1a; http&＃xff1a;//www.renren.com/880151247/profile
# 人人网登录url&＃xff1a; http://www.renren.com/PLogin.dofrom urllib import request
from urllib import parse
from http.COOKIEjar import COOKIEJarheaders &＃61; {&＃39;User-Agent&＃39;: &＃39;Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36&＃39;}def get_opener():# 1 登录# 1.1 创建一个COOKIEjar对象COOKIEjar &＃61; COOKIEJar()# 1.2 使用COOKIEjar创建一个HTTPCOOKIEProcess对象handler &＃61; request.HTTPCOOKIEProcessor(COOKIEjar)# 1.3 使用上一步创建的handler创建一个openeropener &＃61; request.build_opener(handler)return openerdef login_renren(opener):# 1.4 使用opener发送登录的请求&＃xff08;人人网的邮箱和密码&＃xff09;data &＃61; {&＃39;email&＃39;: &＃39;970138074&＃64;qq.com&＃39;,&＃39;password&＃39;: &＃39;pythonspider&＃39;}login_url &＃61; "http://www.renren.com/PLogin.do"req &＃61; request.Request(login_url, data&＃61;parse.urlencode(data).encode(&＃39;utf-8&＃39;), header&＃61;headers)opener.open(req)def visit_profile(opener):# 2 访问个人主页dapeng_url &＃61; "http://www.renren.com/880151247/profile"# 获取个人主页的页面的时候&＃xff0c;不要新建一个opener&＃xff0c;而应该使用之前的那个opener,因为之前那个opener已经包含了登录所需的COOKIE信息req &＃61; request.Request(dapeng_url, headers&＃61;headers)resp &＃61; opener.open(req)with open(&＃39;renren.html&＃39;, &＃39;w&＃39;, encoding&＃61;&＃39;utf-8&＃39;) as fp:# write函数必须写入一个str的数据类型# resp.read()读出来的是一个bytes数据类型# byte -> decode -> str# str -> encode -> bytesfp.write(resp.read().decode(&＃39;utf-8&＃39;))if __name__ &＃61;&＃61; &＃39;__main__&＃39;:opener &＃61; get_opener()login_renren(opener)visit_profile(opener)

3、COOKIE信息的保存与加载

1&＃xff09;保存COOKIE到本地

保存COOKIE到本地&＃xff0c;可以使用COOKIEjar的save方法&＃xff0c;并且需要指定一个文件名

# 1.保存COOKIE
# -*- coding: utf-8 -*-from urllib import request
from http.COOKIEjar import MozillaCOOKIEJarCOOKIEjar &＃61; MozillaCOOKIEJar(&＃39;COOKIE.txt&＃39;) # 指定存储的位置及文件名字
handler &＃61; request.HTTPCOOKIEProcessor(COOKIEjar)
opener &＃61; request.build_opener(handler)resp &＃61; opener.open(&＃39;http://www.baidu.com/&＃39;)COOKIEjar.save() # 上面指定了文件名字&＃xff0c;此处则不用再次指定名字&＃xff08;否则需要指定文件名&＃xff09;

2&＃xff09;从本地加载COOKIE

从本地加载COOKIE&＃xff0c;需要使用COOKIEjar的load方法&＃xff0c;并且也需要指定方法

# 2.写入COOKIE
from urllib import request
from http.COOKIEjar import MozillaCOOKIEJarCOOKIEjar &＃61; MozillaCOOKIEJar(&＃39;COOKIE.txt&＃39;) # 指定存储的位置及文件名字
COOKIEjar.load(ignore_discard&＃61;True)
handler &＃61; request.HTTPCOOKIEProcessor(COOKIEjar)
opener &＃61; request.build_opener(handler)resp &＃61; opener.open(&＃39;http://httpbin.org/COOKIEs&＃39;)
for COOKIE in COOKIEjar:print(COOKIE)# COOKIEjar.save(ignore_discard&＃61;True)