COOKIE
是指某些网站服务器为了辨别用户身份和进行Session跟踪&＃xff0c;而存储在用户浏览器的文本文件&＃xff0c;COOKIE可以保持登陆信息到用户下次与服务器会话。

COOKIE原理

HTTP是无状态的面向连接的协议, 为了保持连接状态, 引入了COOKIE机制 COOKIE是http消息头中的一种属性&＃xff0c;包括:

COOKIE名字&＃xff08;Name&＃xff09;
COOKIE的值&＃xff08;Value&＃xff09;
COOKIE的过期时间&＃xff08;Expires/Max-Age&＃xff09;
COOKIE作用路径&＃xff08;Path&＃xff09;
COOKIE所在域名&＃xff08;Domain&＃xff09;&＃xff0c;
使用COOKIE进行安全连接&＃xff08;Secure&＃xff09;。

前两个参数是COOKIE应用的必要条件&＃xff0c;另外&＃xff0c;还包括COOKIE大小&＃xff08;Size&＃xff0c;不同浏览器对COOKIE个数及大小限制是有差异的&＃xff09;。

COOKIE由变量名和值组成&＃xff0c;根据 Netscape公司的规定&＃xff0c;COOKIE格式如下&＃xff1a;
Set&＃xff0d;COOKIE: NAME&＃61;VALUE&＃xff1b;Expires&＃61;DATE&＃xff1b;Path&＃61;PATH&＃xff1b;Domain&＃61;DOMAIN_NAME&＃xff1b;SECURE

构建一个已经登录过的用户的headers信息

#构建一个已经登录过的用户的headers信息
headers &＃61; {"Host":"www.renren.com","Connection":"keep-alive","Upgrade-Insecure-Requests":"1","User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36","Accept":"text/html,application/xhtml&＃43;xml,application/xml;q&＃61;0.9,image/webp,*/*;q&＃61;0.8","Accept-Language":"zh-CN,zh;q&＃61;0.8,en;q&＃61;0.6",# 便于终端阅读&＃xff0c;表示不支持压缩文件# Accept-Encoding: gzip, deflate, sdch,# 这个COOKIE是保存了密码无需重复登录的用户的COOKIE&＃xff0c;这个COOKIE里记录了用户名&＃xff0c;密码(通常经过RAS加密)"COOKIE":"_ga&＃61;GA1.2.1071370191.1536665724; _gid&＃61;GA1.2.66980xx15.1536665724; .CNBlogsCOOKIE&＃61;E35xx4049853DF7D8C1C98C; ........"
}


COOKIElib库 和 HTTPCOOKIEProcessor处理器

在Python处理COOKIE&＃xff0c;一般是通过COOKIElib模块和 urllib下request模块的HTTPCOOKIEProcessor处理器类一起使用。

COOKIElib模块&＃xff1a;主要作用是提供用于存储COOKIE的对象

HTTPCOOKIEProcessor处理器&＃xff1a;主要作用是处理这些COOKIE对象&＃xff0c;并构建handler对象。

COOKIElib 库

该模块主要的对象有COOKIEJar、FileCOOKIEJar、MozillaCOOKIEJar、LWPCOOKIEJar。

COOKIEJar&＃xff1a;管理HTTP COOKIE值、存储HTTP请求生成的COOKIE、向传出的HTTP请求添加COOKIE的对象。整个COOKIE都存储在内存中&＃xff0c;对COOKIEJar实例进行垃圾回收后COOKIE也将丢失。

FileCOOKIEJar (filename,delayload&＃61;None,policy&＃61;None)&＃xff1a;从COOKIEJar派生而来&＃xff0c;用来创建FileCOOKIEJar实例&＃xff0c;检索COOKIE信息并将COOKIE存储到文件中。filename是存储COOKIE的文件名。delayload为True时支持延迟访问访问文件&＃xff0c;即只有在需要时才读取文件或在文件中存储数据。

MozillaCOOKIEJar (filename,delayload&＃61;None,policy&＃61;None)&＃xff1a;从FileCOOKIEJar派生而来&＃xff0c;创建与Mozilla浏览器 COOKIEs.txt兼容的FileCOOKIEJar实例。

LWPCOOKIEJar (filename,delayload&＃61;None,policy&＃61;None)&＃xff1a;从FileCOOKIEJar派生而来&＃xff0c;创建与libwww-perl标准的 Set-COOKIE3 文件格式兼容的FileCOOKIEJar实例。

大多数情况下&＃xff0c;我们只用COOKIEJar()&＃xff0c;如果需要和本地文件交互&＃xff0c;就用 MozillaCookjar() 或 LWPCOOKIEJar()

获取COOKIE&＃xff0c;并保存到COOKIEJar()对象中:


import urllib
import COOKIElib# 构建一个COOKIEJar对象实例来保存COOKIE
COOKIEjar &＃61; COOKIElib.COOKIEJar()# 使用HTTPCOOKIEProcessor()来创建COOKIE处理器对象&＃xff0c;参数为COOKIEJar()对象
handler&＃61;urllib.request.HTTPCOOKIEProcessor(COOKIEjar)# 通过 build_opener() 来构建opener
opener &＃61; urllib.request.build_opener(handler)# 4. 以get方法访问页面&＃xff0c;访问之后会自动保存COOKIE到COOKIEjar中
opener.open("http://www.baidu.com")## 可以按标准格式将保存的COOKIE打印出来
COOKIEStr &＃61; ""
for item in COOKIEjar:COOKIEStr &＃61; COOKIEStr &＃43; item.name &＃43; "&＃61;" &＃43; item.value &＃43; ";"## 舍去最后一位的分号
print COOKIEStr[:-1]

访问网站获得COOKIE&＃xff0c;并把获得的COOKIE保存在COOKIE文件中

import COOKIElib
import urllib# 保存COOKIE的本地磁盘文件名
filename &＃61; &＃39;COOKIE.txt&＃39;# 声明一个MozillaCOOKIEJar(有save实现)对象实例来保存COOKIE&＃xff0c;之后写入文件
COOKIEjar &＃61; COOKIElib.MozillaCOOKIEJar(filename)# 使用HTTPCOOKIEProcessor()来创建COOKIE处理器对象&＃xff0c;参数为COOKIEJar()对象
handler &＃61; urllib.request.HTTPCOOKIEProcessor(COOKIEjar)# 通过 build_opener() 来构建opener
opener &＃61; urllib.request.build_opener(handler)# 创建一个请求&＃xff0c;原理同urllib的urlopen
response &＃61; opener.open("http://www.baidu.com")# 保存COOKIE到本地文件
COOKIEjar.save()

从文件中获取COOKIEs&＃xff0c;做为请求的一部分去访问

import COOKIElib
import urllib# 创建MozillaCOOKIEJar(有load实现)实例对象
COOKIEjar &＃61; COOKIElib.MozillaCOOKIEJar()# 从文件中读取COOKIE内容到变量
COOKIE.load(&＃39;COOKIE.txt&＃39;)# 使用HTTPCOOKIEProcessor()来创建COOKIE处理器对象&＃xff0c;参数为COOKIEJar()对象
handler &＃61; urllib.request.HTTPCOOKIEProcessor(COOKIEjar)# 通过 build_opener() 来构建opener
opener &＃61; urllib.request.build_opener(handler)response &＃61; opener.open("http://www.baidu.com")

利用COOKIElib, Post登录

import urllib
import COOKIElib# 1. 构建一个COOKIEJar对象实例来保存COOKIE
COOKIE &＃61; COOKIElib.COOKIEJar()# 2. 使用HTTPCOOKIEProcessor()来创建COOKIE处理器对象&＃xff0c;参数为COOKIEJar()对象
COOKIE_handler &＃61; urllib.request.HTTPCOOKIEProcessor(COOKIE)# 3. 通过 build_opener() 来构建opener
opener &＃61; urllib.request.build_opener(COOKIE_handler)# 4. addheaders 接受一个列表&＃xff0c;里面每个元素都是一个headers信息的元祖, opener将附带headers信息
opener.addheaders &＃61; [("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36")]# 5. 需要登录的账户和密码
data &＃61; {"email":"xxxx&＃64;163.com", "password":"123456"} # 6. 通过urlencode()转码
postdata &＃61; urllib.parse.urlencode(data)# 7. 构建Request请求对象&＃xff0c;包含需要发送的用户名和密码
request &＃61; urllib.request.Request("http://www.baidu.com/", data &＃61; postdata)# 8. 通过opener发送这个请求&＃xff0c;并获取登录后的COOKIE值&＃xff0c;
opener.open(request) # 9. opener包含用户登录后的COOKIE值&＃xff0c;可以直接访问那些登录后才可以访问的页面
response &＃61; opener.open("http://xueshu.baidu.com/usercenter/data/authorchannel?cmd&＃61;inject_page") # 10. 打印响应内容
print(response.read())

当然&＃xff0c;我们也可以直接发送账号密码到登录界面模拟登录&＃xff0c;但是当网页采用Javascript动态技术以后&＃xff0c;想封锁基于 HttpClient 的模拟登录就太容易了&＃xff0c;甚至可以根据你的鼠标活动的特征准确地判断出是不是真人在操作。
所以&＃xff0c;想做通用的模拟登录还得选别的技术&＃xff0c;比如用内置浏览器引擎的爬虫(关键词&＃xff1a;Selenium &＃xff0c;PhantomJS)&＃xff0c;这个我们将在以后会介绍。