python模拟浏览器登录获取cookie_selenium3.7+python3添加cookie模拟登陆

一、背景介绍

最近做一个爬虫项目&＃xff0c;用selenium调用浏览器去获取渲染后的源码&＃xff0c;但是每次登陆都需要手机验证&＃xff0c;这真的是头痛啊&＃xff0c;这种验证方式不要想着去破解&＃xff0c;还是老老实实用手机收验证码去吧&＃xff01;反正我是不知道这种验证方式还能破解&＃xff01;难道就没有其他办法了吗&＃xff1f;

有&＃xff0c;那就是模拟登陆&＃xff01;这样最起码不用没测试一次就登陆验证一次。

这里要说一下的就是&＃xff0c;网上很多关于webdriver 添加COOKIE的教程&＃xff0c;基本百分之80都是有问题的。反正我是找了N多的帖子都没有一个是正确的。

二、  添加COOKIE方法&＃xff1a;driver.add_COOKIE()

1.add_COOKIE(COOKIE_dict)方法里面参数是COOKIE_dict&＃xff0c;说明里面参数是字典类型。

2.add_COOKIE源码。

从源码中我们可以看出&＃xff0c;add_COOKIE方法接受一个字典&＃xff0c;字典中包含name,value,path,domain,secure,expiry,但是这个源码容易误导人&＃xff0c;那就是COOKIE参数没有给全。

网上很多教程给的代码COOKIE参数是没给够的&＃xff0c;根本就跑不起来。

3. add_COOKIE接收的字典格式。

正确的格式&＃xff1a;

COOKIE &＃61; {

# "domain": ".58.com", #Firefox浏览器不能写domain,如果写了会报错&＃xff0c;谷歌需要写否则也是报错&＃xff0c;这里就是一个坑。其他浏览器没测试不知道情况。

&＃39;name&＃39;: name,

&＃39;value&＃39;: value,

"expires": "",

&＃39;path&＃39;: &＃39;/&＃39;,

&＃39;httpOnly&＃39;: False,

&＃39;HostOnly&＃39;: False,

&＃39;Secure&＃39;: False,

}

name&＃xff1a;COOKIE的名称

value&＃xff1a;COOKIE对应的值&＃xff0c;动态生成的

domain&＃xff1a;服务器域名

expiry&＃xff1a;COOKIE有效终止日期

path&＃xff1a;Path属性定义了Web服务器上哪些路径下的页面可获取服务器设置的COOKIE

httpOnly&＃xff1a;防脚本攻击

secure:在COOKIE中标记该变量&＃xff0c;表明只有当浏览器和Web Server之间的通信协议为加密认证协议时

为什么要构造成这样子&＃xff0c;其实我们看下浏览器保存的COOKIE格式就明白了。下图就是谷歌浏览器的COOKIE 的截图。

三 &＃xff0c;我们举个例子看下是否真的写成功了&＃xff1a;

第一次访问的的时候去获取名字叫hello的COOKIE 是没有的&＃xff0c;add_COOKIE后再去访问&＃xff0c;第二次访问就拿到了hello。说明已经写进去了。

四、项目实战。

能不能用&＃xff1f;好不好用&＃xff1f;怎么用&＃xff1f;&＃xff0c;用项目来说话&＃xff0c;模拟登陆百度。&＃xff01;

目标&＃xff1a;

1.手动登录一次后&＃xff0c;只要在COOKIE 有效期内无需重复登录。

2.访问浏览记录。

#!coding&＃61;utf-8

import time

from selenium import webdriver

import pickle

class BaiduSpider(object):

def __init__(self,username,password):

self.username &＃61; username

self.password &＃61; password

self.driver &＃61; webdriver.Chrome()

self.driver.get(url&＃61;&＃39;http://www.baidu.com&＃39;)

self.set_COOKIE()

self.is_login()

def is_login(self):

&＃39;&＃39;&＃39;判断当前是否登陆&＃39;&＃39;&＃39;

self.driver.refresh()

html &＃61; self.driver.page_source

if html.find(self.username) &＃61;&＃61; -1: #利用用户名判断是否登陆

# 没登录 ,则手动登录

self.login()

else:

#已经登录 尝试访问搜索记录&＃xff0c;可以正常访问

self.driver.get(url&＃61;&＃39;http://i.baidu.com/my/history&＃39;)

time.sleep(30) # 延时看效果

def login(self):

&＃39;&＃39;&＃39;登陆&＃39;&＃39;&＃39;

time.sleep(60) #等待手动登录

self.driver.refresh()

self.save_COOKIE()

def save_COOKIE(self):

&＃39;&＃39;&＃39;保存COOKIE&＃39;&＃39;&＃39;

# 将COOKIE序列化保存下来

pickle.dump(self.driver.get_COOKIEs(), open("COOKIEs.pkl", "wb"))

def set_COOKIE(self):

&＃39;&＃39;&＃39;往浏览器添加COOKIE&＃39;&＃39;&＃39;

&＃39;&＃39;&＃39;利用pickle序列化后的COOKIE&＃39;&＃39;&＃39;

try:

COOKIEs &＃61; pickle.load(open("COOKIEs.pkl", "rb"))

for COOKIE in COOKIEs:

COOKIE_dict &＃61; {

"domain": ".baidu.com", # 火狐浏览器不用填写&＃xff0c;谷歌要需要

&＃39;name&＃39;: COOKIE.get(&＃39;name&＃39;),

&＃39;value&＃39;: COOKIE.get(&＃39;value&＃39;),

"expires": "",

&＃39;path&＃39;: &＃39;/&＃39;,

&＃39;httpOnly&＃39;: False,

&＃39;HostOnly&＃39;: False,

&＃39;Secure&＃39;: False}

self.driver.add_COOKIE(COOKIE_dict)

except Exception as e:

print(e)

if __name__ &＃61;&＃61; &＃39;__main__&＃39;:

BaiduSpider(&＃39;usename&＃39;,&＃39;!!!!&＃39;) # 你的百度账号&＃xff0c;密码

如果你支持我&＃xff0c;就扫扫我的红包&＃xff0c;你领我几毛&＃xff0c;我领几毛&＃xff0c;也算是对我的支持。