pythonrequests登录_【Python数据分析】Python模拟登录(一)requests.Session应用

最近由于某些原因&＃xff0c;需要用到Python模拟登录网站&＃xff0c;但是以前对这块并不了解&＃xff0c;而且目标网站的登录方法较为复杂&＃xff0c; 所以一下卡在这里了&＃xff0c;于是我决定从简单的模拟开始&＃xff0c;逐渐深入地研究下这块。

注&＃xff1a;本文仅为交流学习所用。

登录特点&＃xff1a;明文传输&＃xff0c;有特殊标志数据

会话对象requests.Session能够跨请求地保持某些参数&＃xff0c;比如COOKIEs&＃xff0c;即在同一个Session实例发出的所有请求都保持同一个COOKIEs,而requests模块每次会自动处理COOKIEs&＃xff0c;这样就很方便地处理登录时的COOKIEs问题。在COOKIEs的处理上会话对象一句话可以顶过好几句urllib模块下的操作。即相当于urllib中的&＃xff1a;

cj &＃61; http.COOKIEjar.COOKIEJar()

pro &＃61; urllib.request.HTTPCOOKIEProcessor(cj)

opener &＃61; urllib.request.build_opener(pro)

urllib.request.install_opener(opener)

模拟登录V站

本篇文章的任务是利用request.Session模拟登录V2EX&＃xff08;http://www.v2ex.com/&＃xff09;这个网站&＃xff0c;即V站。

工具&＃xff1a; Python 3.5&＃xff0c;BeautifulSoup模块&＃xff0c;requests模块&＃xff0c;Chrome

这个网站登录的时候抓到的数据如下&＃xff1a;

其中用户名(u)、密码(p)都是明文传输的&＃xff0c;很方便。once的话从分析登录URL&＃xff1a; http://www.v2ex.com/signin 的源文件&＃xff08;下图&＃xff09;可以看出&＃xff0c;应该是每次登录的特有数据&＃xff0c;我们需要提前把它抓出来再放到Form Data里面POST给网站。

抓出来还是老方法&＃xff0c;用BeautifulSoup神器即可。这里又学到一种抓标签里面元素的方法&＃xff0c;比如抓上面的"value",用soup.find(&＃39;input&＃39;,{&＃39;name&＃39;:&＃39;once&＃39;})[&＃39;value&＃39;]即可

即抓取含有 name&＃61;"once"的input标签中的value对应的值。

于是构建postData,然后POST。

怎么显示登录成功呢&＃xff1f;这里通过访问 http://www.v2ex.com/settings 即可&＃xff0c;因为这个网址没有登录是看不了的&＃xff1a;

经过上面的分析&＃xff0c;写出源代码&＃xff08;参考了alexkh的代码&＃xff09;&＃xff1a;

import requests

from bs4 import BeautifulSoup

url &＃61; "http://www.v2ex.com/signin"

UA &＃61; "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.13 Safari/537.36"

header &＃61; { "User-Agent" : UA,

"Referer": "http://www.v2ex.com/signin"

}

v2ex_session &＃61; requests.Session()

f &＃61; v2ex_session.get(url,headers&＃61;header)

soup &＃61; BeautifulSoup(f.content,"html.parser")

once &＃61; soup.find(&＃39;input&＃39;,{&＃39;name&＃39;:&＃39;once&＃39;})[&＃39;value&＃39;]

print(once)

postData &＃61; { &＃39;u&＃39;: &＃39;whatbeg&＃39;,

&＃39;p&＃39;: &＃39;*****&＃39;,

&＃39;once&＃39;: once,

&＃39;next&＃39;: &＃39;/&＃39;

}

v2ex_session.post(url,

data &＃61; postData,

headers &＃61; header)

f &＃61; v2ex_session.get(&＃39;http://www.v2ex.com/settings&＃39;,headers&＃61;header)

print(f.content.decode())

然后运行发现成功登录&＃xff1a;

上面趴下来的网页源代码即为http://www.v2ex.com/settings的代码。这里once为91279.

至此&＃xff0c;登录成功。