Python网络爬虫之模拟登陆合集

1

这个需要一点经验，因为是登录，所以可以尝试点击带有 「login」字眼的请求。可是，之后我们会发现，IT橘子里面似乎找不到 [login] 字眼，但可以找到 POST 请求。

这里我选择其中的POST类型的请求，在右侧 Headers 中可以看到请求的 URL，请求方式是 POST类型，说明 URL 找对了。

这里我用的是火狐和谷歌浏览器：

火狐：

谷歌：

接着，我们下拉到 Requests Payload  

注意：

 2.包括 identify 和 password

这里有几个参数，包括 account 和 password，这两个参数正是我们登录时需要输入的账号和密码，也就是 POST 请求需要携带的参数。

参数构造非常简单，接下来只需要利用 Requests.post 方法请求登录网站，然后就可以爬取内容了。

当然，我们还能用 Fiddler 获取 POST 请求。这里不做详细示例，如果有兴趣，后台留言：Fiddler文章，之后会专门分享给大家，看大家的热情啦嘿嘿~

简单介绍：

Fiddler 是位于客户端和服务器端的 HTTP 代理，也是目前最常用的 HTTP 抓包工具之一 。它能够记录客户端和服务器之间的所有 HTTP 请求，可以针对特定的 HTTP 请求，分析请求数据、设置断点、调试 web 应用、修改请求的数据，甚至可以修改服务器返回的数据，功能非常强大，是 web 调试的利器。

Fiddler 下载地址：

https://www.telerik.com/download/fiddler

获取到 Request URL 和请求体参数 Requests Payload 之后，下面就可以开始用 Requests.post 方法模拟登录了。

代码如下：

使用 session.post 方法提交登录请求，然后用 session.get 方法请求目标网页，并输出 HTML代码。可以看到，成功获取到了网页内容。

上面一种方法，我们需要去后台获取 POST 请求链接和参数，还要在众多的请求当中去找，比较麻烦。

下面，我们可以尝试先登录，获取 COOKIE，然后将该 COOKIE 添加到 Headers 中去，然后用 GET 方法请求即可，过程简单很多。