对于爬虫的这几点，你没认真整理了解过

首先&＃xff0c;爬虫不是我的本职工作&＃xff0c;我爬虫是为了工作而准备的&＃xff0c;但爬虫内容真的很多&＃xff1a;静态页面、动态页面、JS 加密、App 加密、逆向工程等等&＃xff0c;对于这么一篇文章来说&＃xff0c;我希望对你学习爬虫有一些帮助。

1. 准备工作

在具体分享之前&＃xff0c;我也要教你如何安装 Postman。

1.1 下载 Postman

Postman 一款非常流行的API调试工具。其实&＃xff0c;开发人员用的更多。因为测试人员做接口测试会有更多选择&＃xff0c;例如 Jmeter、soapUI 等。不过&＃xff0c;对于开发过程中去调试接口&＃xff0c;Postman 确实足够的简单方便&＃xff0c;而且功能强大。
官方网站&＃xff1a;https://www.postman.com/

下载也很简单&＃xff0c;如果这一步不会的话&＃xff0c;也可以加小编好友拉你进交流群&＃xff01;微信号&＃xff1a;AndersonHjb&＃xff0c;添加小编好友的时候记得来者目的&＃xff0c;24h 内通过。

对于安装包&＃xff0c;官网下载较慢&＃xff0c;小伙伴还可以从蓝奏云下载&＃xff0c;也是最新版本&＃xff08;2020&＃xff09;&＃xff0c;公众号后台回复&＃xff1a;postman&＃xff0c;即可。

1.2 安装

1. Postman 最早是作用 chrome 浏览器插件存在的&＃xff0c;所以&＃xff0c;你可以到 chrome 商店搜索下载安装&＃xff0c;因为重所周知的原因&＃xff0c;所以&＃xff0c;大家都会找别人共享的 postman 插件文件来安装。由于 2018 年初 Chrome 停止对Chrome应用程序的支持。

2. Postman 提供了独立的安装包&＃xff0c;不再依赖于 Chrome 浏览器了。同时支持 MAC、Windows 和 Linux&＃xff0c;推荐你使用这种方式安装。

一般我的爬虫流程是这样的&＃xff1a;

1. 浏览器访问待爬网页&＃xff0c;并提前打开开发者工具&＃xff08;F12&＃xff09;&＃xff0c;选中 Nework 选项卡&＃xff0c;这样就可以看到网络交互信息&＃xff1b;或者&＃xff0c;右键查看网页源代码&＃xff0c;查找目标信息。

2. 在网络交互信息流中筛选出自己需要的&＃xff0c;然后在 postman 中模拟请求&＃xff0c;看是否仍然可以获取到想要的信息&＃xff1b;Postman 除了可以进行请求测试外&＃xff0c;还有一个优势就是&＃xff0c;代码可以直接生成&＃xff0c;这样就可以方便得进行最终的整合了。

3. 数据解析&＃xff0c;从请求的响应中解析出我们的目标数据&＃xff0c;至于得到数据后如何处理&＃xff0c;那就是你的事情了。

下面就以大家耳熟能详的豆瓣电影 TOP250 为例。

2. 实例分析

2.1 请求梳理

首先&＃xff0c;我们要访问待爬取的网页&＃xff1a;https://movie.douban.com/top250。

一般情况下&＃xff0c;我都是直接按下 F12 调出 DevTools&＃xff0c;点击 Network 选项卡&＃xff1a;

有时请求已经加载完成了&＃xff0c;可以把数据全部 clear 掉&＃xff0c;然后重新刷新网页&＃xff0c;这时候请求流会重新加载。

这里有几个点需要注意&＃xff0c;主要是下图圈红的几个&＃xff1a;

我一般是把上面的几点勾选起来。

1. 有些网页请求会有自动跳转&＃xff0c;这是请求流会重新加载&＃xff0c;这是勾选了 Preserve log 的话&＃xff0c;数据就会持续打印&＃xff0c;不会被冲掉&＃xff1b;&＃xff08;也就是&＃xff0c;你有可能在等待加载的时候&＃xff0c;结果正式要去分析的时候却消失了&＃xff09;

2. 勾选 Disable cache 可以禁用缓存&＃xff1b;

3. 请求流的筛选&＃xff1a;XHR 是 XMLHttpRequest 的意思&＃xff0c;大多数情况下只要点击 XHR 就行了&＃xff0c;但是若此时发现没有想要的请求数据&＃xff0c;那么就要点击 All 展示所有请求流。

比如豆瓣的这个&＃xff0c;XHR 中是没有我们的目标请求的。

2.2 请求模拟

通过上面的步骤&＃xff0c;我们能够确定通过哪些请求能够得到我们的目标数据&＃xff0c;然后把这些请求放到 postman 中进行模拟。

比如&＃xff0c;我们在 postman 中访问豆瓣的网站&＃xff1a;

这里的请求比较简单&＃xff0c;直接 get url 就能获取到目标数据。

其实大部分情况下&＃xff0c;都是需要添加一些访问参数的&＃xff0c;这是我们可以在 Headers 里添加。

另外&＃xff0c;postman 还支持其他请求&＃xff0c;如 post、delete 等等&＃xff1a;

• 生成代码

点击右侧的 code 按钮&＃xff0c;就可以获取到对应的代码&＃xff1a;

支持生成多种语言的代码&＃xff0c;操作动图如下&＃xff1a;

比如&＃xff0c;我们这里选择 Python Requests&＃xff0c;就可以得到如下代码&＃xff1a;

url &＃61; "https://www.aiyc.top/"

import requestsurl &＃61; "https://www.aiyc.top/"payload &＃61; {}
headers &＃61; {&＃39;COOKIE&＃39;: &＃39;e21622aacc25df990a6b262591f2c098latest_time_id&＃61;91&＃39;
}response &＃61; requests.request("GET", url, headers&＃61;headers, data &＃61; payload)print(response.text.encode(&＃39;utf8&＃39;))

url &＃61; "https://movie.douban.com/top250"

import requestsurl &＃61; "https://movie.douban.com/top250"headers &＃61; {&＃39;cache-control&＃39;: "no-cache",&＃39;postman-token&＃39;: "d2e1def2-7a3c-7bcc-50d0-eb6baf18560c"}response &＃61; requests.request("GET", url, headers&＃61;headers)print(response.text)


这样我们只要把这些代码合并到我们的业务逻辑里就行了&＃xff0c;当然其中的 postman 相关的参数是不需要的。

2.3 数据解析

下面要做的就是从响应中解析目标数据。

有些响应是返回 HTML&＃xff0c;有些是返回 json 数据&＃xff0c;有的还是返回 XML&＃xff0c;当然也有其他的&＃xff0c;这就需要不同的解析逻辑。

具体如何解析&＃xff0c;这里我们不再赘述&＃xff0c;之前的爬虫文章中都有涉及&＃xff0c;有兴趣的可以翻一翻。

3. 总结

本来打算写 postman 的使用的&＃xff0c;但是写来写去&＃xff0c;成了我的一般爬虫流程梳理。

本文涉及的爬虫都是比较初级的&＃xff0c;至于 ip 代理、验证码解析等高端功能&＃xff0c;后面有会慢慢出来还会手把手教学搭建代理池&＃xff08;包括代理评分等等&＃xff09;如果&＃xff0c;本文 在看 超过 20 我就写出来。

不知道你的一般流程是什么样的&＃xff0c;不妨留言分享下。&＃xff08;点击阅读原文&＃xff0c;在我的博客下留言噢&＃xff01;期待和你的交流&＃xff09;