添加请求头retrofit_Python爬虫偷懒神器—快速构造请求头!

我们在写爬虫构建请求的时候&＃xff0c;不可避免地要添加请求头( headers )&＃xff0c;一般来说&＃xff0c;我们只要添加 user-agent 就能满足绝大部分需求了

但这并不是绝对的&＃xff0c;有些请求单单添加一个 user-agent 是不能获取到数据的&＃xff0c;在不知道是缺少哪个请求头参数的情况下&＃xff0c;我一般会先把所有参数全部添加上&＃xff0c;然后再逐个排除。

如果是后面这种情况&＃xff0c;相信大家都会有这种感觉&＃xff1a;手动将浏览器中请求头复制粘贴然后构造成字典里的每一个 键值对 简直太TM太费时间了

所以&＃xff0c;本文将介绍几个快速构造请求头的方法&＃xff0c;供君选择&＃xff1a;

正则一键替换

正则替换指的是利用 Pycharm 的 ctrl&＃43;R 替换功能&＃xff0c;下面带大家一步一步来演示该操作&＃xff0c;我们将浏览器的请求头复制到 Pycharm 中&＃xff0c;如下面所示

然后按住 crtl&＃43;R&＃xff0c;会出现上下两个输入框&＃xff0c;然后勾选 Regx 以及 In selection 这两个选项

在上面框填入要匹配内容的正则表达式&＃xff1a;

(.*?): (.*)

第二个填入匹配组后的格式

"$1": "$2",

其中 "$$1 ", "$2" 分别表示匹配组&＃xff0c;即匹配成功的原文

填完之后&＃xff0c;选中我们刚复制的内容&＃xff0c;点击 Replace all 按钮即可

最后在外层加上 headers &＃61; {} 就完成我们要构造的格式了

Pycharm 快捷键

这里再介绍一种利用 Pycharm 快捷键替换方法&＃xff0c;常用的快捷键还是要记住&＃xff0c;对平常快速代码帮助很大 。

• 第一步

还是以上面复制的请求头为例&＃xff0c;按住 Alt 键&＃xff0c;同时鼠标定位字典键名结束位置&＃xff0c;如下所示&＃xff0c;注意看键名旁边都有一个鼠标指针

• 第二步

输入引号&＃xff0c;然后指针再前进两步&＃xff0c;在字典值前面输入引号。

• 第三步

再按下 End 键&＃xff0c;在最末尾输入引号及逗号。

最后按下 Home 键&＃xff0c;在最前面输入引号&＃xff0c;即大功告成&＃xff01;

和正则替换法一样&＃xff0c;在最外层输入 headers &＃61; {} 即完成

postman

在浏览器中 Copy as cURL(bash) 我们要构造的请求&＃xff0c;如下图所示

然后打开 postman&＃xff0c;选择左上角的 New 旁边的 Import 按钮 &＃xff0c;粘贴我们刚 copy 的内容

点击 Import, 就回到了发现请求的界面&＃xff0c;选择发送按钮下方的 code 键&＃xff0c;

如上图&＃xff0c; headers 已生成&＃xff0c;不仅支持 Python 还支持其他语言&＃xff0c;强大

网站一键替换

有不少网站都有这个构造功能&＃xff0c;但是该网站是我用过的最好用的最强大的

除了能构造请求头&＃xff0c;还能单独构造 COOKIEs 同时自动帮我们生成请求的代码。你甚至你不用自己手写代码

同样的在浏览器中 Copy as cURL(bash) 我们要构造的请求&＃xff0c;打开网站 https://curl.trillworks.com/

粘贴到左边框后即自动生成&＃xff0c;快得很...

还有多种语言供你选择。源码私信我01获取哦

上面便是我介绍的几种方法&＃xff0c;是不是很方便&＃xff0c;不用再一个一个手动输入了。当然除了上面的方法之外&＃xff0c;你也可以自己动手用代码生成&＃xff0c;因为都是有一定规律的