python浏览器怎么设置_python爬虫之浏览器伪装设置

之前使用爬虫去爬取网页的时候&＃xff0c;user-agent对应的是python自己的名字&＃xff0c;这将会告诉网站管理员&＃xff1b;我就是爬虫哦&＃xff0c;我来爬取信息了&＃xff0c;说不准就不能爬取信息了&＃xff0c;因此&＃xff0c;在实际操作中可以采用修改user-agent的方法&＃xff0c;将怕从伪装成浏览器&＃xff0c;从而不暴露自己&＃xff0c;具体操作和演示如下&＃xff1a;

首先导入第三方requests库和并获取url&＃xff0c;这里以豆瓣为例&＃xff0c;并用r.request.hedaers获取返回信息的头部信息&＃xff0c;可以看到这里的user-agent为python-requests/2.18.4&＃39;

>>> import requests

>>> r&＃61;requests.get(&＃39;http://www.douban.com/&＃39;)

>>> r.request.headers

{&＃39;User-Agent&＃39;: &＃39;python-requests/2.18.4&＃39;, &＃39;Accept-Encoding&＃39;: &＃39;gzip, deflate&＃39;, &＃39;Accept&＃39;: &＃39;*/*&＃39;, &＃39;Connection&＃39;: &＃39;keep-alive&＃39;}

接下来进行替换&＃xff1a;

>>> kv&＃61;{&＃39;user-agent&＃39;:&＃39;Mozilla/5.0&＃39;}

>>> r&＃61;requests.get(&＃39;http://www.douban.com/&＃39;,headers&＃61;kv)

>>> r.request.headers

{&＃39;user-agent&＃39;: &＃39;Mozilla/5.0&＃39;, &＃39;Accept-Encoding&＃39;: &＃39;gzip, deflate&＃39;, &＃39;Accept&＃39;: &＃39;*/*&＃39;, &＃39;Connection&＃39;: &＃39;keep-alive&＃39;}

首先构造字典&＃xff1a;

kv&＃61;{&＃39;user-agent&＃39;:&＃39;Mozilla/5.0&＃39;}

然后将headers的中user-agent替换为kv的键值对&＃xff0c;如下操作

r&＃61;requests.get(&＃39;http://www.douban.com/&＃39;,headers&＃61;kv)

再次获取头部信息&＃xff1a;

r.request.headers

{&＃39;user-agent&＃39;: &＃39;Mozilla/5.0&＃39;, &＃39;Accept-Encoding&＃39;: &＃39;gzip, deflate&＃39;, &＃39;Accept&＃39;: &＃39;*/*&＃39;, &＃39;Connection&＃39;: &＃39;keep-alive&＃39;}

可以看到此时的头部信息已经替换为了Mozilla/5.0了。

以上就是伪装浏览器了

欢迎交流