python访问网站添加请求头_python爬虫添加请求头代码实例

这篇文章主要介绍了python爬虫添加请求头代码实例,文中通过示例代码介绍的非常详细&＃xff0c;对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

request

importrequests

headers&＃61;{#&＃39;Accept&＃39;: &＃39;application/json, text/Javascript, */*; q&＃61;0.01&＃39;,

#&＃39;Accept&＃39;: &＃39;*/*&＃39;,

#&＃39;Accept-Language&＃39;: &＃39;zh-CN,zh;q&＃61;0.9,en;q&＃61;0.8,en-US;q&＃61;0.7&＃39;,

#&＃39;Cache-Control&＃39;: &＃39;no-cache&＃39;,

#&＃39;accept-encoding&＃39;: &＃39;gzip, deflate, br&＃39;,

&＃39;User-Agent&＃39;: &＃39;Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.97 Safari/537.36&＃39;,&＃39;Referer&＃39;: &＃39;https://www.google.com/&＃39;}

resp&＃61; requests.get(&＃39;http://httpbin.org/get&＃39;, headers&＃61;headers)print(resp.content)

urllib

importurllib, urllib2defget_page_source(url):

headers&＃61; {&＃39;Accept&＃39;: &＃39;*/*&＃39;,&＃39;Accept-Language&＃39;: &＃39;en-US,en;q&＃61;0.8&＃39;,&＃39;Cache-Control&＃39;: &＃39;max-age&＃61;0&＃39;,&＃39;User-Agent&＃39;: &＃39;Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 Safari/537.36&＃39;,&＃39;Connection&＃39;: &＃39;keep-alive&＃39;,&＃39;Referer&＃39;: &＃39;http://www.baidu.com/&＃39;}

req&＃61;urllib2.Request(url, None, headers)

response&＃61;urllib2.urlopen(req)

page_source&＃61;response.read()return page_source

phantomjs请求页面

from selenium importwebdriverfrom selenium.webdriver.common.desired_capabilities importDesiredCapabilitiesdefget_headers_driver():

desire&＃61;DesiredCapabilities.PHANTOMJS.copy()

headers&＃61; {&＃39;Accept&＃39;: &＃39;*/*&＃39;,&＃39;Accept-Language&＃39;: &＃39;en-US,en;q&＃61;0.8&＃39;,&＃39;Cache-Control&＃39;: &＃39;max-age&＃61;0&＃39;,&＃39;User-Agent&＃39;: &＃39;Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 Safari/537.36&＃39;,&＃39;Connection&＃39;: &＃39;keep-alive&＃39;,&＃39;Referer&＃39;: &＃39;http://www.baidu.com/&＃39;}for key, value inheaders.iteritems():

desire[&＃39;phantomjs.page.customHeaders.{}&＃39;.format(key)] &＃61;value

driver&＃61; webdriver.PhantomJS(desired_capabilities&＃61;desire, service_args&＃61;[&＃39;--load-images&＃61;yes&＃39;])#将yes改成no可以让浏览器不加载图片

return driver

主要介绍了python爬虫添加请求头代码实例,文中通过示例代码介绍的非常详细&＃xff0c;对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

以上就是本文的全部内容&＃xff0c;希望对大家的学习有所帮助&＃xff0c;也希望大家多多支持python博客。

1、为什么要设置headers?

在请求网页爬取的时候&＃xff0c;输出的text信息中会出现抱歉&＃xff0c;无法访问等字眼&＃xff0c;这就是禁止爬取&＃xff0c;需要通过反爬机制去解决这个问题。

headers是解决requests请求反爬的方法之一&＃xff0c;相当于我们进去这个网页的服务器本身&＃xff0c;假装自己本身在爬取数据。

对反爬虫网页&＃xff0c;可以设置一些headers信息&＃xff0c;模拟成浏览器取访问网站 。

2、 headers在哪里找&＃xff1f;

谷歌或者火狐浏览器&＃xff0c;在网页面上点击&＃xff1a;右键–>检查–>剩余按照图中显示操作&＃xff0c;需要按Fn&＃43;F5刷新出网页来

有的浏览器是点击&＃xff1a;右键->查看元素&＃xff0c;刷新

以上就是python爬虫请求头设置代码的详细内容&＃xff0c;更多关于python爬虫请求头如何设置的资料请关注脚本之家其它相关文章&＃xff01;