python请求头_python爬虫请求头设置代码

一、requests设置请求头:

import requests

url&＃61;"http://www.targetweb.com"

headers&＃61;{

&＃39;Accept&＃39;:&＃39;text/html,application/xhtml&＃43;xml,application/xml;q&＃61;0.9,image/webp,*/*;q&＃61;0.8&＃39;,

&＃39;Cache-Control&＃39;:&＃39;max-age&＃61;0&＃39;,

&＃39;Connection&＃39;:&＃39;keep-alive&＃39;,

&＃39;Referer&＃39;:&＃39;http://www.baidu.com/&＃39;,

&＃39;User-Agent&＃39;:&＃39;Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.104 Safari/537.36 Core/1.53.4882.400 QQBrowser/9.7.13059.400&＃39;}

res&＃61;requests.get(url,headers&＃61;headers)

#图片下载时要用到字节流&＃xff0c;请求方式如下

#res&＃61;requests.get(url,stream&＃61;True,headers)

二、Selenium&＃43;Chrome请求头设置:

from selenium import webdriver

options &＃61; webdriver.ChromeOptions()

options.add_argument(&＃39;lang&＃61;zh_CN.UTF-8&＃39;)# 设置中文

options.add_argument(&＃39;user-agent&＃61;"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.104 Safari/537.36 Core/1.53.4882.400 QQBrowser/9.7.13059.400"&＃39;)# 设置头部

browser &＃61; webdriver.Chrome(chrome_options&＃61;options)

url&＃61;"http://www.targetweb.com"

browser.get(url)

browser.quit()

三、selenium&＃43;phantomjs请求头设置&＃xff1a;

from selenium import webdriver

from selenium.webdriver.common.desired_capabilities import DesiredCapabilities

des_cap &＃61; dict(DesiredCapabilities.PHANTOMJS)

des_cap["phantomjs.page.settings.userAgent"] &＃61; ("Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.104 Safari/537.36 Core/1.53.4882.400 QQBrowser/9.7.13059.400")

browser &＃61; webdriver.PhantomJS(desired_capabilities&＃61;des_cap)

url&＃61;"http://www.targetweb.com"

browser.get(url)

browser.quit()

四、爬虫框架scrapy设置请求头&＃xff1a;

在settings.py文件中添加如下&＃xff1a;

DEFAULT_REQUEST_HEADERS &＃61; {

&＃39;accept&＃39;: &＃39;image/webp,*/*;q&＃61;0.8&＃39;,

&＃39;accept-language&＃39;: &＃39;zh-CN,zh;q&＃61;0.8&＃39;,

&＃39;referer&＃39;: &＃39;https://www.baidu.com/&＃39;,

&＃39;user-agent&＃39;: &＃39;Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.104 Safari/537.36 Core/1.53.4882.400 QQBrowser/9.7.13059.400&＃39;,}

五、Python异步Aiohttp请求头设置:

import aiohttp

url&＃61;"http://www.targetweb.com"

headers&＃61;{

&＃39;Accept&＃39;:&＃39;text/html,application/xhtml&＃43;xml,application/xml;q&＃61;0.9,image/webp,*/*;q&＃61;0.8&＃39;,

&＃39;Cache-Control&＃39;:&＃39;max-age&＃61;0&＃39;,

&＃39;Connection&＃39;:&＃39;keep-alive&＃39;,

&＃39;Referer&＃39;:&＃39;http://www.baidu.com/&＃39;,

&＃39;User-Agent&＃39;:&＃39;Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.104 Safari/537.36 Core/1.53.4882.400 QQBrowser/9.7.13059.400&＃39;}

asyncwithaiohttp.ClientSession(headers&＃61;headers)assession:

asyncwithsession.get(url)asresp:

print(resp.status)

print(awaitresp.text())

内容扩展&＃xff1a;

1、为什么要设置headers?

在请求网页爬取的时候&＃xff0c;输出的text信息中会出现抱歉&＃xff0c;无法访问等字眼&＃xff0c;这就是禁止爬取&＃xff0c;需要通过反爬机制去解决这个问题。

headers是解决requests请求反爬的方法之一&＃xff0c;相当于我们进去这个网页的服务器本身&＃xff0c;假装自己本身在爬取数据。

对反爬虫网页&＃xff0c;可以设置一些headers信息&＃xff0c;模拟成浏览器取访问网站 。

2、 headers在哪里找&＃xff1f;

谷歌或者火狐浏览器&＃xff0c;在网页面上点击&＃xff1a;右键–>检查–>剩余按照图中显示操作&＃xff0c;需要按Fn&＃43;F5刷新出网页来

有的浏览器是点击&＃xff1a;右键->查看元素&＃xff0c;刷新

以上就是python爬虫请求头设置代码的详细内容&＃xff0c;更多关于python爬虫请求头如何设置的资料请关注脚本之家其它相关文章&＃xff01;