Python——requests模块详解

1、模块说明

requests是使用Apache2 licensed 许可证的HTTP库。

用python编写。

比urllib2模块更简洁。

Request支持HTTP连接保持和连接池，支持使用COOKIE保持会话，支持文件上传，支持自动响应内容的编码，支持国际化的URL和POST数据自动编码。

在python内置模块的基础上进行了高度的封装，从而使得python进行网络请求时，变得人性化，使用Requests可以轻而易举的完成浏览器可有的任何操作。

现代，国际化，友好。

requests会自动实现持久连接keep-alive

2、基础入门

1）导入模块

import requests

2）发送请求的简洁

　　示例代码：获取一个网页（个人github）

import requestsr = requests.get(&＃39;https://github.com/Ranxf&＃39;) # 最基本的不带参数的get请求
r1 = requests.get(url=&＃39;http://dict.baidu.com/s&＃39;, params={&＃39;wd&＃39;: &＃39;python&＃39;}) # 带参数的get请求

我们就可以使用该方式使用以下各种方法

1 requests.get(‘https://github.com/timeline.json’) # GET请求
2 requests.post(“http://httpbin.org/post”) # POST请求
3 requests.put(“http://httpbin.org/put”) # PUT请求
4 requests.delete(“http://httpbin.org/delete”) # DELETE请求
5 requests.head(“http://httpbin.org/get”) # HEAD请求
6 requests.options(“http://httpbin.org/get” ) # OPTIONS请求

3）为url传递参数

>>> url_params = {&＃39;key&＃39;:&＃39;value&＃39;} # 字典传递参数，如果值为None的键不会被添加到url中
>>> r = requests.get(&＃39;your url&＃39;,params = url_params)
>>> print(r.url)your url?key=value

4）响应的内容

r.encoding #获取当前的编码
r.encoding = &＃39;utf-8&＃39; #设置编码
r.text #以encoding解析返回内容。字符串方式的响应体，会自动根据响应头部的字符编码进行解码。
r.content #以字节形式（二进制）返回。字节方式的响应体，会自动为你解码 gzip 和 deflate 压缩。r.headers #以字典对象存储服务器响应头，但是这个字典比较特殊，字典键不区分大小写，若键不存在则返回Noner.status_code #响应状态码
r.raw #返回原始响应体，也就是 urllib 的 response 对象，使用 r.raw.read()
r.ok # 查看r.ok的布尔值便可以知道是否登陆成功#*特殊方法*#
r.json() #Requests中内置的JSON解码器，以json形式返回,前提返回的内容确保是json格式的，不然解析出错会抛异常
r.raise_for_status() #失败请求(非200响应)抛出异常

post发送json请求：

1 import requests
2 import json
3
4 r = requests.post(&＃39;https://api.github.com/some/endpoint&＃39;, data=json.dumps({&＃39;some&＃39;: &＃39;data&＃39;}))
5 print(r.json())

5）定制头和COOKIE信息

header = {&＃39;user-agent&＃39;: &＃39;my-app/0.0.1&＃39;&＃39;}
COOKIE = {&＃39;key&＃39;:&＃39;value&＃39;}r = requests.get/post(&＃39;your url&＃39;,headers=header,COOKIEs=COOKIE)

data = {&＃39;some&＃39;: &＃39;data&＃39;}
headers = {&＃39;content-type&＃39;: &＃39;application/json&＃39;,&＃39;User-Agent&＃39;: &＃39;Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:22.0) Gecko/20100101 Firefox/22.0&＃39;}r = requests.post(&＃39;https://api.github.com/some/endpoint&＃39;, data=data, headers=headers)
print(r.text)

6）响应状态码

使用requests方法后，会返回一个response对象，其存储了服务器响应的内容，如上实例中已经提到的 r.text、r.status_code……
获取文本方式的响应体实例：当你访问 r.text 之时，会使用其响应的文本编码进行解码，并且你可以修改其编码让 r.text 使用自定义的编码进行解码。

1 r = requests.get(&＃39;http://www.itwhy.org&＃39;)
2 print(r.text, &＃39;\n{}\n&＃39;.format(&＃39;*&＃39;*79), r.encoding)
3 r.encoding = &＃39;GBK&＃39;
4 print(r.text, &＃39;\n{}\n&＃39;.format(&＃39;*&＃39;*79), r.encoding)

示例代码：

1 import requests
2
3 r = requests.get(&＃39;https://github.com/Ranxf&＃39;) # 最基本的不带参数的get请求
4 print(r.status_code) # 获取返回状态
5 r1 = requests.get(url=&＃39;http://dict.baidu.com/s&＃39;, params={&＃39;wd&＃39;: &＃39;python&＃39;}) # 带参数的get请求
6 print(r1.url)
7 print(r1.text) # 打印解码后的返回数据

运行结果：

/usr/bin/python3.5 /home/rxf/python3_1000/1000/python3_server/python3_requests/demo1.py
200
http://dict.baidu.com/s?wd=python
…………Process finished with exit code 0

r.status_code #如果不是200，可以使用 r.raise_for_status() 抛出异常

7）响应

r.headers #返回字典类型,头信息
r.requests.headers #返回发送到服务器的头信息
r.COOKIEs #返回COOKIE
r.history #返回重定向信息,当然可以在请求是加上allow_redirects = false 阻止重定向

8）超时

r = requests.get(&＃39;url&＃39;,timeout=1) #设置秒数超时，仅对于连接有效

9)会话对象，能够跨请求保持某些参数

s = requests.Session()
s.auth = (&＃39;auth&＃39;,&＃39;passwd&＃39;)
s.headers = {&＃39;key&＃39;:&＃39;value&＃39;}
r = s.get(&＃39;url&＃39;)
r1 = s.get(&＃39;url1&＃39;)

10）代理

proxies = {&＃39;http&＃39;:&＃39;ip1&＃39;,&＃39;https&＃39;:&＃39;ip2&＃39; }
requests.get(&＃39;url&＃39;,proxies=proxies)

汇总：

# HTTP请求类型
# get类型
r = requests.get(&＃39;https://github.com/timeline.json&＃39;)
# post类型
r = requests.post("http://m.ctrip.com/post")
# put类型
r = requests.put("http://m.ctrip.com/put")
# delete类型
r = requests.delete("http://m.ctrip.com/delete")
# head类型
r = requests.head("http://m.ctrip.com/head")
# options类型
r = requests.options("http://m.ctrip.com/get")# 获取响应内容
print(r.content) #以字节的方式去显示，中文显示为字符
print(r.text) #以文本的方式去显示#URL传递参数
payload = {&＃39;keyword&＃39;: &＃39;香港&＃39;, &＃39;salecityid&＃39;: &＃39;2&＃39;}
r = requests.get("http://m.ctrip.com/webapp/tourvisa/visa_list", params=payload)
print（r.url） #示例为http://m.ctrip.com/webapp/tourvisa/visa_list?salecityid=2&keyword=香港#获取/修改网页编码
r = requests.get(&＃39;https://github.com/timeline.json&＃39;)
print （r.encoding）#json处理
r = requests.get(&＃39;https://github.com/timeline.json&＃39;)
print（r.json()） # 需要先import json # 定制请求头
url = &＃39;http://m.ctrip.com&＃39;
headers = {&＃39;User-Agent&＃39; : &＃39;Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 4 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.166 Mobile Safari/535.19&＃39;}
r = requests.post(url, headers=headers)
print （r.request.headers)#复杂post请求
url = &＃39;http://m.ctrip.com&＃39;
payload = {&＃39;some&＃39;: &＃39;data&＃39;}
r = requests.post(url, data=json.dumps(payload)) #如果传递的payload是string而不是dict，需要先调用dumps方法格式化一下# post多部分编码文件
url = &＃39;http://m.ctrip.com&＃39;
files = {&＃39;file&＃39;: open(&＃39;report.xls&＃39;, &＃39;rb&＃39;)}
r = requests.post(url, files=files)# 响应状态码
r = requests.get(&＃39;http://m.ctrip.com&＃39;)
print(r.status_code)# 响应头
r = requests.get(&＃39;http://m.ctrip.com&＃39;)
print (r.headers)
print (r.headers[&＃39;Content-Type&＃39;])
print (r.headers.get(&＃39;content-type&＃39;)) #访问响应头部分内容的两种方式# COOKIEs
url = &＃39;http://example.com/some/COOKIE/setting/url&＃39;
r = requests.get(url)
r.COOKIEs[&＃39;example_COOKIE_name&＃39;] #读取COOKIEsurl = &＃39;http://m.ctrip.com/COOKIEs&＃39;
COOKIEs = dict(COOKIEs_are=&＃39;working&＃39;)
r = requests.get(url, COOKIEs=COOKIEs) #发送COOKIEs#设置超时时间
r = requests.get(&＃39;http://m.ctrip.com&＃39;, timeout=0.001)#设置访问代理
proxies = {"http": "http://10.10.1.10:3128","https": "http://10.10.1.100:4444",}
r = requests.get(&＃39;http://m.ctrip.com&＃39;, proxies=proxies)#如果代理需要用户名和密码，则需要这样：
proxies = {"http": "http://user:pass@10.10.1.10:3128/",
}

# HTTP请求类型
# get类型
r = requests.get(&＃39;https://github.com/timeline.json&＃39;)
# post类型
r = requests.post("http://m.ctrip.com/post")
# put类型
r = requests.put("http://m.ctrip.com/put")
# delete类型
r = requests.delete("http://m.ctrip.com/delete")
# head类型
r = requests.head("http://m.ctrip.com/head")
# options类型
r = requests.options("http://m.ctrip.com/get")# 获取响应内容
print(r.content) #以字节的方式去显示，中文显示为字符
print(r.text) #以文本的方式去显示#URL传递参数
payload = {&＃39;keyword&＃39;: &＃39;香港&＃39;, &＃39;salecityid&＃39;: &＃39;2&＃39;}
r = requests.get("http://m.ctrip.com/webapp/tourvisa/visa_list", params=payload)
print（r.url） #示例为http://m.ctrip.com/webapp/tourvisa/visa_list?salecityid=2&keyword=香港#获取/修改网页编码
r = requests.get(&＃39;https://github.com/timeline.json&＃39;)
print （r.encoding）#json处理
r = requests.get(&＃39;https://github.com/timeline.json&＃39;)
print（r.json()） # 需要先import json # 定制请求头
url = &＃39;http://m.ctrip.com&＃39;
headers = {&＃39;User-Agent&＃39; : &＃39;Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 4 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.166 Mobile Safari/535.19&＃39;}
r = requests.post(url, headers=headers)
print （r.request.headers)#复杂post请求
url = &＃39;http://m.ctrip.com&＃39;
payload = {&＃39;some&＃39;: &＃39;data&＃39;}
r = requests.post(url, data=json.dumps(payload)) #如果传递的payload是string而不是dict，需要先调用dumps方法格式化一下# post多部分编码文件
url = &＃39;http://m.ctrip.com&＃39;
files = {&＃39;file&＃39;: open(&＃39;report.xls&＃39;, &＃39;rb&＃39;)}
r = requests.post(url, files=files)# 响应状态码
r = requests.get(&＃39;http://m.ctrip.com&＃39;)
print(r.status_code)# 响应头
r = requests.get(&＃39;http://m.ctrip.com&＃39;)
print (r.headers)
print (r.headers[&＃39;Content-Type&＃39;])
print (r.headers.get(&＃39;content-type&＃39;)) #访问响应头部分内容的两种方式# COOKIEs
url = &＃39;http://example.com/some/COOKIE/setting/url&＃39;
r = requests.get(url)
r.COOKIEs[&＃39;example_COOKIE_name&＃39;] #读取COOKIEsurl = &＃39;http://m.ctrip.com/COOKIEs&＃39;
COOKIEs = dict(COOKIEs_are=&＃39;working&＃39;)
r = requests.get(url, COOKIEs=COOKIEs) #发送COOKIEs#设置超时时间
r = requests.get(&＃39;http://m.ctrip.com&＃39;, timeout=0.001)#设置访问代理
proxies = {"http": "http://10.10.1.10:3128","https": "http://10.10.1.100:4444",}
r = requests.get(&＃39;http://m.ctrip.com&＃39;, proxies=proxies)#如果代理需要用户名和密码，则需要这样：
proxies = {"http": "http://user:pass@10.10.1.10:3128/",
}

3、示例代码

GET请求

1 # 1、无参数实例2 3 import requests4 5 ret = requests.get(&＃39;https://github.com/timeline.json&＃39;)6 7 print(ret.url)8 print(ret.text)9
10
11
12 # 2、有参数实例
13
14 import requests
15
16 payload = {&＃39;key1&＃39;: &＃39;value1&＃39;, &＃39;key2&＃39;: &＃39;value2&＃39;}
17 ret = requests.get("http://httpbin.org/get", params=payload)
18
19 print(ret.url)
20 print(ret.text)

POST请求

# 1、基本POST实例import requestspayload = {&＃39;key1&＃39;: &＃39;value1&＃39;, &＃39;key2&＃39;: &＃39;value2&＃39;}
ret = requests.post("http://httpbin.org/post", data=payload)print(ret.text)# 2、发送请求头和数据实例import requests
import jsOnurl= &＃39;https://api.github.com/some/endpoint&＃39;
payload = {&＃39;some&＃39;: &＃39;data&＃39;}
headers = {&＃39;content-type&＃39;: &＃39;application/json&＃39;}ret = requests.post(url, data=json.dumps(payload), headers=headers)print(ret.text)
print(ret.COOKIEs)

json请求：

#! /usr/bin/python3
import requests
import jsonclass url_request():def __init__(self):&＃39;&＃39;&＃39; init &＃39;&＃39;&＃39;if __name__ == &＃39;__main__&＃39;:heard = {&＃39;Content-Type&＃39;: &＃39;application/json&＃39;}payload = {&＃39;CountryName&＃39;: &＃39;中国&＃39;,&＃39;ProvinceName&＃39;: &＃39;四川省&＃39;,&＃39;L1CityName&＃39;: &＃39;chengdu&＃39;,&＃39;L2CityName&＃39;: &＃39;yibing&＃39;,&＃39;TownName&＃39;: &＃39;&＃39;,&＃39;Longitude&＃39;: &＃39;107.33393&＃39;,&＃39;Latitude&＃39;: &＃39;33.157131&＃39;,&＃39;Language&＃39;: &＃39;CN&＃39;}r = requests.post("http://www.xxxxxx.com/CityLocation/json/LBSLocateCity", heards=heard, data=payload)data = r.json()if r.status_code!=200:print(&＃39;LBSLocateCity API Error&＃39; + str(r.status_code))print(data[&＃39;CityEntities&＃39;][0][&＃39;CityID&＃39;]) # 打印返回json中的某个key的valueprint(data[&＃39;ResponseStatus&＃39;][&＃39;Ack&＃39;])print(json.dump(data, indent=4, sort_keys=True, ensure_ascii=False)) # 树形打印json，ensure_ascii必须设为False否则中文会显示为unicode

Xml请求：

#! /usr/bin/python3
import requestsclass url_request():def __init__(self):"""init"""if __name__ == &＃39;__main__&＃39;:heards = {&＃39;Content-type&＃39;: &＃39;text/xml&＃39;}XML = &＃39;WeChatJSTicket.JobWS.Job.JobRefreshTicket,WeChatJSTicket.JobWSRUN

1127.0.0.11false&＃39;url = &＃39;http://jobws.push.mobile.xxxxxxxx.com/RefreshWeiXInTokenJob/RefreshService.asmx&＃39;r = requests.post(url=url, heards=heards, data=XML)data = r.textprint(data)

状态异常处理

import requestsURL = &＃39;http://ip.taobao.com/service/getIpInfo.php&＃39; # 淘宝IP地址库API
try:r = requests.get(URL, params={&＃39;ip&＃39;: &＃39;8.8.8.8&＃39;}, timeout=1)r.raise_for_status() # 如果响应状态码不是 200，就主动抛出异常
except requests.RequestException as e:print(e)
else:result = r.json()print(type(result), result, sep=&＃39;\n&＃39;)

上传文件

使用request模块，也可以上传文件，文件的类型会自动进行处理：

import requestsurl = &＃39;http://127.0.0.1:8080/upload&＃39;
files = {&＃39;file&＃39;: open(&＃39;/home/rxf/test.jpg&＃39;, &＃39;rb&＃39;)}
#files = {&＃39;file&＃39;: (&＃39;report.jpg&＃39;, open(&＃39;/home/lyb/sjzl.mpg&＃39;, &＃39;rb&＃39;))} #显式的设置文件名r = requests.post(url, files=files)
print(r.text)

request更加方便的是，可以把字符串当作文件进行上传：

import requestsurl = &＃39;http://127.0.0.1:8080/upload&＃39;
files = {&＃39;file&＃39;: (&＃39;test.txt&＃39;, b&＃39;Hello Requests.&＃39;)} #必需显式的设置文件名r = requests.post(url, files=files)
print(r.text)

6) 身份验证

基本身份认证(HTTP Basic Auth)

import requests
from requests.auth import HTTPBasicAuthr = requests.get(&＃39;https://httpbin.org/hidden-basic-auth/user/passwd&＃39;, auth=HTTPBasicAuth(&＃39;user&＃39;, &＃39;passwd&＃39;))
# r = requests.get(&＃39;https://httpbin.org/hidden-basic-auth/user/passwd&＃39;, auth=(&＃39;user&＃39;, &＃39;passwd&＃39;)) # 简写
print(r.json())

另一种非常流行的HTTP身份认证形式是摘要式身份认证，Requests对它的支持也是开箱即可用的:

requests.get(URL, auth=HTTPDigestAuth(&＃39;user&＃39;, &＃39;pass&＃39;)

COOKIEs与会话对象

如果某个响应中包含一些COOKIE，你可以快速访问它们：

import requestsr = requests.get(&＃39;http://www.google.com.hk/&＃39;)
print(r.COOKIEs[&＃39;NID&＃39;])
print(tuple(r.COOKIEs))

要想发送你的COOKIEs到服务器，可以使用 COOKIEs 参数：

import requestsurl = &＃39;http://httpbin.org/COOKIEs&＃39;
COOKIEs = {&＃39;testCOOKIEs_1&＃39;: &＃39;Hello_Python3&＃39;, &＃39;testCOOKIEs_2&＃39;: &＃39;Hello_Requests&＃39;}
# 在COOKIE Version 0中规定空格、方括号、圆括号、等于号、逗号、双引号、斜杠、问号、@，冒号，分号等特殊符号都不能作为COOKIE的内容。
r = requests.get(url, COOKIEs=COOKIEs)
print(r.json())

会话对象让你能够跨请求保持某些参数，最方便的是在同一个Session实例发出的所有请求之间保持COOKIEs，且这些都是自动处理的，甚是方便。
下面就来一个真正的实例，如下是快盘签到脚本：

requests模块抓取网页源码并保存到文件示例

这是一个基本的文件保存操作，但这里有几个值得注意的问题：

1.安装requests包，命令行输入pip install requests即可自动安装。很多人推荐使用requests，自带的urllib.request也可以抓取网页源码

2.open方法encoding参数设为utf-8，否则保存的文件会出现乱码。

3.如果直接在cmd中输出抓取的内容，会提示各种编码错误，所以保存到文件查看。

4.with open方法是更好的写法，可以自动操作完毕后释放资源

#! /urs/bin/python3
import requests&＃39;&＃39;&＃39;requests模块抓取网页源码并保存到文件示例&＃39;&＃39;&＃39;
html = requests.get("http://www.baidu.com")
with open(&＃39;test.txt&＃39;, &＃39;w&＃39;, encoding=&＃39;utf-8&＃39;) as f:f.write(html.text)&＃39;&＃39;&＃39;读取一个txt文件，每次读取一行，并保存到另一个txt文件中的示例&＃39;&＃39;&＃39;
ff = open(&＃39;testt.txt&＃39;, &＃39;w&＃39;, encoding=&＃39;utf-8&＃39;)
with open(&＃39;test.txt&＃39;, encoding="utf-8") as f:for line in f:ff.write(line)ff.close()

因为在命令行中打印每次读取一行的数据，中文会出现编码错误，所以每次读取一行并保存到另一个文件，这样来测试读取是否正常。（注意open的时候制定encoding编码方式）