python的网络请求库urllib、urllib2、urllib3、request的联系

1. 简介

urllib、urllib2、urllib3、request均能通过网络访问互联网上的资源文件&＃xff0c;它们通过使用统一资源定位符&＃xff08;URL&＃xff09;并结合re模块完成很多意想不到的操作。

• urllib&＃xff1a;Python2和Python3内置的网络请求库&＃xff0c;Python3的urllib实际是Python2版本中urllib和urllib2的合并
• urllib2&＃xff1a;它只存在于Python2版本的内置库中&＃xff0c;功能与urllib基本类似&＃xff0c;主要是urllib的增强。urllib、urllib2都是python的内置标准库&＃xff1b;
• urllib3&＃xff1a;Python2和Python3均可以使用&＃xff0c;但这不是标准库&＃xff0c;需要使用pip安装使用&＃xff0c;urllib3提供了线程安全池和文件post等&＃xff0c;该模块是服务于升级的http 1.1标准&＃xff0c;且拥有高效http连接池管理及http代理服务的功能库,但其并非python内
• requests&＃xff1a;requests是基于urllib3封装的,继承了urllib2的所有特性,遵循Apache2 Licensed开源协议的HTTP库&＃xff0c;支持HTTP连接保持和连接池&＃xff0c;支持使用COOKIE保持会话&＃xff0c;支持文件上传&＃xff0c;支持自动响应内容的编码&＃xff0c;支持国际化的URL和POST数据自动编码。如他的口号HTTP for Humans所说,这才是给人用的HTTP库,实际使用过程中更方便,能够大大的提高使用效率,缩短写代码的时间。

注意: 在Python2中urllib和urllib2一般搭配使用的&＃xff08;不然Python2整两个内置库干嘛&＃xff09;&＃xff0c;urllib具有urllib2没有的功能&＃xff0c;而urllib2具有urllib没有的功能。如urllib2可以接受请求对象来设置URL请求的头&＃xff0c;urllib只接受URL&＃xff1b;urllib提供用于生成GET查询字符串的urlencode方法&＃xff0c;urllib2没有这样的函数。这就是为什么urllib经常与urllib2一起使用的原因之一。

2. urllib

urllib这个Python标准库基本上包含了基础的网络请求功能&＃xff0c;以下urllib的演示均为Python3中的用法&＃xff0c;Python2中单独用urllib会比较难受&＃xff0c;上面也提到了它最好配合urllib2一起使用。

• urllib发起GET请求

urlopen()方法发起请求&＃xff0c;read()方法获取网页数据

from urllib import request
res &＃61; request.urlopen("http://httpbin.org/get")
print(res.read().decode()) # red()方法读取的数据是bytes的二进制格式&＃xff0c;需要解码


• urllib发起POST请求

urlopen()默认是GET方式请求&＃xff0c;当传入data参数时会发起POST请求&＃xff0c;此时传递的参数必须时bytes格式

from urllib import request
res &＃61; request.urlopen("http://httpbin.org/post", data&＃61;b&＃39;hello&＃61;world&＃39;)
print(res.read().decode())


• urllib为请求添加Headers

通过urllib发起的请求默认的头信息是"User-Agent": “Python-urllib/3.6”&＃xff0c;一般网站会验证请求头的合法性&＃xff0c;如果需要修改可以通过urllib.request中的Request对象

from urllib import request
url &＃61; "http://httpbin.org/get"
headers &＃61; {&＃39;user-agent&＃39;: &＃39;Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36&＃39;}
req &＃61; request.Request(url&＃61;url, headers&＃61;headers) # 传递的Request对象
res &＃61; request.urlopen(req)
print(res.read().decode())


此时httpbin网站返回的内容如下&＃xff1a;

{
"args": {},
"headers": {
"Accept-Encoding": "identity",
"Host": "httpbin.org",
"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36"
},
"origin": "210.33.11.241, 210.33.11.241",
"url": "https://httpbin.org/get"
}


• urllib制定proxy代理

在使用爬虫时经常会配置代理隐藏我们的IP地址

from urllib import request
url &＃61; &＃39;http://httpbin.org/ip&＃39;
proxy &＃61; {&＃39;http&＃39;: &＃39;117.95.200.71:9999&＃39;, &＃39;https&＃39;: &＃39;183.154.54.188:9999&＃39;} # 可以使用西刺代理配置
# 创建代理处理器
proxies &＃61; request.ProxyHandler(proxy)
# 创建opener对象
opener &＃61; request.build_opener(proxies)
resp &＃61; opener.open(url)
print(resp.read().decode())


• urllib下载数据至本地

from urllib import request
url &＃61; &＃39;http://httpbin.org/image/jpeg&＃39;
request.urlretrieve(url, &＃39;1.jpg&＃39;)


3. urllib2

urllib2的用法其实基本和urllib相似&＃xff0c;且它只存在于Python2版本&＃xff0c;它的使用时需要配合urllib一起使用&＃xff0c;要说它和urllib的区别还要看下面这个表&＃xff0c;下表主要说明了在Python2中的urllib、urllib2中的方法整合到Python3后方法名的区别。

• urllib2发起GET请求

这里展示了一个官方使用urllib2的GET请求

import urllib2
res &＃61; urllib2.urlopen("http://httpbin.org/get")
print res.read().decode()


4. urllib3

urllib3说一个HTTP客户端Python库&＃xff0c;Python2和Python3在未安装的情况下均可以使用pip install urllib3即可安装&＃xff0c;它提供了很多urllib库中没有的重要特性&＃xff1a; 线程安全 连接池 客户端SSL/TLS验证 文件分部编码上传 协助处理重复请求和HTTP重定位 支持gzip和deflate压缩编码 支持HTTP和SOCKS代理 100%测试覆盖率

• urllib3发起GET请求

urllib3主要的特点就是在请求之前需要创建一个连接池对象

import urllib3
http &＃61; urllib3.PoolManager() # 线程池生成请求
res &＃61; http.request(&＃39;GET&＃39;, &＃39;http://httpbin.org/get&＃39;)
print(res.data.decode())


• urllib3发起POST请求

post请求只需要将request()方法的第一个参数改为POST&＃xff0c;并设置fields参数即可

import urllib3
http &＃61; urllib3.PoolManager() # 线程池生成请求
res &＃61; http.request(&＃39;POST&＃39;, &＃39;http://httpbin.org/post&＃39;, fields&＃61;{&＃39;hello&＃39;: &＃39;world&＃39;})
print(res.data.decode())


• urllib3设置headers

设置headers的方法和设置参数一样方便&＃xff0c;只需要加入headers参数即可

headers &＃61; {&＃39;X-Something&＃39;: &＃39;value&＃39;}
res &＃61; http.request(&＃39;POST&＃39;, &＃39;http://httpbin.org/post&＃39;, headers&＃61;headers, fields&＃61;{&＃39;hello&＃39;: &＃39;world&＃39;})


5. requests

最后介绍一个杀手级神器——requests&＃xff0c;你会发现它一样也很好用&＃xff0c;requests使用了urllib3的库&＃xff0c;并且继承了所有urllib2的特性&＃xff0c;最关键的是它不需要urllib3一样在编码时收到开启线程池&＃xff0c;简单粗暴&＃xff0c;不过它同样也要使用pip install requests安装。另外&＃xff0c;requests会自动实现持久连接keep-alive

格外简单的演示&＃xff1a;

import requests
res &＃61; requests.get(&＃39;http://httpbin.org/get&＃39;)
print(res.text)


在实际使用中推荐使用后两种&＃xff0c;因为毕竟方便&＃xff0c;而若时没有安装这些库的情况下&＃xff0c;Python3的urllib也是一个不错的选择。

和urllib比较示例&＃xff1a;

###urllib
from urllib import request,parse
import json
if __name__ &＃61;&＃61; &＃39;__main__&＃39;:
while True:
baseurl &＃61; &＃39;http://fanyi.baidu.com/sug&＃39;
keyword &＃61; input(&＃39;请输入你要查询的单词&＃xff1a;&＃39;)
data &＃61; {
&＃39;kw&＃39;: keyword
}
data &＃61; parse.urlencode(data).encode() # 需要给数据编码&＃xff0c;现在data是bytes格式&＃xff0c;
#调试用的的话可以输入以下代码(已注释&＃xff09;
#data &＃61; parse.urlencode(data)
#print(data)
rsp &＃61; request.urlopen(baseurl, data&＃61;data)
json_data &＃61; rsp.read().decode()#解码后的数据是json格式&＃xff0c;所以要import json
#print(json_data)
json_data &＃61; json.loads(json_data)
for i in json_data[&＃39;data&＃39;]:
print(i[&＃39;k&＃39;], &＃39;---->&＃39;, i[&＃39;v&＃39;])
---------------------------------------------------------------------------------------
#####requests
import requests
if __name__ &＃61;&＃61; &＃39;__main__&＃39;:
while True:
baseurl &＃61; &＃39;http://fanyi.baidu.com/sug&＃39;
keyword &＃61; input(&＃39;请输入你要查询的单词&＃xff1a;&＃39;)
data &＃61; {
&＃39;kw&＃39;: keyword
}
#这里不用给data进行编码
#但是下面要指明post方法
#rsp&＃61;requests.request(&＃39;post&＃39;,url&＃61;baseurl,data&＃61;data)
#上下两代码等价
rsp &＃61; requests.post(url&＃61;baseurl, data&＃61;data)
#而这里也不用导入 json模块&＃xff0c;直接使用对象的json&＃xff08;&＃xff09;方法即可
json_data &＃61; rsp.json()
for i in json_data[&＃39;data&＃39;]:
print(i[&＃39;k&＃39;], &＃39;---->&＃39;, i[&＃39;v&＃39;])
总的来说&＃xff0c;requests将urlib进行了更高级的封装&＃xff0c;不用人为的编码解码&＃xff0c;将其自动化&＃xff0c;


6. 相关文章

• requests.session()的用法

• Requsets库的基本使用

• requests.get()和requests.session.get()的区别与联系

• python requests timeout详解

• Python中requests模块源码分析:requests是如何调用urllib3的

• Python3中进行HTTP请求的4种方式