python爬虫requestsget_python—网络爬虫（Requests库的get方法）

Requests库的七个主要方法

------------------------------------------------

方法

说明

requests.request()

构造一个请求&＃xff0c;支撑以下各方法的基础方法

requests.get()

获取HTML网页的主要方法&＃xff0c;对应于HTTP的GET

requests.head()

获取HTML网页的头信息的方法&＃xff0c;对应于HTTP的HEAD

requests.post()

向HTML网页提交POST请求的方法&＃xff0c;对应于HTTP的POST

requests.put()

向HTML网页提交PUT请求的方法&＃xff0c;对应于HTTP的PUT

requests.patch()

向HTML网页提交局部修改请求&＃xff0c;对应于HTTP的PATCH

requests.delete()

向HTML网页提交删除请求的方法&＃xff0c;对应于HTTP的DELETE

r &＃61; requests.get(url) :

构造一个向服务器请求资源的Request对象(Request),并且get方法返回一个包含服务器资源的Response对象&＃xff1b;

requests.get函数的完整参数如下&＃xff1a;

requests.get(url, params &＃61; None, **kwargs)

url: 拟获取页面的url链接

params: url中额外参数&＃xff0c;字典或字节流格式&＃xff0c;可选

**kwargs:12个控 访问的参数

Requests库的2个重要的对象Request 和 Response对象&＃xff08;Response对象包含爬虫返回的所有内容&＃xff09;

>>>import requests #导入requests库

>>> r &＃61; requests.get("http://www.baidu.com")

>>>print(r.status_code) #检测请求的状态码&＃xff0c;200表示请求成功

200

>>>type(r)

>>>r.headers

{&＃39;Cache-Control&＃39;: &＃39;private, no-cache, no-store, proxy-revalidate, no-transform&＃39;, &＃39;Connection&＃39;: &＃39;Keep-Alive&＃39;, &＃39;Content-Encoding&＃39;: &＃39;gzip&＃39;, &＃39;Content-Type&＃39;: &＃39;text/html&＃39;, &＃39;Date&＃39;: &＃39;Tue, 05 Jun 2018 11:48:31 GMT&＃39;, &＃39;Last-Modified&＃39;: &＃39;Mon, 23 Jan 2017 13:27:36 GMT&＃39;, &＃39;Pragma&＃39;: &＃39;no-cache&＃39;, &＃39;Server&＃39;: &＃39;bfe/1.0.8.18&＃39;, &＃39;Set-COOKIE&＃39;: &＃39;BDORZ&＃61;27315; max-age&＃61;86400; domain&＃61;.baidu.com; path&＃61;/&＃39;, &＃39;Transfer-Encoding&＃39;: &＃39;chunked&＃39;}

Response对象的属性:

属性

说明

r.status_code

HTTP请求的返回状态&＃xff0c;200表求连接成功&＃xff0c;404表示失败

r.text

HTTP响应内容的字符串形式&＃xff0c;即&＃xff0c;url对应的页面内容

r.encoding

从HTTP header中猜测的响应内容编码方式

r.apparent_encoding

从内容中分析出的响应内容编码方式&＃xff08;备选编码方式&＃xff09;

r.content

HTTP响应内容的二进制形式

Response对象的处理流程如下图示&＃xff1a;

>>>import requests

>>>r &＃61; requests.get("http://www.baidu.com")

>>> r.status_code

200

>>> r.text #发现是乱码

>>> r.encoding #查看它的编码

&＃39;ISO-8859-1&＃39;

>>> r.apparent_encoding#再查看它的apparent_encoding编码

&＃39;utf-8&＃39;

>>>r.encoding &＃61;&＃39;utf-8&＃39; #用&＃39;utf-8&＃39;编码来替换&＃39;ISO-8859-1&＃39;这个编码。

>>>r.text #结果可以正常显示网页内容

理解Response的编码:

属性

说明

r.encoding

从HTTP header中猜测的响应内容编码方式

r.apparent_encoding

从内容中分析出的响应编码方式&＃xff08;备选编码方式&＃xff09;

r.encoding:如果header中不存在charset,则认为编码为&＃39;ISO-8859-1&＃39;

r.apparent_encoding: 根据网页内容分析出的编码方式