第二章网络爬虫之规则21requests库

文章截图均来自中国大学mooc Python网络爬虫与信息提取的教程&＃xff0c;以上仅作为我的个人学习笔记。

下面是教程链接&＃xff1a;https://www.icourse163.org/learn/BIT-1001870001?tid&＃61;1450316449#/learn/content?type&＃61;detail&id&＃61;1214620493&cid&＃61;1218397635&replay&＃61;true

2-1首先是Request库

• 当前公认的爬取网页最好的第三方库。

安装方法&＃xff1a;

• 注意一点首先安装的时候一定要点 add into path &＃xff0c;要不然需要手动配置系统环境变量
• 只有配置好环境变量之后&＃xff0c;才可以通过windows cmd 控制台 管理员身份安装 requests库。

pip install requests //直接键入这行代码&＃xff0c;就可以 在线下载安装&＃xff1b;

安装截图&＃xff1a;

测试是否安装成功&＃xff1a;

>>> import requests
>>> r &＃61; requests.get("http://www.baidu.com")
>>> r.status_code
200
>>> r.encoding &＃61;&＃39;utf-8&＃39;
>>> r.text

• 首先导入requests库
• 接着用requests.get(url)的方法获取指定的网页界面信息
• status_code表示获取的状态&＃xff1a;200表示获取的比较成功&＃xff0c;404表示失败
• 使用encoding &＃61; &＃39;utf-8&＃39; 来修改网页的编码格式
• text是以文本的方式输出网页的源代码

测试结果&＃xff1a;

展开介绍requests库的几个主要方法&＃xff1a;

最常用方法&＃xff1a;r &＃61; requests.get(url): r是一个Response对象&＃xff0c;它包含从服务器返回的所有的相关资源

完整的参数信息&＃xff1a;request.get(url,params&＃61;None,**kwargs)

其中&＃xff1a;url是目标网页路径&＃xff0c;params是url中的额外参数&＃xff0c;字典或者字节流格式&＃xff0c;**kwargs:12个控制访问的参数&＃xff0c;也是可选的。

注意&＃xff1a;如果charset里面没有指定编码格式&＃xff0c;那么就猜测是&＃39;ISO-8859-1&＃39; &＃xff0c;这个是不能识别中文的&＃xff0c;我们需要分析出之后再使用

爬取网页的通用代码框架&＃xff1a;

有时候网络连接可能出现错误&＃xff0c;所以这样的的语句的异常处理是必要的&＃xff0c;request库支持6中网络连接异常

import requestsdef getHTMLText(url):try:r &＃61; requests.get(url,timeout&＃61;30)r.raise_for_status() #如果状态不是200&＃xff0c;那么会引发HTTPError异常r.encoding &＃61; r.apparent_encodingreturn r.textexcept:return "产生异常"if __name__ &＃61;&＃61; "__main__":url &＃61; "www.baidu.com" #加上http才是对的print(getHTMLText(url))

http协议和request库的主要方法&＃xff1a;&＃xff08;hypertext transfer protocol&＃xff09;超文本传输协议 是基于请求和响应模式的、无状态的协议&＃xff08;两次请求之间没有关联&＃xff09;

使用head方法可以使用很少的网络流量获取网络资源的概要信息。

也可以使用post方法向服务器提交新增数据

>>> r &＃61; requests.head(&＃39;http://httpbin.org/get&＃39;)
>>> r.headers
{&＃39;Date&＃39;: &＃39;Mon, 25 May 2020 00:59:16 GMT&＃39;, &＃39;Content-Type&＃39;: &＃39;application/json&＃39;, &＃39;Content-Length&＃39;: &＃39;306&＃39;, &＃39;Connection&＃39;: &＃39;keep-alive&＃39;, &＃39;Server&＃39;: &＃39;gunicorn/19.9.0&＃39;, &＃39;Access-Control-Allow-Origin&＃39;: &＃39;*&＃39;, &＃39;Access-Control-Allow-Credentials&＃39;: &＃39;true&＃39;}
>>> r.text
&＃39;&＃39;
>>> payload &＃61; {&＃39;key1&＃39;:&＃39;value1&＃39;,&＃39;key2&＃39;:&＃39;value2&＃39;}
>>> r &＃61; requests.post(&＃39;http://httpbin.org/post&＃39;,data &＃61; payload)
>>> print(r.text)
{"args": {}, "data": "", "files": {}, "form": {"key1": "value1", "key2": "value2"}, "headers": {"Accept": "*/*", "Accept-Encoding": "gzip, deflate", "Content-Length": "23", "Content-Type": "application/x-www-form-urlencoded", "Host": "httpbin.org", "User-Agent": "python-requests/2.23.0", "X-Amzn-Trace-Id": "Root&＃61;1-5ecb19bf-623ad90aba074ffa39e290d4"}, "json": null, "origin": "223.68.19.130", "url": "http://httpbin.org/post"
}

向url post一个字典&＃xff0c;自动编码为form&＃xff08;表单&＃xff09;&＃xff0c;post方法会根据用户提交的信息不同&＃xff0c;进行相关的整理

request方法是request库的基础方法&＃xff1a;

访问控制参数&＃xff1a;

1、params&＃xff1a;可以将这些键值对加到url之中。

2、data&＃xff1a;作为内容部分&＃xff0c;可以将数据提交在url对应data位置&＃xff0c;向服务器进行提交&＃xff0c;可以留由以后使用。

3、json&＃xff1a;作为内容部分&＃xff0c;可以将数据提交在url对应json位置&＃xff0c;向服务器进行提交&＃xff0c;可以留由以后使用。

4、headers&＃xff1a;修改头里面的指定字段的内容&＃xff0c;可以模拟不同版本的浏览器先服务器发起访问&＃xff0c;以后会用到。

5、COOKIE&＃xff1a;从http协议中解析COOKIE&＃xff0c;以后会用到。

6、files&＃xff1a;可以向某一个链接提交某一个文件。

7、timeout设置超时时间。

8、proxies:代理服务器&＃xff08;比如此时访问百度的ip地址就是我们代理服务器的ip地址&＃xff0c;可以有效的隐藏用户爬取网页的源ip地址&＃xff0c;可以有效的防止对爬虫的逆追踪&＃xff09;可以增加用户名和密码的设置。

9、一些高级功能&＃xff1a;现阶段暂时不会用到。

回顾13个访问控制参数&＃xff1a;

单元小结&＃xff1a;