python之requests库学习

之前一直想写个爬虫&＃xff0c;但都只是零零散散的学也没有做个笔记啥的&＃xff0c;导致现在一些知识点都差不多忘光了…&＃xff08;前车之鉴啊学东西一定要写点笔记啊&＃xff0c;不然时间一久就又得从头开始学了&＃xff09;

所以现在通过写博客记录学习的过程。

前期准备&＃xff1a;
安装好 requests库
pip install requests


参考request用户手册
requests库 用法&＃xff1a;

Response响应中的属性和方法
常用属性&＃xff1a;

status_code: 数据类型&＃xff1a;int
作用&＃xff1a;返回HTTP响应的状态码&＃xff1a;200、404、500、等
reason: 数据类型&＃xff1a;str
作用&＃xff1a;返回HTTP响应的描述&＃xff1a;OK、Not Found、等
headers: 数据类型&＃xff1a;字典
作用&＃xff1a;返回HTTP响应头
url: 数据类型&＃xff1a;str
作用&＃xff1a;请求的真实地址
history: 数据类型&＃xff1a;列表&＃xff08;数组&＃xff09;
作用&＃xff1a;访问历史记录&＃xff08;重定向记录&＃xff09;
encoding: 数据类型&＃xff1a;str
作用&＃xff1a;HTTP响应头中的编码字段&＃xff0c;response.text
取反回值时&＃xff0c;就是根据这个字段进行解码的&＃xff0c;如果没有&＃xff0c;则按&＃xff1a;"ISO-8859-1"解码
COOKIEs: 数据类型&＃xff1a;RequestsCOOKIEJar
作用&＃xff1a;获取COOKIE
elapsed&＃xff1a;类型:datetime.timedelta
作用&＃xff1a;发送请求到接收到响应所花费的时长
request&＃xff1a; 类型&＃xff1a;requests.models.PreparedRequest
作用&＃xff1a;对应的请求对象
raw&＃xff1a;作用&＃xff1a;原始响应体&＃xff0c;也就是 urllib 的 HTTPResponse 对象&＃xff0c;使用 response.raw.read() 读取
加粗样式
常用方法
&＃64;property类型方法:
ok(self):状态码是否小于400&＃xff0c;返回值为True或False
apparent_encoding(self):根据返回内容, 解析出来的字符编码
content(self):原始响应体
text(self)&＃xff1a;经过编码后的文本内容

普通方法&＃xff1a;

**json(self, kwargs)&＃xff1a;转换成json格式的数据
iter_content(self, chunk_size&＃61;1, decode_unicode&＃61;False)&＃xff1a;按字节分块的迭代器
iter_lines(self,chunk_size&＃61;ITER_CHUNK_SIZE,decode_unicode&＃61;None,delimiter&＃61;None)&＃xff1a;按行分块的迭代器
raise_for_status(self)&＃xff1a;抛出状态异常错误
close(self)&＃xff1a;关闭连接

import requests#requests库函数测试url&＃61;&＃39;http://httpbin.org/get&＃39;
url1&＃61;&＃39;http://github.com&＃39;
headers&＃61;{"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Safari/537.36"}
payload&＃61;{&＃39;key1&＃39;:&＃39;value&＃39;}
#测试get请求
response&＃61;requests.get(url1,headers&＃61;headers,params&＃61;payload,timeout&＃61;10)
print(&＃39;返回状态码&＃xff1a;&＃39;,response.status_code)
print(&＃39;根据HTTP头部推测编码&＃xff1a;&＃39;,response.encoding)
print(&＃39;根据页面内容判断编码&＃xff1a;&＃39;,response.apparent_encoding)
print(&＃39;以二进制形式返回页面内容&＃xff1a;&＃39;,response.content)
print(&＃39;JSON形式返回内容&＃xff1a;&＃39;,response.json)
print(&＃39;返回COOKIE&＃xff1a;&＃39;,response.COOKIEs)
print(&＃39;发送请求到响应到达所经过的时间&＃xff1a;&＃39;,response.elapsed)
print(&＃39;响应头&＃xff1a;&＃39;,response.headers)
print(&＃39;返回包含请求(URL)历史的响应对象列表&＃xff1a;(追踪重定向。)&＃39;,response.history)
print(&＃39;原始响应头&＃xff1a;&＃39;,response.raw)
print(&＃39;返回与状态码相对应的文本&＃xff1a;&＃39;,response.reason)
print(&＃39;请求对象&＃xff1a;&＃39;,response.request)
print(&＃39;请求的真实url&＃xff1a;&＃39;,response.url)
print(&＃39;编码后返回的页面内容&＃39;,response.text)


url&＃61;&＃39;http://httpbin.org/post&＃39;
headers&＃61;{"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Safari/537.36"}
payload&＃61;{&＃39;key&＃39;:&＃39;balue&＃39;}
#payload&＃61;((&＃39;key1&＃39;, &＃39;value1&＃39;), (&＃39;key1&＃39;, &＃39;value2&＃39;))
response&＃61;requests.post(url,data&＃61;payload,headers&＃61;headers,timeout&＃61;10)
print(&＃39;返回状态码&＃xff1a;&＃39;,response.status_code)
print(&＃39;根据HTTP头部推测编码&＃xff1a;&＃39;,response.encoding)
print(&＃39;根据页面内容判断编码&＃xff1a;&＃39;,response.apparent_encoding)
print(&＃39;以二进制形式返回页面内容&＃xff1a;&＃39;,response.content)
print(&＃39;JSON形式返回内容&＃xff1a;&＃39;,response.json)
print(&＃39;返回COOKIE&＃xff1a;&＃39;,response.COOKIEs)
print(&＃39;发送请求到响应到达所经过的时间&＃xff1a;&＃39;,response.elapsed)
print(&＃39;响应头&＃xff1a;&＃39;,response.headers)
print(&＃39;返回包含请求(URL)历史的响应对象列表&＃xff1a;(追踪重定向。)&＃39;,response.history)
print(&＃39;原始响应头&＃xff1a;&＃39;,response.raw)
print(&＃39;返回与状态码相对应的文本&＃xff1a;&＃39;,response.reason)
print(&＃39;请求对象&＃xff1a;&＃39;,response.request)
print(&＃39;请求的真实url&＃xff1a;&＃39;,response.url)
print(&＃39;编码后返回的页面内容&＃39;,response.text)


url&＃61;&＃39;http://httpbin.org/head&＃39;
response&＃61;requests.head(url)
print(response.headers)


payload&＃61;{"key1":"value1","key2":"value2"}
r1&＃61;requests.put("http://httpbin.org/put",data&＃61;payload)
files&＃61;{&＃39;files&＃39;:open(&＃39;C:\\VSCode_work\\python_work\\CTF脚本\\test.txt&＃39;,&＃39;rb&＃39;)}
r2 &＃61; requests.post(&＃39;https://httpbin.org/post&＃39;,files&＃61;files)print(r1.text)
print(r2.text)


r3&＃61;requests.request(method&＃61;&＃39;POST&＃39;,url&＃61;"http://httpbin.org/post",data&＃61;payload)
print(r3.request)
print(r3.text)