作者:lock2502898047_947 | 来源:互联网 | 2023-09-05 12:46
1.应用
-
打开浏览器,右键-检查,点击Net work,勾选Preserve log
-
访问github登陆的url地址 https://github.com/login
-
输入账号密码点击登陆后,访问一个需要登陆后才能获取正确内容的url,比如点击右上角的Your profile访问https://github.com/USER_NAME
-
确定url之后,再确定发送该请求所需要的请求头信息中的User-Agent和COOKIE
-
从浏览器中复制User-Agent和COOKIE
-
浏览器中的请求头字段和值与headers参数中必须一致
-
headers请求参数字典中的COOKIE键对应的值是字符串
import requestsurl = 'https://github.com/USER_NAME'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.87 Safari/537.36','COOKIE': 'xxx这里是复制过来的COOKIE字符串'
}
resp = requests.get(url, headers=headers)
print(resp.text)
2.COOKIE
注意:COOKIE一般是有过期时间的,一旦过期需要重新获取
有三种方法设置COOKIE:
1)上述方式 header
2)通过COOKIE参数
1.COOKIEs参数的形式:字典
COOKIEs = {"COOKIE的name":"COOKIE的value"}
- 该字典对应请求头中COOKIE字符串,以分号、空格分割每一对字典键值对
- 等号左边的是一个COOKIE的name,对应COOKIEs字典的key
- 等号右边对应COOKIEs字典的value
2.COOKIEs参数的使用方法
response = requests.get(url, COOKIEs)
3.当我们复制浏览器的COOKIE时,要把字符串转换为字典
3)通过respose对象的COOKIEs属性
使用requests获取的resposne对象,具有COOKIEs属性。该属性值是一个COOKIEJar类型,包含了对方服务器设置在本地的COOKIE。
response.COOKIEs返回的就是COOKIEJar类型的对象
requests.utils.dict_from_COOKIEjar函数返回COOKIEs字典
COOKIEs_dict = requests.utils.dict_from_COOKIEjar(response.COOKIEs)