python(653)爬虫处理防盗链获取视频

想要获得某处的视频资源&＃xff0c;但由于防盗链的存在&＃xff0c;使得在使用浏览器的开发页面获得的视频地址与我们实际获取的地址产生差异。通过观察比较&＃xff0c;我们可以将获得的内容进行拼接&＃xff0c;得到真实的地址&＃xff0c;从而得到资源。

1 拿到contId

实际上&＃xff0c;通过下划线 _可以将页面的URL进行切割&＃xff0c;后面的部分就是 contId。
以本网站CSDN为例&＃xff0c;https://csdn.net/video_723774782 的下划线后面的数字就是 contId。

2 拿到video_status返回的json -----> src Url

首先&＃xff0c;获取视频状态的URL&＃xff0c;以及获取的请求方式。

其次&＃xff0c;进行headers的身份伪装&＃xff0c;以及防盗链的处理。

此处的防盗链指的是&＃xff0c;网站会检查你本次访问请求的上一次访问URL在哪里。

比如你现在在A&＃xff0c;要访问C&＃xff0c;需要进行 A ------> B ------> C的访问路径。此时你已经访问到了 C &＃xff0c;那么防盗链就是检查你的上一次访问请求是不是从 B 来的&＃xff0c;如果是 B &＃xff0c;那么没问题&＃xff1b; 如果不是&＃xff0c;说明异常。

3 对src Url 进行修整

得到json形式的src_url后&＃xff0c;我们将其中的部分参数以字典形式存放&＃xff0c;来将其修改&＃xff0c;以便于得到真实的url。

此处说明一下&＃xff0c;如果不懂得如何通过浏览器的开发者平台获取网页资源的真实url&＃xff0c;可以参考笔者的文章。
python-(6-4-4)爬虫—bs解析案例—爬取图片

笔者在完整的代码中将需要替换的内容进行了标注&＃xff0c;请自行查看代码&＃xff0c;此处不作重点说明。

4 下载资源

与下载图片相同&＃xff0c;下载视频也是使用with open()函数&＃xff0c;注意保存的路径即可。

import requests
# 网页的URL
url &＃61; "https://www.pearvideo.com/video_1515705"
# 得到contId
cont_id &＃61; url.split("_")[1]
# 得到视频状态的url
video_status_url &＃61; f"https://www.pearvideo.com/videoStatus.jsp?contId&＃61;{cont_id}&mrd&＃61;0.9091697417206721"
headers &＃61; {
"User-Agent": "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Mobile Safari/537.36",
# 防盗链: 溯源&＃xff0c;当前本次请求的上一级是xxx
"Referer": url
}
# 通过requests访问得到响应
resp &＃61; requests.get(url&＃61;video_status_url,headers&＃61;headers)
# 用字典接收得到的返回值
dict &＃61; resp.json()
# 此处比较真实的视频URL和我们获取的URL
# https://video.pearvideo.com/mp4/adshort/20190211/cont-1515705-13566075_adpkg-ad_hd.mp4
# https://video.pearvideo.com/mp4/adshort/20190211/1670482977937-13566075_adpkg-ad_hd.mp4
# 我们得到的src url
src_url &＃61; dict["videoInfo"]["videos"]["srcUrl"]
# 需要被替换的参数
system_time &＃61; dict["systemTime"]
# 最终需要的真实视频的url
src_url &＃61; src_url.replace(system_time, f"cont-{cont_id}")
print(src_url)
# 下载视频
with open("pear.mp4",mode&＃61;"wb") as f:
# 将视频内容直接写入到文件中
f.write(requests.get(src_url).content)
# 关闭请求响应的连接
resp.close()