Python采集喜马拉雅音频数据详解

前言

喜马拉雅是专业的音频分享平台&＃xff0c;汇集了有声小说,有声读物,有声书,FM电台,儿童睡前故事,相声小品,鬼故事等数亿条音频&＃xff0c;我最喜欢听民间故事和德云社相声集&＃xff0c;你呢&＃xff1f;

今天带大家爬取喜马拉雅音频数据&＃xff0c;一起期待吧&＃xff01;&＃xff01;

这个案例的视频地址在这里

很多人学习python&＃xff0c;不知道从何学起。
很多人学习python&＃xff0c;掌握了基本语法过后&＃xff0c;不知道在哪里寻找案例上手。
很多已经做案例的人&＃xff0c;却不知道如何去学习更加高深的知识。
那么针对这三类人&＃xff0c;我给大家提供一个好的学习平台&＃xff0c;免费领取视频教程&＃xff0c;电子书籍&＃xff0c;以及课程的源代码&＃xff01;??¤
QQ群&＃xff1a;828010317

https://v.douyu.com/show/a2JEMJj3e3mMNxml

项目目标

爬取喜马拉雅音频数据

受害者地址

https://www.ximalaya.com/

本文知识点&＃xff1a;

• 1、系统分析网页性质
• 2、多层数据解析
• 3、海量音频数据保存

环境&＃xff1a;

• python 3.6
• pycharm
• requests
• parsel

思路&＃xff1a;(爬虫案例)

• 1.确定数据所在的链接地址(url)
• 2.通过代码发送url地址的请求
• 3.解析数据(要的, 筛选不要的)
• 4.数据持久化(保存)

案例思路&＃xff1a;

• 1. 在静态数据中获取音频的id值
• 2. 发送指定id值json数据请求(src)
• 3. 从json数据中解析音频所对应的URL地址

开始写代码

先导入所需的模块

import requests
import parsel # 数据解析模块
import re

1.确定数据所在的链接地址(url) 逆向分析 网页性质(静态网页/动态网页)

打开开发者工具&＃xff0c;播放一个音频&＃xff0c;在Madie里面可以找到一个数据包

复制URL&＃xff0c;搜索

找到ID值

继续搜索&＃xff0c;找到请求头参数

url &＃61; &＃39;https://www.ximalaya.com/youshengshu/4256765/p{}/&＃39;.format(page)
headers &＃61; {&＃39;user-agent&＃39;: &＃39;Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36&＃39;}

2.通过代码发送url地址的请求

response &＃61; requests.get(url&＃61;url, headers&＃61;headers)
html_data &＃61; response.text

3.解析数据(要的, 筛选不要的) 解析音频的 id值

selector &＃61; parsel.Selector(html_data)
lis &＃61; selector.xpath(&＃39;//div[&＃64;class&＃61;"sound-list _is"]/ul/li&＃39;)for li in lis:try:title &＃61; li.xpath(&＃39;.//a/&＃64;title&＃39;).get() &＃43; &＃39;.m4a&＃39;href &＃61; li.xpath(&＃39;.//a/&＃64;href&＃39;).get()# print(title, href)m4a_id &＃61; href.split(&＃39;/&＃39;)[-1]# print(href, m4a_id)# 发送指定id值json数据请求(src)json_url &＃61; &＃39;https://www.ximalaya.com/revision/play/v1/audio?id&＃61;{}&ptype&＃61;1&＃39;.format(m4a_id)json_data &＃61; requests.get(url&＃61;json_url, headers&＃61;headers).json()# print(json_data)# 提取音频地址m4a_url &＃61; json_data[&＃39;data&＃39;][&＃39;src&＃39;]# print(m4a_url)# 请求音频数据m4a_data &＃61; requests.get(url&＃61;m4a_url, headers&＃61;headers).contentnew_title &＃61; change_title(title)

4.数据持久化(保存)

with open(&＃39;video\\&＃39; &＃43; new_title, mode&＃61;&＃39;wb&＃39;) as f:f.write(m4a_data)print(&＃39;保存完成:&＃39;, title)

最后还要处理文件名非法字符

def change_title(title):pattern &＃61; re.compile(r"[\/\\\:\*\?\"\<\>\|]") # &＃39;/ \ : * ? " <> |&＃39;new_title &＃61; re.sub(pattern, "_", title) # 替换为下划线return new_title

完整代码

import reimport requests
import parsel # 数据解析模块def change_title(title):"""处理文件名非法字符的方法"""pattern &＃61; re.compile(r"[\/\\\:\*\?\"\<\>\|]") # &＃39;/ \ : * ? " <> |&＃39;new_title &＃61; re.sub(pattern, "_", title) # 替换为下划线return new_titlefor page in range(13, 33):print(&＃39;---------------正在爬取第{}页的数据----------------&＃39;.format(page))# 1.确定数据所在的链接地址(url) 逆向分析 网页性质(静态网页/动态网页)url &＃61; &＃39;https://www.ximalaya.com/youshengshu/4256765/p{}/&＃39;.format(page)headers &＃61; {&＃39;user-agent&＃39;: &＃39;Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36&＃39;}# 2.通过代码发送url地址的请求response &＃61; requests.get(url&＃61;url, headers&＃61;headers)html_data &＃61; response.text# print(html_data)# 3.解析数据(要的, 筛选不要的) 解析音频的 id值selector &＃61; parsel.Selector(html_data)lis &＃61; selector.xpath(&＃39;//div[&＃64;class&＃61;"sound-list _is"]/ul/li&＃39;)for li in lis:try:title &＃61; li.xpath(&＃39;.//a/&＃64;title&＃39;).get() &＃43; &＃39;.m4a&＃39;href &＃61; li.xpath(&＃39;.//a/&＃64;href&＃39;).get()# print(title, href)m4a_id &＃61; href.split(&＃39;/&＃39;)[-1]# print(href, m4a_id)# 发送指定id值json数据请求(src)json_url &＃61; &＃39;https://www.ximalaya.com/revision/play/v1/audio?id&＃61;{}&ptype&＃61;1&＃39;.format(m4a_id)json_data &＃61; requests.get(url&＃61;json_url, headers&＃61;headers).json()# print(json_data)# 提取音频地址m4a_url &＃61; json_data[&＃39;data&＃39;][&＃39;src&＃39;]# print(m4a_url)# 请求音频数据m4a_data &＃61; requests.get(url&＃61;m4a_url, headers&＃61;headers).contentnew_title &＃61; change_title(title)# print(new_title)# 4.数据持久化(保存)with open(&＃39;video\\&＃39; &＃43; new_title, mode&＃61;&＃39;wb&＃39;) as f:f.write(m4a_data)print(&＃39;保存完成:&＃39;, title)except:pass

运行代码&＃xff0c;效果如下图