只要30行代码！7步教会你Python爬取网页抖音热门视频

前言

抖音短视频相信大家都听过&＃xff0c;也不陌生对吧&＃xff01;可以看到海量的短视频&＃xff0c;涵盖了各大行业。个人觉得抖音有毒&＃xff0c;刷着刷着根本停不下来&＃xff0c;一看时间就是凌晨3、4点。今天带大家爬取抖音网页版的视频数据&＃xff01;一睹为快吧

1、系统分析网页性质

2、正则提取数据&＃xff08;难点&＃xff09;

3、海量音频数据保存

python 3.6
pycharm
requests
re

1、分析目标网页&＃xff0c;确定爬取的url路径&＃xff0c;headers参数

2、发送请求 -- requests 模拟浏览器发送请求&＃xff0c;获取响应数据

3、解析数据 -- 正则表达式

4、保存数据 -- 保存在目标文件夹中

1、导入工具

base_url &＃61; &＃39;http://douyin.bm8.com.cn/d_1.html&＃39;
headers &＃61; {&＃39;User-Agent&＃39;: &＃39;Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36&＃39;}

2、分析目标网页&＃xff0c;确定爬取的url路径&＃xff0c;headers参数

base_url &＃61; &＃39;http://douyin.bm8.com.cn/d_1.html&＃39;
headers &＃61; {&＃39;User-Agent&＃39;: &＃39;Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36&＃39;}

3、发送请求 -- requests 模拟浏览器发送请求&＃xff0c;获取响应数据

response &＃61; requests.get(url&＃61;base_url, headers&＃61;headers)
html_data &＃61; response.text

4、解析数据 -- 正则表达式

pattern &＃61; re.compile(&＃39;onclick&＃61;"open1\(\&＃39;(.*?)\&＃39;,\&＃39;(.*?)\&＃39;,\&＃39;\&＃39;\)&＃39;)
result &＃61; pattern.findall(html_data)
print(result)

5、构建一个for循环

for page in range(8, 10):print(&＃39;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;正在取第{}页数据&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃39;.format(page))# 1、分析目标网页&＃xff0c;确定爬取的url路径&＃xff0c;headers参数base_url &＃61; &＃39;http://douyin.bm8.com.cn/d_{}.html&＃39;.format(page)headers &＃61; {&＃39;User-Agent&＃39;: &＃39;Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36&＃39;}

6、处理文件名非法字符

def change_title(title):pattern &＃61; re.compile(r"[\/\\\:\*\?\"\<\>\|]") # &＃39;/ \ : * ? " <> |&＃39;new_title &＃61; re.sub(pattern, "_", title) # 替换为下划线return new_title

7、保存数据 -- 保存在目标文件夹中

for title, url in result:# 请求抖音视频数据data &＃61; requests.get(url&＃61;url, headers&＃61;headers).contentnew_title &＃61; change_title(title)with open(&＃39;videos\\&＃39; &＃43; new_title &＃43; &＃39;.mp4&＃39;, mode&＃61;&＃39;wb&＃39;) as f:f.write(data)print(&＃39;保存完成:&＃39;, title)