如何爬取ajax实时加载多个ts文件的视频

参考http://blog.sina.com.cn/s/blog_81bdf4030102y4fa.html

尝试的linux环境

1.安装python3&＃xff0c;原先安装了python2.7.这里需要ln -s 更改下软连接(改之前移除2.7链接)&＃xff0c;使得用python命令的时候调用的是python3的而不是python2.7

2.用pip3 安装Crypto 用来解密文件&＃xff08;.ts的视频需要解密&＃xff0c;无法直接播放&＃xff09;

3.找到m3u8文件&＃xff0c;此步骤需要我们手动操作&＃xff1a;

刷新视频页面即可找到index.m3u8文件&＃xff0c;然后按f12查看控制台&＃xff0c;

找到后右键复制地址到下面代码中的_url变量即可

解释&＃xff1a;m3u8文件记录了ts视频的解码KEY地址和各视频切片的文件名&＃xff0c;该网址网大的m3u8文件格式如下

不同网站的m3u8文件格式可能不一样。

此处我们需要提取解码key&＃xff0c;并拼接出各个视频文件的地址即可&＃xff0c;代码中已经实现&＃xff0c;无需操作。

4.视频处理-合并视频

程序将提取到的小切片ts视频&＃xff0c;合并成一个大的ts文件。这种格式可以直接使用 windows media player 播放&＃xff0c;但是用QQ视频播放的话会没有声音。

再把ts转诚mp4

linux:安装ffmpeg 工具进行转换。

yum安装的时候提示没有这个安装包&＃xff0c;需要先安装下epel-release.再用yum 安装就有了。

然后根据上诉逻辑的python代码如下&＃xff08;针对windows的&＃xff0c;所以目录还不对&＃xff09;

# -*- coding: UTF-8 -*-
import os
import sys
import requests
import datetime
from Crypto.Cipher import AES
 
def download(url):
    download_path &＃61; os.getcwd() &＃43; "/download"  #os.getcwd()返回当前工作目录
    if not os.path.exists(download_path):
        os.mkdir(download_path)
        
    #新建日期文件夹
    file_time&＃61;datetime.datetime.now().strftime(&＃39;%Y%m%d_%H%M%S&＃39;)
    download_path &＃61; os.path.join(download_path, file_time)
    #print download_path
    os.mkdir(download_path)
        
    all_content &＃61; requests.get(url).text  # 获取第一层M3U8文件内容
    fd &＃61; open(download_path&＃43;&＃39;/indexs.txt&＃39;, &＃39;w&＃39;)  #把所有的.ts文件名称都放在这个文件。

    if "#EXTM3U" not in all_content:
        raise BaseException("非M3U8的链接")
 
    if "EXT-X-STREAM-INF" in all_content:  # 第一层
        file_line &＃61; all_content.split("\n")
        for line in file_line:
            if &＃39;.m3u8&＃39; in line:
                url &＃61; url.rsplit("/", 1)[0] &＃43; "/" &＃43; line # 拼出第二层m3u8的URL
                all_content &＃61; requests.get(url).text
 
    file_line &＃61; all_content.split("\n")
 
    unknow &＃61; True
    key &＃61; ""   
    for index, line in enumerate(file_line): # 第二层
        if "#EXT-X-KEY" in line:  # 找解密Key
            method_pos &＃61; line.find("METHOD")
            comma_pos &＃61; line.find(",")
            method &＃61; line[method_pos:comma_pos].split(&＃39;&＃61;&＃39;)[1]
            print ("Decode Method&＃xff1a;", method)
            
            uri_pos &＃61; line.find("URI")
            quotation_mark_pos &＃61; line.rfind(&＃39;"&＃39;)
            key_path &＃61; line[uri_pos:quotation_mark_pos].split(&＃39;"&＃39;)[1]
            print (key_path)
            key_url&＃61;key_path
            res &＃61; requests.get(key_url)
            key &＃61; res.content
            print ("key&＃xff1a;" , key)            
        if "EXTINF" in line: # 找ts地址并下载
            unknow &＃61; False
            pd_url &＃61; url.rsplit("/", 1)[0] &＃43; "/" &＃43; file_line[index &＃43; 1] # 拼出ts片段的URL
            print (pd_url)            
            res &＃61; requests.get(pd_url)
            c_fule_name &＃61; file_line[index &＃43; 1].rsplit("/", 1)[-1]            
            fd.write(&＃39;file  \&＃39;&＃39;&＃43;c_fule_name&＃43;&＃39;\&＃39;\n&＃39;)
            print(c_fule_name)
            if len(key): # AES 解密
                cryptor &＃61; AES.new(key, AES.MODE_CBC, key)  
                with open(os.path.join(download_path, c_fule_name), &＃39;ab&＃39;) as f:
                    f.write(cryptor.decrypt(res.content))
            else:
                with open(os.path.join(download_path, c_fule_name), &＃39;ab&＃39;) as f:
                    f.write(res.content)
                    f.flush()
    if unknow:
        raise BaseException("未找到对应的下载链接")
    else:
        print ("下载完成")
    
    
    fd.close()
    merge_file(download_path)
    
def merge_file(path):
    os.chdir(path)  #进入到这个目录
    os.system(&＃39;ffmpeg -f concat -i indexs.txt -c copy new.ts&＃39;)  #把文件合并成一个文件
    os.system(&＃39;ffmpeg -i new.ts -q 1 -c copy output.mp4&＃39;)  #转换ts为mp4格式
    os.system(&＃39;del /Q *.ts&＃39;)
    
if __name__ &＃61;&＃61; &＃39;__main__&＃39;: 
    _url&＃61;"https://wangda.andedu.net/default/M00/00/61/...../index.m3u8" #这里的链接  需要换成要爬取的m3u8文件地址。
    download(_url)

还存在小问题&＃xff0c;&＃xff0c;&＃xff0c;&＃xff0c;目前