背景 MP4是我们常见的视频格式&＃xff0c;往往我们在播放服务器视频时直接就是请求的MP4视频源。但其实这样并不好&＃xff0c;MP4头文件[ftyp&＃43;moov]较大&＃xff0c;初始化的播放需要下载完整的头文件并进行解析&＃xff0c;之后再下载一定长度的可播视频片段才能进行播放。另外随着视频尺寸的增大头文件也会不断变大&＃xff0c;这个初始播放时间也会更长。针对这种情况需要一种能加快视频初始解析的方法&＃xff0c;HLS就是苹果提出的用于解决这种问题的方案。
HLS HLS[1] 为HTTP Live Streaming的缩写&＃xff0c;是由苹果公司提出的基于HTTP的流媒体网络传输协议&＃xff0c;它可以同时支持直播和点播&＃xff0c;还支持多清晰度、音视频双轨、字幕等功能。它的原理是将一整条视频分成多段小的视频&＃xff0c;完整的播放是由这一个个片段拼接而成的。
HLS在移动端使用很广泛&＃xff0c;当前支持HLS协议的客户端有&＃xff1a;
iOS 3.0及以上&＃xff0c;AVPlayer原生支持HLS Android 3.0及以上 Adobe Flash Player 11.0及以上 它的大致原理是这样的&＃xff1a;
1、采集音视频
2、在服务器编码音视频
3、编码后以MPEG-2的传输串流形式交由切片器(Stream Segmenter)
4、切片器创建索引文件和ts播放列表&＃xff0c;索引文件用于指示音视频位置&＃xff0c;ts为真实的多媒体片段
5、将上一步资源放到HTTP服务器上
6、客户端请求该索引文件进行播放&＃xff0c;可以通过索引文件找到播放内容
参考资料&＃xff1a;HTTP Live Streaming Document[2]
M3U8 实现HLS的一个关键步骤是上面的第四步&＃xff0c;即索引文件和ts播放列表的组织。这里用到的就是M3U8格式。M3U8是Unicode版本的M3U&＃xff0c;8代表使用的是UTF-8编码&＃xff0c;M3U和M3U8都是多媒体列表的文件格式。
接下来我们以一条WWDC里的视频为例&＃xff0c;看下M3U8格式是什么样子的&＃xff0c;下文展示的并非M3U8格式所有字段&＃xff0c;但会包含常用的字段&＃xff0c;也足以帮助我们理解M3U8这一格式。
播放页面为&＃xff1a;https://developer.apple.com/videos/play/wwdc2019/507 &＃xff0c;通过Charles进行抓包&＃xff0c;我们可以得到视频播放过程中的M3U8文件。
在分析这个路径格式前&＃xff0c;我们需要知道 M3U8 是有两种格式的&＃xff0c;一种是作为主播放列表(Master Playlist)存在&＃xff0c;它里面包含了音视频、字幕的一些说明和路径&＃xff0c;主列表指示的路径是另一个M3U8文件&＃xff0c;即另一个格式&＃xff0c;作为播放存在的&＃xff0c;它里面也有路径&＃xff0c;指示的是片段(ts)文件&＃xff0c;片段文件是真正的多媒体内容。
看抓包内容&＃xff0c;hls_vod_mvp.m3u8为主列表文件&＃xff0c;上面的0640.m3u8为视频列表文件。
有时做测试&＃xff0c;或者一些特殊情况时我们可能需要手动修改M3U8文件内容&＃xff0c;所以需要对它的格式有一定的了解。该格式的定义写在RFC 8216[3] 号文件里&＃xff0c;以下是一些注意事项&＃xff1a;
M3U8文件必须以UTF-8进行编码&＃xff0c;不能使用 Byte Order Mark(BOM)字节序&＃xff0c; 不能包含 utf-8 控制字符(U&＃43;0000 ~ U_001F 和 U&＃43;007F ~ u&＃43;009F) M3U8文件内容的每一行要么是空行&＃xff0c;要么是一个URI&＃xff0c;要么是以#开头的字符串&＃xff0c;不能出现空白字符。 内置标签都是#EXT开头的字符串&＃xff0c;大小写敏感。 URI为内容路径&＃xff0c;可以是相对路径也可以是绝对路径 主M3U8索引文件&＃xff0c;一般用于指定多个索引源。我们先分析下该主m3u8文件hls_vod_mvp.m3u8的内容&＃xff0c;它的头部是这样的
#EXTM3U
#EXTM3U表明该文件是一个M3U格式&＃xff0c;所有的M3U格式文件都应该把该内容放置到第一行。
#EXT-X-VERSIOn指示播放列表的兼容版本&＃xff0c;当前为7。
#EXT-X-INDEPENDENT-SEGMENTS该标签表明对于一个媒体片段中的所有媒体样本均可独立进行解码&＃xff0c;而无须依赖其他媒体片段信息。
再往下的内容是一些字幕说明&＃xff0c;字幕内容不是必须的。
#EXT-X-MEDIA:TYPE&＃61;SUBTITLES,GROUP-ID&＃61;"subs",NAME&＃61;"English",DEFAULT&＃61;YES,AUTOSELECT&＃61;YES,FORCED&＃61;NO,LANGUAGE&＃61;"eng",URI&＃61;"subtitles/eng/prog_index.m3u8"
#EXT-X-MEDIA用于指定相同内容的多语言媒体列表资源。
TYPE为资源类型&＃xff0c;可选内容有&＃xff1a;AUDIO、VIDEO、SUBTITLES、CLOSED-CAPTIONS。
上面内容设置的是TYPE&＃61;SUBTITLES&＃xff0c;即为字幕类型。
GROUP-ID为多语言翻译所属组&＃xff0c;为必选参数
NAME为翻译流可读的描述信息&＃xff0c;该值对应AVMediaSelectionOption的displayName。
DEFAULT&＃xff0c;AUTOSELECT&＃xff0c;FORCED为三个BOOL值分别对应如果缺少必要信息时是否默认选中该翻译流&＃xff0c;用户没有显示设置时播放该播放流&＃xff0c;FORCED只针对字幕类型有效&＃xff0c;用于标记当前自动选择该翻译流。
LANGUAGE用于指定语言类型&＃xff0c;它是根据ISO 639 语言码[4] 标准设置的。系统默认的播放器在选择字幕时&＃xff0c;展示的字幕列表名称是根据这个值设定的。
URI为该资源的定位信息&＃xff0c;在这里其对应的是一条字幕的M3U8文件。subtitles/eng/prog_index.m3u8是一个相对路径&＃xff0c;
通过以上信息&＃xff0c;我们可以分析出上面内容的含义为&＃xff1a;当前视频支持三种字幕&＃xff1a;英文&＃xff0c;日文&＃xff0c;中文。但每种语言都有两条EXT-X-MEDIA信息&＃xff0c;他们的区别是分组不同&＃xff0c;一个在subs分组&＃xff0c;一个在subsC分组。为啥有两个分组&＃xff0c;这个后面再说。
再往下看&＃xff0c;为视频内容的索引&＃xff1a;
#EXT-X-STREAM-INF:BANDWIDTH&＃61;827299,AVERAGE-BANDWIDTH&＃61;747464,CODECS&＃61;"avc1.64001f,mp4a.40.2",RESOLUTION&＃61;640x360,FRAME-RATE&＃61;29.970,AUDIO&＃61;"program_audio",SUBTITLES&＃61;"subs"
EXT-X-STREAM-INF&＃xff1a;该属性指定了一个备份源&＃xff0c;即视频播放路径和一些视频的信息&＃xff0c;以下是对应内容的配置&＃xff1a;BANDWIDTH为峰值比特率&＃xff0c; 827299&＃xff0c;为827299bit/s&＃xff0c;即最高峰值时每秒消耗流量101KB。
AVERAGE-BANDWIDTH为平均比特率&＃xff0c;747464
CODECS为编码信息&＃xff0c;avc1.64001f,mp4a.40.2&＃xff0c;avc代表的是h264编码格式&＃xff0c;后面的64001f&＃xff0c;是由16进制表示的编码参数&＃xff0c;64&＃xff0c;00&＃xff0c;1f分别代表三个不同的参数值。mp4a是一种音频编码格式&＃xff0c;后面的40.2代表音频的编码参数。
RESOLUTION为视频分辨率&＃xff0c;当前一条视频源分辨率为640x360。
FRAME-RATE为最大帧率&＃xff0c;29.970 代表当前播放的最大帧率为每秒29.970帧。
AUDIO是音频所在组&＃xff0c;program_audio为对应音频组的名称。
SUBTITLES指示对应的字幕分组&＃xff0c;subs为对应字幕组的名称。上面的字幕信息有个GROUP-ID&＃xff0c;该值与之对应。
URI为内容路径&＃xff0c;0640/0640.m3u8对应的就是该视频源的m3u8文件路径。这个可以在抓包信息里看到。
在EXT-X-STREAM-INF下面是EXT-X-I-FRAME-STREAM-INF&＃xff0c;表示播放列表文件中包含的多媒体资源的I帧(关键帧)。因为I帧只是一个画面&＃xff0c;所以它不包含音频内容&＃xff0c;其余参数跟视频内容格式一致。
在之后就是对应不同分别率的视频源&＃xff0c;1920x1080、1280x720、960x540、480x270&＃xff0c;因为HLS会根据网络情况自行切换清晰度&＃xff0c;所以一般会准备多个清晰度以供选择。根据抓包数据分析&＃xff0c;播放的第一个片段是640清晰度的&＃xff0c;之后的第2-8个片段为480清晰度&＃xff0c;再之后又切换到了640清晰度。
再往下看是对应音频的索引
#EXT-X-MEDIA:TYPE&＃61;AUDIO,GROUP-ID&＃61;"program_audio",LANGUAGE&＃61;"eng",NAME&＃61;"Alternate Audio",AUTOSELECT&＃61;YES,DEFAULT&＃61;YES,URI&＃61;"audio1/audio1.m3u8"
#EXT-X-MEDIA上面出现过&＃xff0c;为多语言没提列表。
TYPE&＃61;AUDIO&＃xff0c;这次类型为音频。
GROUP-ID为分组ID&＃xff0c;对应EXT-X-STREAM-INF里的AUDIO内容。
URI&＃61;audio1/audio1.m3u8对应音频路径。
在该主M3U8文件中我们还能看到一条640分辨率的视频源&＃xff0c;它与上面的640分辨率还不一样&＃xff0c;它的内容是这样的&＃xff1a;
#EXT-X-STREAM-INF:BANDWIDTH&＃61;1922391,AVERAGE-BANDWIDTH&＃61;1276855,VIDEO-RANGE&＃61;SDR,CODECS&＃61;"hvc1.2.4.H150.B0,mp4a.40.2",RESOLUTION&＃61;640x360,FRAME-RATE&＃61;29.970,AUDIO&＃61;"program_audio_0",SUBTITLES&＃61;"subsC"
CODECS编码格式为hvc1.2.4.H150.B0,mp4a.40.2&＃xff0c;音频编码格式没变&＃xff0c;但视频编码格式变了。hvc1是HEVC(H265)编码格式里的一种&＃xff0c;它是由苹果推出的新一代视频编码格式&＃xff0c;因为兼容性问题很多客户端还无法解析该格式&＃xff0c;所以并不是很普及&＃xff0c;该格式的视频源出现在这里应该是一种备用。对比相同分辨率的两条内容&＃xff0c;还能发现hvc1格式会比avc1格式比特率更高&＃xff0c;这说明相同分辨率下hvc1的内容更大&＃xff0c;avc1的压缩比更高。
对应hvc1格式的视频源&＃xff0c;它的字幕内容分组和音频内容分组也都变了&＃xff0c;这也是为什么上面的字幕同一语种会有两份&＃xff0c;他们分别对应avc1和hvc1格式的视频源。
M3U8的主列表就这些内容了&＃xff0c;该条内容的音视频是分开处理的&＃xff0c;其实也可以合在一起。
以0640.m3u8这个文件为例
#EXTM3U
#EXTM3U&＃xff0c;#EXT-X-VERSION&＃xff0c;分别为M3U文件头和兼容版本号&＃xff0c;这种格式是早期的所以版本号比主文件低一些。
EXT-X-TARGETDURATION代表每个播放片段的最大时长&＃xff0c;7&＃xff0c;代表7秒&＃xff0c;该目录下的片段不能超过7s。
EXT-X-MEDIA-SEQUENCE代表播放列表的第一个片段序号&＃xff0c;1&＃xff0c;代表播放片段是从1开始的。
#EXTINF代表片段的时长&＃xff0c;6.006表示当前片段为6.006s。视频总时长的信息是通过该值累加获取的。
0640_00001.ts为片段的相对路径&＃xff0c;ts文件代表一段视频或者音频&＃xff0c;它可以是ts&＃xff0c;mp4&＃xff0c;aac等格式。因为前面已经指定了从1开始&＃xff0c;所以这里序号是0640_00001。
#EXT-X-ENDLIST为媒体内容的结束标识&＃xff0c;因为m3u8即可以表示点播也可以表示直播&＃xff0c;区分点播还是直播就看文件末尾是否有这个标识符。如果没有的话就代表直播&＃xff0c;播放会一直持续下去。
音频文件audio1.m3u8&＃xff0c;字幕文件pro_index.m3u8的内容也是类似的&＃xff0c;区别在于他们的切片内容一个是acc的音频文件&＃xff0c;一个是webvtt的字幕文件。
包含切片内容的M3U8也可以作为独立的视频链接存在&＃xff0c;这时切片内容就需要同时包含音视频内容了。
HLS协议支持加密&＃xff0c;如果索引文件中包含了一个密钥文件的信息&＃xff0c;那接下来的媒体文件就必须使用密钥解密后才能解密打开了。当前的 HLS 支持使用16-octet 类型密钥的 AES-128 加密。这个密钥格式是一个由这在二进制格式中的16个八进制组的数组打包而成的。
加密的配置模式通常包含三种&＃xff1a;
模式一&＃xff1a;允许你在磁盘上制定一个密钥文件路径&＃xff0c;切片器会在索引文件中插入存在的密钥文件的 URL。所有的媒体文件都使用该密钥进行加密。
模式二&＃xff1a;切片器会生成一个随机密钥文件&＃xff0c;将它保存在指定的路径&＃xff0c;并在索引文件中引用它。所有的媒体文件都会使用这个随机密钥进行加密。
模式三&＃xff1a;每 n 个片段生成一个随机密钥文件&＃xff0c;并保存到指定的位置&＃xff0c;在索引中引用它。这个模式的密钥处于轮流加密状态。每一组 n 个片段文件会使用不同的密钥加密。
参考&＃xff1a;HLS-iOS视频播放服务架构深入探究(一)[5]
参考资料 [1]
HLS: https://developer.apple.com/streaming/
[2]
HTTP Live Streaming Document: https://developer.apple.com/library/archive/documentation/NetworkingInternet/Conceptual/StreamingMediaGuide/Introduction/Introduction.html#//apple_ref/doc/uid/TP40008332-CH1-SW1
[3]
RFC 8216: https://tools.ietf.org/html/rfc8216
[4]
ISO 639 语言码: https://www.w3.org/WAI/ER/WD-AERT/iso639.htm
[5]
HLS-iOS视频播放服务架构深入探究(一): http://yangchao0033.github.io/blog/2016/01/29/hls-1/
京公网安备 11010802041100号