HTML5视频直播

目前视频直播&＃xff0c;尤其是移动端的视频直播已经火到不行了&＃xff0c;基本上各大互联网公司都有了自己的直播产品&＃xff0c;所以对于直播的一些基本知识和主要技术点也要有所了解&＃xff0c;本次分享就向大家介绍一下其中的奥秘。

内容大体框架: 
1. 怎样利用 HTML5 来播放直播视频 
2. 怎样录制直播视频 
3. 怎样实时上传直播视频 
4. 直播中的用户交互

分享人介绍&＃xff1a;

吕鸣 目前在腾讯SNG担任手Q的web前端开发工作 
博客&＃xff1a;http://www.nihaoshijie.com.cn/

下面是本期分享内容整理

Hello, 大家好&＃xff0c;我是吕鸣&＃xff0c;目前是在腾讯 SNG 的即通应用部负责手Q的兴趣部落 Web 前端开发工作。

针对目前比较火的视频直播&＃xff0c;我做了一些研究和探索&＃xff0c;同时我们的项目将会用到直播为此打下技术基础&＃xff0c;下面就向大家分享一下直播的整个流程和一些技术点。

一、移动视频直播发展

大家首先来看下面这张图:

可以看到&＃xff0c;直播从 PC 到一直发展到移动端&＃xff0c;越来越多的直播类 App 上线&＃xff0c;同时移动直播进入了前所未有的爆发阶段&＃xff0c;但是对于大多数移动直播来说&＃xff0c;还是要以 Native 客户端实现为主&＃xff0c;但是 HTML5 在移动直播端也承载着不可替代的作用&＃xff0c;例如 HTML5 有着传播快&＃xff0c;易发布的优势&＃xff0c;同时最为关键的时 HTML5 同样可以播放直播视频。

大家可以看下面这张大概的实现图

完整的直播可以分为以下几块&＃xff1a;

1. 视频录制端&＃xff1a;一般是电脑上的音视频输入设备或者手机端的摄像头或者麦克风&＃xff0c;目前以移动端的手机视频为主。
2. 视频播放端&＃xff1a;可以是电脑上的播放器&＃xff0c;手机端的 Native 播放器&＃xff0c;还有就是 HTML5 的 video 标签等&＃xff0c;目前还是已手机端的 Native 播放器为主。
3. 视频服务器端&＃xff1a;一般是一台 nginx 服务器&＃xff0c;用来接受视频录制端提供的视频源&＃xff0c;同时提供给视频播放端流服务。

大家可以看下大致的结构图&＃xff1a;

二、HTML5 录制视频&＃xff1a;

对于HTML5视频录制&＃xff0c;可以使用强大的 webRTC &＃xff08;Web Real-Time Communication&＃xff09;是一个支持网页浏览器进行实时语音对话或视频对话的技术&＃xff0c;缺点是只在 PC 的 Chrome 上支持较好&＃xff0c;移动端支持不太理想。

使用 webRTC 录制视频基本流程是&＃xff1a;

1. 调用 window.navigator.webkitGetUserMedia() 获取用户的PC摄像头视频数据。
2. 将获取到视频流数据转换成 window.webkitRTCPeerConnection (一种视频流数据格式)。
3. 利用 webscoket 将视频流数据传输到服务端

由于许多方法都要加上浏览器前缀&＃xff0c;所以很多移动端的浏览器还不支持 webRTC&＃xff0c;所以真正的视频录制还是要靠客户端&＃xff08;iOS,Android&＃xff09;来实现,效果会好一些。

三、HTML5 播放直播视频&＃xff1a;

对于视频播放&＃xff0c;可以使用 HLS(HTTP Live Streaming)协议播放直播流&＃xff0c;iOS和 Android 都天然支持这种协议&＃xff0c;配置简单&＃xff0c;直接使用 video 标签即可。

下面是简单的代码使用 video 播放直播视频&＃xff1a;

1.什么是 HLS 协议:

简单讲就是把整个流分成一个个小的&＃xff0c;基于 HTTP 的文件来下载&＃xff0c;每次只下载一些&＃xff0c;前面提到了用于 HTML5 播放直播视频时引入的一个 .m3u8 的文件&＃xff0c;这个文件就是基于 HLS 协议&＃xff0c;存放视频流元数据的文件。

每一个 .m3u8 文件&＃xff0c;分别对应若干个 ts 文件&＃xff0c;这些 ts 文件才是真正存放视频的数据&＃xff0c;m3u8 文件只是存放了一些 ts 文件的配置信息和相关路径&＃xff0c;当视频播放时&＃xff0c;.m3u8 是动态改变的&＃xff0c;video 标签会解析这个文件&＃xff0c;并找到对应的 ts 文件来播放&＃xff0c;所以一般为了加快速度&＃xff0c;.m3u8 放在 Web 服务器上&＃xff0c;ts 文件放在 CDN 上。

.m3u8 文件&＃xff0c;其实就是以 UTF-8 编码的 m3u 文件&＃xff0c;这个文件本身不能播放&＃xff0c;只是存放了播放信息的文本文件。

打开之后就是这个样子&＃xff1a;

下面这个是 ts 文件&＃xff0c;就是存放视频的文件&＃xff1a;

2.HLS 的请求流程&＃xff1a;

1. HTTP 请求 m3u8 的 url。
2. 服务端返回一个 m3u8 的播放列表&＃xff0c;这个播放列表是实时更新的&＃xff0c;一般一次给出5段数据的 url。
3. 客户端解析 m3u8 的播放列表&＃xff0c;再按序请求每一段的 url&＃xff0c;获取 ts 数据流。

大概是这个流程&＃xff1a;

3.HLS 直播延时:

我们知道 hls 协议是将直播流分成一段一段的小段视频去下载播放的&＃xff0c;所以假设列表里面的包含5个 ts 文件&＃xff0c;每个 TS 文件包含5秒的视频内容&＃xff0c;那么整体的延迟就是25秒。因为当你看到这些视频时&＃xff0c;主播已经将视频录制好上传上去了&＃xff0c;所以时这样产生的延迟。当然可以缩短列表的长度和单个 ts 文件的大小来降低延迟&＃xff0c;极致来说可以缩减列表长度为1&＃xff0c;并且 ts 的时长为1s&＃xff0c;但是这样会造成请求次数增加&＃xff0c;增大服务器压力&＃xff0c;当网速慢时回造成更多的缓冲&＃xff0c;所以苹果官方推荐的 ts 时长时10s&＃xff0c;所以这样就会大改有30s的延迟。所以服务器接收流&＃xff0c;转码&＃xff0c;保存&＃xff0c;切块&＃xff0c;再分发给客户端&＃xff0c;这里就延时的根本原因。

更多关于延迟的问题可以参考苹果官方地址&＃xff1a; 
https://developer.apple.com/library/ios/documentation/NetworkingInternet/Conceptual/StreamingMediaGuide/FrequentlyAskedQuestions/FrequentlyAskedQuestions.html

但是 HTML5 直播视频却有一些不可替代的优势:

1. 传播性好&＃xff0c;利于分享等操作。
2. 可以动态发布&＃xff0c;有利于实时迭代产品需求并迅速上线。
3. 不用安装 App&＃xff0c;直接打开浏览器即可。

四、iOS 采集&＃xff08;录制&＃xff09;音视频数据OS

关于音视频采集录制&＃xff0c;首先明确下面几个概念&＃xff1a;

• 视频编码&＃xff1a;所谓视频编码就是指通过特定的压缩技术&＃xff0c;将某个视频格式的文件转换成另一种视频格式文件的方式&＃xff0c;我们使用的 iPhone 录制的视频&＃xff0c;必须要经过编码&＃xff0c;上传&＃xff0c;解码&＃xff0c;才能真正的在用户端的播放器里播放。
• 编解码标准&＃xff1a;视频流传输中最为重要的编解码标准有国际电联的 H.261、H.263、H.264&＃xff0c;其中 HLS 协议支持 H.264 格式的编码。
• 音频编码&＃xff1a;同视频编码类似&＃xff0c;将原始的音频流按照一定的标准进行编码&＃xff0c;上传&＃xff0c;解码&＃xff0c;同时在播放器里播放&＃xff0c;当然音频也有许多编码标准&＃xff0c;例如 PCM 编码&＃xff0c;WMA 编码&＃xff0c;AAC 编码等等&＃xff0c;这里我们 HLS 协议支持的音频编码方式是 AAC 编码。

利用 iOS 上的摄像头&＃xff0c;进行音视频的数据采集&＃xff0c;主要分为以下几个步骤&＃xff1a;

1. 音视频的采集&＃xff0c;iOS 中&＃xff0c;利用 AVCaptureSession 和 AVCaptureDevice 可以采集到原始的音视频数据流。
2. 对视频进行 H264 编码&＃xff0c;对音频进行 AAC 编码&＃xff0c;在 iOS 中分别有已经封装好的编码库来实现对音视频的编码。
3. 对编码后的音、视频数据进行组装封包&＃xff1b;
4. 建立 RTMP 连接并上推到服务端。

下面是具体的采集音视频数据的流程&＃xff1a;

1.关于 RTMP&＃xff1a;

Real Time Messaging Protocol&＃xff08;简称 RTMP&＃xff09;是 Macromedia 开发的一套视频直播协议&＃xff0c;现在属于 Adobe。和 HLS 一样都可以应用于视频直播&＃xff0c;区别是 RTMP 基于 flash 无法在 iOS 的浏览器里播放&＃xff0c;但是实时性比 HLS 要好。所以一般使用这种协议来上传视频流&＃xff0c;也就是视频流推送到服务器。

下面是 HLS 和 RTMP 的对比&＃xff1a;

2.推流

所谓推流&＃xff0c;就是将我们已经编码好的音视频数据发往视频流服务器中&＃xff0c;在 iOS 代码里面一般常用的是使用 RTMP 推流&＃xff0c;可以使用第三方库 librtmp-iOS 进行推流&＃xff0c;librtmp 封装了一些核心的 API 供使用者调用。例如推流 API 等等&＃xff0c;配置服务器地址&＃xff0c;即可将转码后的视频流推往服务器。

那么如何搭建一个推流服务器呢&＃xff1f;

简单的推流服务器搭建&＃xff0c;由于我们上传的视频流都是基于 RTMP 协议的&＃xff0c;所以服务器也必须要支持 RTMP 才行&＃xff0c;大概需要以下几个步骤&＃xff1a;

1. 安装一台 nginx 服务器。
2. 安装 nginx 的 RTMP 扩展&＃xff0c;目前使用比较多的是 https://github.com/arut/nginx-rtmp-module
3. 配置 nginx 的 conf 文件
4. 重启 nginx&＃xff0c;将 RTMP 的推流地址写为 rtmp://ip:1935/hls/mystream&＃xff0c; 其中 hls_path 表示生成的 .m3u8 和 ts 文件所存放的地址&＃xff0c;hls_fragment 表示切片时长&＃xff0c;mysteam 表示一个实例&＃xff0c;即将来要生成的文件名可以先自己随便设置一个。

更多配置可以参考&＃xff1a;https://github.com/arut/nginx-rtmp-module/wiki/

下面是 nginx 的配置文件

五、直播中的用户交互&＃xff1a;

对于直播中的用户交互大致可以分为&＃xff1a;

1. 送礼物
2. 发表评论或者弹幕

对于送礼物&＃xff0c;在 HTML5 端可以利用 DOM 和 CSS3 实现送礼物逻辑和一些特殊的礼物动画&＃xff0c;实现技术难点不大。

对于弹幕来说&＃xff0c;要稍微复杂一些&＃xff0c;可能需要关注以下几点&＃xff1a;

1. 弹幕实时性&＃xff0c;可以利用 webscoket 来实时发送和接收新的弹幕并渲染出来。
2. 对于不支持 webscoket 的浏览器来说&＃xff0c;只能降级为长轮询或者前端定时器发送请求来获取实时弹幕。
3. 弹幕渲染时的动画和碰撞检测(即弹幕不重叠)等等

六、总结

目前较为成熟的直播产品&＃xff0c;大致都是以 Server 端和 HTML5 和 Native(android,ios)搭配实现直播&＃xff1a;

基本是下图这个套路&＃xff1a;

所以 HTML5 在整个直播中&＃xff0c;还是有着重要的地位的&＃xff01;

Demo 分享

最后&＃xff0c;根据本次分享的内容&＃xff0c;我这边实现了一个 iOS 端录制&＃xff0c;推流&＃xff0c;NGINX 接收流&＃xff0c;同时分发的 HLS 直播流的一整套 Demo&＃xff0c;感兴趣的同学可以看下面这个链接:

https://github.com/lvming6816077/LMVideoTest

好了&＃xff0c;本次分享先到这里了&＃xff0c;谢谢大家~

互动问答环节

Q1: Demo 包含 iOS 端的 RTMP 播放不&＃xff1f;

答&＃xff1a;Demo 里面没有 RTMP 的播放&＃xff0c;Demo 主要是提供录制&＃xff0c;推流的。

Q2: 对于 HTML5 HLS 播放 卡顿问题&＃xff0c;前端与 server 端&＃xff0c;有什么配置上的优化吗&＃xff1f;

答&＃xff1a;server 端要做好分片策略&＃xff0c;同时要将 ts 文件放在 CDN 上&＃xff0c;前端这边可以尽量做到 DNS 缓存等&＃xff0c;由于HTML5是使用的 video 标签&＃xff0c;所以要修改 video 的播放优化&＃xff0c;还是不那么容易。

Q3: 在手机推流时的码率是根据怎样的策略做选择的&＃xff1f;不同机型和网络下如何保持流畅&＃xff1f;

答&＃xff1a;可以提供不同的视频码率来供用户选择&＃xff0c;例如网速差的可以选择较为低清晰度的码率&＃xff0c;网络好的用户可以选择更加清晰的码率&＃xff0c;同时做好视频播放端的容错和异常处理等等。

Q4: RTMP 比起 HTTP 他的优势主要是几种在哪里&＃xff1f;

答&＃xff1a;RTMP 是基于 TCP 的保持的是长连接&＃xff0c;而 HTTP 是一次性的&＃xff0c;每次都要三次握手&＃xff0c;所以对于直播来说还是 RTMP 好一些

Q5: 据我所知 nginx rtmp-module 好像性能不是很高…..为什么会采用这个来作为后端服务&＃xff1f;

答&＃xff1a;这里只是 Demo 用了这个 nginx rtmp-module&＃xff0c;其实也可已选择 SRS(simple-rtmp-server)都是可以的哈

Q6: 移动端这边怎么进行编码转码&＃xff1f;用 ffmpeg 编译时很麻烦

答&＃xff1a;关于 iOS 这边&＃xff0c;其实不用关心转码问题&＃xff0c;因为已经有了很多开源的库提供给我们了例如&＃xff1a; 
x264 编码&＃xff1a;https://github.com/kewlbear/x264-ios 
faac 编码&＃xff1a;https://github.com/fflydev/faac-ios-build

Q7: 您介绍的都是 Native 播放和还有 HTML5 的 video 标签播放, iOS 端有没有考虑过整个用原生的 OC 或者 Swift 实现?

答&＃xff1a;关于播放端&＃xff0c;其实真正体验好的还是要用 native 来实现的&＃xff0c;而且 native 实现可以用 RTMP 来播放直播&＃xff0c;延迟会好很多&＃xff0c;HTML5 来播直播主要是考虑到易传播性好。

Q8: 在用户非常多的情况下&＃xff0c;或者网络慢的情况下&＃xff0c;有什么策略可以保证质量&＃xff1f;

答&＃xff1a;可以提供不同的视频码率来供用户选择&＃xff0c;例如网速差的可以选择较为低清晰度的码率&＃xff0c;网络好的用户可以选择更加清晰的码率&＃xff0c;同时做好视频播放端的容错和异常处理等等。

Q9: 请问直播这块的测试中关注的几个指标是什么&＃xff0c;有什么比较好的测试方法呢&＃xff1f;

答&＃xff1a;主要就是&＃xff1a; 
1. 首次打开的白屏时间 
2. 直播中的卡顿和缓冲 
3. 直播的延时

Q10: 您提供的 Demo 为什么不是 HTML5 的呢 iOS 推流和 nginx 服务器都有&＃xff0c;能不能提供一个前面第二张叶子美女直播那个页面的 Demo&＃xff1f;

答&＃xff1a;这个 Demo 你下载下拉运行的话&＃xff0c;根据配置就可直接自己实现一个利用 HTML5 直播的页面&＃xff0c;很简单&＃xff0c;就像使用 video 标签一样&＃xff0c;其他的样式你可以自己定制的。

Q11: HLS 的延时有没有比较好的方法解决&＃xff1f;

答&＃xff1a;HLS 确实是会有延迟&＃xff0c;相对比较优的策略是调整好分片策略&＃xff0c;在保证性能的情况下&＃xff0c;和延迟达到平衡。

Q12: 如果加入视频电话功能&＃xff0c;上面的结构需要作什么改变&＃xff1f;视频电话的目的大概是&＃xff1a;直播可以选择某一观众或者多个观众视频对话

答&＃xff1a;视频电话&＃xff0c;也就是说作为视频录制端的同时也作为视频播放端&＃xff0c;所以实现实时电话简单就是&＃xff1a;我在直播的同时观看别人的直播视频&＃xff0c;别人在直播的同时观看我的直播视频&＃xff0c;可以这样理解&＃xff0c;上面的结构复制一份对调即可。

Q13: 如何实现滤镜功能&＃xff1f;

答&＃xff1a;一般是在视频录制之后&＃xff0c;在转码前给视频数据增加滤镜功能&＃xff0c;在 iOS 里可以使用一些滤镜库等等实现滤镜功能

Q14: 在 App 端如果不利用 HTML5 能实现直播吗&＃xff1f;

答&＃xff1a;可以啊&＃xff0c;app 有更加丰富的播放接口&＃xff0c;和开源播放器可以实现直播的。

Q15: 既然 HLS 有较高的延迟 为什么苹果推荐的的方式却是 HLS&＃xff1f;

答&＃xff1a;并不是说苹果主要推荐使用 HLS&＃xff0c;对于 HTML5 来说目前只有这一种比较好的方式来播放直播视频&＃xff0c;所以还是很期待苹果能对延迟问题做一些改进的。

Q16: 同滤镜问题&＃xff0c;音频变声是如何实现的&＃xff1f;

答&＃xff1a;同样是可以在对音频转码前操作。

Q17: 如果针对网络较差的观看用户&＃xff0c;是需要直播推流到服务器后做多份不同分辨率的拷贝&＃xff0c;以适应不同网络的用户观看&＃xff1f;如果是这样的话&＃xff0c;对延迟会不会影响很大&＃xff1f; 毕竟编解码也是需要时间的.

答&＃xff1a;这个其实本身就应该做的&＃xff0c;对于网络差的用户&＃xff0c;完全可以提供给他们较低码率的直播流来减少卡顿问题&＃xff0c;延迟问题的话还是要根据具体使用哪种协议来定。

Q18: 推流目前大部分都是第三方在做&＃xff0c;难度点在哪&＃xff1f;然后目前业内比较成熟的主要哪些&＃xff1f;

答&＃xff1a;难点主要是服务器端的性能压力和分发直播流的效率&＃xff0c;业界都已经有了较成熟的方案&＃xff0c;例如腾讯云的直播。