流媒体知识点概述

流媒体

流媒体&＃xff0c;又叫流式媒体&＃xff0c;是边传边播的媒体&＃xff0c;是多媒体的一种。边传边播是指媒体提供商在网络上传输媒体的同时&＃xff0c;用户一边不断地接收并观看或收听被传输的媒体。“流”媒体的“流”指的是这种媒体的传输方式&＃xff08;流的方式&＃xff09;&＃xff0c;而并不是指媒体本身。流媒体分为直播和点播&＃xff0c;被广泛运用于在线直播、视频点播、远程教育、实时视频会议等领域。

流媒体协议

流媒体协议包括RTP&＃xff0c;RTCP&＃xff0c;RTMP&＃xff0c;MMS&＃xff0c;HLS&＃xff0c;HTTP-FLV等。通常来说点播使用的都是HTTP协议&＃xff0c;直播主要用的是RTMP&＃xff0c;HLS&＃xff0c;HTTP-FLV等。

• RTMP&＃xff1a;是Adobe公司为Flash/AIR平台和服务器之间音、视频及数据传输开发的实时消息传送协议&＃xff0c;协议建立在TCP协议之上。RTMP协议中&＃xff0c;视频必须是H264编码&＃xff0c;音频必须是AAC或MP3编码&＃xff0c;且多以flv格式封包。RTMP是目前最主流的流媒体传输协议&＃xff0c;对CDN支持良好&＃xff0c;实现难度较低&＃xff0c;是大多数的直播平台的选择。RTMP基于flash无法在iOS的浏览器里播放&＃xff0c;但是实时性比HLS要好。

• HLS&＃xff1a;是苹果公司实现的基于HTTP的流媒体传输协议&＃xff0c;可实现流媒体的直播和点播&＃xff0c;iOS和 Android 都天然支持这种协议&＃xff0c;配置简单&＃xff0c;直接使用video标签即可。HLS点播基本上就是常见的分段HTTP点播&＃xff0c;不同在于它的分段非常小。HLS直播的原理是将视频分成5-10秒的小分片&＃xff0c;然后用m3u8索引表进行管理&＃xff0c;由于客户端下载到的视频都是5-10秒的完整数据&＃xff0c;故视频的流畅性很好&＃xff0c;但由于分段推送的技术特点&＃xff0c;决定了HLS的延迟一般会高于普通的流媒体直播协议。

直播的推流和拉流

• 推流&＃xff1a;指的是把采集阶段封包好的内容传输到服务器的过程。

流程如下&＃xff1a;

1.经过输出设备(AVCaptureVideoDataOutput)得到原始的采样数据–视频数据&＃xff08;YUV&＃xff09;和音频数据&＃xff08;AAC&＃xff09;

2.使用硬编码&＃xff08;对应系统的API&＃xff09;或软编码&＃xff08;FFMpeg&＃xff09;来编码压缩音视频数据

3.分别得到已编码的H.264视频数据和AAC音频数据

4.根据不同的封装格式&＃xff08;如FLV、TS、MPEG-TS&＃xff09;

5.使用HLS协议的时候加上这一步&＃xff08;HLS分段生成策略及m3u8索引文件&＃xff09;

6.通过流上传到服务器

7.服务器进行相关协议的分发

• 拉流&＃xff08;播放&＃xff09;&＃xff1a;指服务器已有直播内容&＃xff0c;用指定地址进行拉取的过程。

根据协议类型与服务器建立连接并接收数据流程如下&＃xff1a;

1.解析二进制数据&＃xff0c;从中找到相关流信息

2.根据不同的封装格式&＃xff08;如FLV、TS&＃xff09;解复用&＃xff08;demux&＃xff09;

3.分别得到已编码的H.264视频数据和AAC音频数据

4.使用硬解码&＃xff08;对应系统的API&＃xff09;或软解码&＃xff08;FFMpeg&＃xff09;来解压音视频数据

5.经过解码后得到原始的视频数据&＃xff08;YUV&＃xff09;和音频数据&＃xff08;AAC&＃xff09;

6.因为音频和视频解码是分开的&＃xff0c;所以我们得把它们同步起来&＃xff0c;否则会出现音视频不同步的现象&＃xff0c;比如别人说话会跟口型对不上

7.最后把同步的音频数据送到耳机或外放&＃xff0c;视频数据送到屏幕上显示