音视频流媒体————基本概念

sensor 采集到YUV数据后&＃xff0c;送到编码器进行编码&＃xff0c;获取编码后的数据&＃xff0c;然后进行封装发送&＃xff0c;进行播放。

ES流

ES–Elementary Streams (原始流)是直接从编码器出来的数据流&＃xff0c;可以是编码过的视频数据流&＃xff08;H.264,MJPEG等&＃xff09;&＃xff0c;音频数据流&＃xff08;AAC&＃xff09;&＃xff0c;或其他编码数据流的统称。

ES流经过PES打包器之后&＃xff0c;被转换成PES包。

ES是只包含一种内容的数据流&＃xff0c;如只含视频或只含音频等&＃xff0c;打包之后的PES也是只含一种性质的ES,如只含视频ES的PES,只含音频ES的PES等。

每个ES都由若干个存取单元&＃xff08;AU&＃xff09;组成&＃xff0c;每个视频AU或音频AU都是由头部和编码数据两部分组成&＃xff0c;1个AU相当于编码的1幅视频图像或1个音频帧&＃xff0c;也可以说&＃xff0c;每个AU实际上是编码数据流的显示单元&＃xff0c;即相当于解码的1幅视频图像或1个音频帧的取样。

PES流

PES–Packetized Elementary Streams (分组的ES)&＃xff0c;ES形成的分组称为PES分组&＃xff0c;是用来传递ES的一种数据结构。

PES流是ES流经过PES打包器处理后形成的数据流&＃xff0c;在这个过程中完成了将ES流分组、打包、加入包头信息等操作&＃xff08;对ES流的第一次打包&＃xff09;。

PES流的基本单位是PES包。PES包由包头和payload组成。

PTS、DTS

PTS–PresentationTime Stamp&＃xff08;显示时间标记&＃xff09;表示显示单元出现在系统目标解码器&＃xff08;H.264、MJPEG等&＃xff09;的时间。

DTS–Decoding Time Stamp&＃xff08;解码时间标记&＃xff09;表示将存取单元全部字节从解码缓存器移走的时间。

PTS/DTS是打在PES包的包头里面的&＃xff0c;这两个参数是解决音视频同步显示&＃xff0c;防止解码器输入缓存上溢或下溢的关键。每一个I&＃xff08;关键帧&＃xff09;、P&＃xff08;预测帧&＃xff09;、B&＃xff08;双向预测 帧&＃xff09;帧的包头都有一个PTS和DTS&＃xff0c;但PTS与DTS对于B帧不一样&＃xff0c;无需标出B帧的DTS&＃xff0c;对于I帧和P帧&＃xff0c;显示前一定要存储于视频解码器的重新排序缓存器中&＃xff0c;经过延迟&＃xff08;重新排序&＃xff09;后再显示&＃xff0c;所以一定要分别标明PTS和DTS。

PS

PS–Program Stream(节目流)PS流由PS包组成&＃xff0c;而一个PS包又由若干个PES包组成&＃xff08;到这里&＃xff0c;ES经过了两层的封装&＃xff09;。PS包的包头中包含了同步信息与时钟恢复信息。一个PS包最多可包含具有同一时钟基准的16个视频PES包和32个音频PES包。

TS

TS–Transport Stream&＃xff08;传输流&＃xff09;由定长的TS包组成&＃xff08;188字节&＃xff09;&＃xff0c;而TS包是对PES包的一个重新封装&＃xff08;到这里&＃xff0c;ES也经过了两层的封装&＃xff09;。PES包的包头信息依然存在于TS包中。

TS流与PS流的区别在于TS流的包结构是固定长度的,而PS流的包结构是可变长度的。PS包由于长度是变化的,一旦丢失某一PS包的同步信息,接收机就会进入失步状态,从而导致严重的信息丢失事件。而TS码流由于采用了固定长度的包结构,当传输误码破坏了某一TS包的同步信息时,接收机可在固定的位置检测它后面包中的同步信息,从而恢复同步,避免了信息丢失。因此在信道环境较为恶劣、传输误码较高时一般采用TS码流,而在信环境较好、传输误码较低时一般采用PS码流。

TS单一码流、混合码流

单一性&＃xff1a;TS流的基本组成单位是长度为188字节的TS包。

混合性&＃xff1a; TS流由多种数据组合而成&＃xff0c;一个TS包中的数据可以是视频数据&＃xff0c;音频数据&＃xff0c;填充数据&＃xff0c;PSI/SI表格数据等&＃xff08;唯一的PID对应&＃xff09;。

基本流程

1&＃xff09;A/D转换后&＃xff0c;通过MPEG-2压缩编码得到的ES基本流。这个数据流很大&＃xff0c;并且只是I&＃xff0c;P&＃xff0c;B的这些视频帧或音频取样信息。

2&＃xff09;通过PES打包器&＃xff0c;打包并在每个帧中插入 PTS/DTS标志&＃xff0c;变成PES。原来是流的格式&＃xff0c;现在成了数据包的分割形式。

3&＃xff09;PES根据需要打包成PS或TS包进行存储&＃xff08;DVD&＃xff09;或传输(DVB)。因每路音/视频只包含一路的编码数据流&＃xff0c;所以每路PES也只包含相应的数据流。

参考文献

1、https://blog.csdn.net/huangblog/article/details/8740571
2、https://blog.csdn.net/yangguoyu8023/article/details/96894755