流媒体专家（4）rtp和rtcp协议详解I

1.1. RTP是什么

RTP全名是Real-time Transport Protocol&＃xff08;实时传输协议&＃xff09;。它是IETF提出的一个标准&＃xff0c;对应的RFC文档为RFC3550&＃xff08;RFC1889为其过期版本&＃xff09;。RFC3550不仅定义了RTP&＃xff0c;而且定义了配套的相关协议RTCP&＃xff08;Real-time Transport Control Protocol&＃xff0c;即实时传输控制协议&＃xff09;。RTP用来为IP网上的语音、图像、传真等多种需要实时传输的多媒体数据提供端到端的实时传输服务。RTP为Internet上端到端的实时传输提供时间信息和流同步&＃xff0c;但并不保证服务质量&＃xff0c;服务质量由RTCP来提供。

数据传输协议RTP&＃xff0c;用于实时传输数据。该协议提供的信息包括&＃xff1a;时间戳&＃xff08;用于同步&＃xff09;、序列号&＃xff08;用于丢包和重排序检测&＃xff09;、以及负载格式&＃xff08;用于说明数据的编码格式&＃xff09;。

控制协议RTCP&＃xff0c;用于QoS反馈和同步媒体流。相对于RTP来说&＃xff0c;RTCP所占的带宽非常小&＃xff0c;通常只有5%。

1.2. RTP的应用环境

RTP用于在单播或多播网络中传送实时数据。它们典型的应用场合有如下几个。

• 简单的多播音频会议。语音通信通过一个多播地址和一对端口来实现。一个用于音频数据&＃xff08;RTP&＃xff09;&＃xff0c;另一个用于控制包&＃xff08;RTCP&＃xff09;。

• 音频和视频会议。如果在一次会议中同时使用了音频和视频会议&＃xff0c;这两种媒体将分别在不同的RTP会话中传送&＃xff0c;每一个会话使用不同的传输地址&＃xff08;IP地址&＃xff0b;端口&＃xff09;。如果一个用户同时使用了两个会话&＃xff0c;则每个会话对应的RTCP包都使用规范化名字CNAME&＃xff08;Canonical Name&＃xff09;。与会者可以根据RTCP包中的CNAME来获取相关联的音频和视频&＃xff0c;然后根据RTCP包中的计时信息(Network time protocol)来实现音频和视频的同步。

• 翻译器和混合器。翻译器和混合器都是RTP级的中继系统。翻译器用在通过IP多播不能直接到达的用户区&＃xff0c;例如发送者和接收者之间存在防火墙。当与会者能接收的音频编码格式不一样&＃xff0c;比如有一个与会者通过一条低速链路接入到高速会议&＃xff0c;这时就要使用混合器。在进入音频数据格式需要变化的网络前&＃xff0c;混合器将来自一个源或多个源的音频包进行重构&＃xff0c;并把重构后的多个音频合并&＃xff0c;采用另一种音频编码进行编码后&＃xff0c;再转发这个新的RTP包。从一个混合器出来的所有数据包要用混合器作为它们的同步源&＃xff08;SSRC&＃xff0c;见RTP的封装&＃xff09;来识别&＃xff0c;可以通过贡献源列表&＃xff08;CSRC表&＃xff0c;见RTP的封装&＃xff09;可以确认谈话者。

1.3. 相关概念

1.3.1. 流媒体

流媒体是指Internet上使用流式传输技术的连续时基媒体。当前在Internet上传输音频和视频等信息主要有两种方式&＃xff1a;下载和流式传输两种方式。

下载情况下&＃xff0c;用户需要先下载整个媒体文件到本地&＃xff0c;然后才能播放媒体文件。在视频直播等应用场合&＃xff0c;由于生成整个媒体文件要等直播结束&＃xff0c;也就是用户至少要在直播结束后才能看到直播节目&＃xff0c;所以用下载方式不能实现直播。

流式传输是实现流媒体的关键技术。使用流式传输可以边下载边观看流媒体节目。由于Internet是基于分组传输的&＃xff0c;所以接收端收到的数据包往往有延迟和乱序&＃xff08;流式传输构建在UDP上&＃xff09;。要实现流式传输&＃xff0c;就是要从降低延迟和恢复数据包时序入手。在发送端&＃xff0c;为降低延迟&＃xff0c;往往对传输数据进行预处理&＃xff08;降低质量和高效压缩&＃xff09;。在接收端为了恢复时序&＃xff0c;采用了接收缓冲&＃xff1b;而为了实现媒体的流畅播放&＃xff0c;则采用了播放缓冲。

使用接收缓冲&＃xff0c;可以将接收到的数据包缓存起来&＃xff0c;然后根据数据包的封装信息&＃xff08;如包序号和时戳等&＃xff09;&＃xff0c;将乱序的包重新排序&＃xff0c;最后将重新排序了的数据包放入播放缓冲播放。

为什么需要播放缓冲呢&＃xff1f;容易想到&＃xff0c;由于网络不可能很理想&＃xff0c;并且对数据包排序需要处理时耗&＃xff0c;我们得到排序好的数据包的时间间隔是不等的。如果不用播放缓冲&＃xff0c;那么播放节目会很卡&＃xff0c;这叫时延抖动。相反&＃xff0c;使用播放缓冲&＃xff0c;在开始播放时&＃xff0c;花费几十秒钟先将播放缓冲填满&＃xff08;例如PPLIVE&＃xff09;&＃xff0c;可以有效地消除时延抖动&＃xff0c;从而在不太损失实时性的前提下实现流媒体的顺畅播放。

到目前为止,Internet 上使用较多的流式视频格式主要有以下三种:RealNetworks 公司的RealMedia ,Apple 公司的QuickTime 以及Microsoft 公司的Advanced Streaming Format (ASF) 。

上面在谈接收缓冲时&＃xff0c;说到了流媒体数据包的封装信息&＃xff08;包序号和时戳等&＃xff09;&＃xff0c;这在后面的RTP封装中会有体现。另外&＃xff0c;RealMedia这些流式媒体格式只是编解码有不同&＃xff0c;但对于RTP来说&＃xff0c;它们都是待封装传输的流媒体数据而没有什么不同。

2.1. RTP的协议层次

2.1.1. 传输层的子层

RTP&＃xff08;实时传输协议&＃xff09;&＃xff0c;顾名思义它是用来提供实时传输的&＃xff0c;因而可以看成是传输层的一个子层。图 1给出了流媒体应用中的一个典型的协议体系结构。

​ 图 1 流媒体体系结构

从图中可以看出&＃xff0c;RTP被划分在传输层&＃xff0c;它建立在UDP上。同UDP协议一样&＃xff0c;为了实现其实时传输功能&＃xff0c;RTP也有固定的封装形式。RTP用来为端到端的实时传输提供时间信息和流同步&＃xff0c;但并不保证服务质量。服务质量由RTCP来提供。这些特点&＃xff0c;在第4章可以看到。

2.1.2. 应用层的一部分

不少人也把RTP归为应用层的一部分&＃xff0c;这是从应用开发者的角度来说的。操作系统中的TCP/IP等协议栈所提供的是我们最常用的服务&＃xff0c;而RTP的实现还是要靠开发者自己。因此从开发的角度来说&＃xff0c;RTP的实现和应用层协议的实现没不同&＃xff0c;所以可将RTP看成应用层协议。

RTP实现者在发送RTP数据时&＃xff0c;需先将数据封装成RTP包&＃xff0c;而在接收到RTP数据包&＃xff0c;需要将数据从RTP包中提取出来。

2.2. RTP报文

一个协议的封装是为了满足协议的功能需求的。从前面提出的功能需求&＃xff0c;可以推测出RTP封装中应该有同步源和时间戳等字段&＃xff0c;但更为完整的封装是什么样子呢&＃xff1f;请看图2。

​ 图 2 RTP的头部格式

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-2Ra0yEWW-1623588314919)(https://gimg2.baidu.com/image_search/src&＃61;http%3A%2F%2Fwww.myexception.cn%2Fimg%2F2016%2F07%2F17%2F1641031868.jpg&refer&＃61;http%3A%2F%2Fwww.myexception.cn&app&＃61;2002&size&＃61;f9999,10000&q&＃61;a80&n&＃61;0&g&＃61;0n&fmt&＃61;jpeg?sec&＃61;1626178756&t&＃61;69c70ae21a45d5710debea000403ed9b)]

版本号&＃xff08;V&＃xff09;&＃xff1a;2比特&＃xff0c;用来标志使用的RTP版本。

填充位&＃xff08;P&＃xff09;&＃xff1a;1比特&＃xff0c;如果该位置位&＃xff0c;则该RTP包的尾部就包含附加的填充字节。

扩展位&＃xff08;X&＃xff09;&＃xff1a;1比特&＃xff0c;如果该位置位的话&＃xff0c;RTP固定头部后面就跟有一个扩展头部。

CSRC计数器&＃xff08;CC&＃xff09;&＃xff1a;4比特&＃xff0c;记录固定头部后面跟着的CSRC的数目。

标记位&＃xff08;M&＃xff09;&＃xff1a;1比特,该位的解释由配置文档&＃xff08;Profile&＃xff09;来承担.

载荷类型&＃xff08;PT&＃xff09;&＃xff1a;7比特&＃xff0c;标识了RTP载荷的类型。

序列号&＃xff08;SN&＃xff09;&＃xff1a;16比特&＃xff0c;发送方在每发送完一个RTP包后就将该域的值增加1&＃xff0c;接收方可以由该域检测包的丢失及恢复包序列。序列号的初始值是随机的。

时间戳&＃xff1a;32比特&＃xff0c;记录了该包中数据的第一个字节的采样时刻。在一次会话开始时&＃xff0c;时间戳初始化成一个初始值。即使在没有信号发送时&＃xff0c;时间戳的数值也要随时间而不断地增加&＃xff08;时间在流逝嘛&＃xff09;。时间戳是去除抖动和实现同步不可缺少的。

同步源标识符(SSRC)&＃xff1a;32比特&＃xff0c;同步源就是指RTP包流的来源。在同一个RTP会话中不能有两个相同的SSRC值。该标识符是随机选取的 &＃xff0c;RFC1889推荐了MD5随机算法。

贡献源列表&＃xff08;CSRC List&＃xff09;&＃xff1a;0&＃xff5e;15项&＃xff0c;每项32比特&＃xff0c;用来标志对一个RTP混合器产生的新包有贡献的所有RTP包的源。由混合器将这些有贡献的SSRC标识符插入表中。SSRC标识符都被列出来&＃xff0c;以便接收端能正确指出交谈双方的身份。

来自wireshark的截图&＃xff1a;

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-y8aNAJ9w-1623588314922)(C:\Users\hongjh\AppData\Roaming\Typora\typora-user-images\image-20210613203514012.png)]

2.3. RTCP的封装

RTP需要RTCP为其服务质量提供保证&＃xff0c;因此下面介绍一下RTCP的相关知识。

RTCP的主要功能是&＃xff1a;服务质量的监视与反馈、媒体间的同步&＃xff0c;以及多播组中成员的标识。在RTP会话期 间&＃xff0c;各参与者周期性地传送RTCP包。RTCP包中含有已发送的数据包的数量、丢失的数据包的数量等统计资料&＃xff0c;因此&＃xff0c;各参与者可以利用这些信息动态地改变传输速率&＃xff0c;甚至改变有效载荷类型。RTP和RTCP配合使用&＃xff0c;它们能以有效的反馈和最小的开销使传输效率最佳化&＃xff0c;因而特别适合传送网上的实时数据。

从图 1可以看到&＃xff0c;RTCP也是用UDP来传送的&＃xff0c;但RTCP封装的仅仅是一些控制信息&＃xff0c;因而分组很短&＃xff0c;所以可以将多个RTCP分组封装在一个UDP包中。RTCP有如下五种分组类型。

表 1 RTCP的5种分组类型

上述五种分组的封装大同小异&＃xff0c;下面只讲述SR类型&＃xff0c;而其它类型请参考RFC3550。

发送端报告分组SR&＃xff08;Sender Report&＃xff09;用来使发送端以多播方式向所有接收端报告发送情况。SR分组的主要内容有&＃xff1a;相应的RTP流的SSRC&＃xff0c;RTP流中最新产生的RTP分组的时间戳和NTP&＃xff0c;RTP流包含的分组数&＃xff0c;RTP流包含的字节数。SR包的封装如图3所示。

图 3 RTCP头部的格式

版本&＃xff08;V&＃xff09;&＃xff1a;同RTP包头域。

填充&＃xff08;P&＃xff09;&＃xff1a;同RTP包头域。

接收报告计数器&＃xff08;RC&＃xff09;&＃xff1a;5比特&＃xff0c;该SR包中的接收报告块的数目&＃xff0c;可以为零。

包类型&＃xff08;PT&＃xff09;&＃xff1a;8比特&＃xff0c;SR包是200。

长度域&＃xff08;Length&＃xff09;&＃xff1a;16比特&＃xff0c;其中存放的是该SR包以32比特为单位的总长度减一。

同步源&＃xff08;SSRC&＃xff09;&＃xff1a;SR包发送者的同步源标识符。与对应RTP包中的SSRC一样。

NTP Timestamp&＃xff08;Network time protocol&＃xff09;SR包发送时的绝对时间值。NTP的作用是同步不同的RTP媒体流。

RTP Timestamp&＃xff1a;与NTP时间戳对应&＃xff0c;与RTP数据包中的RTP时间戳具有相同的单位和随机初始值。

Sender’s packet count&＃xff1a;从开始发送包到产生这个SR包这段时间里&＃xff0c;发送者发送的RTP数据包的总数. SSRC改变时&＃xff0c;这个域清零。

Sender&＃96;s octet count&＃xff1a;从开始发送包到产生这个SR包这段时间里&＃xff0c;发送者发送的净荷数据的总字节数&＃xff08;不包括头部和填充&＃xff09;。发送者改变其SSRC时&＃xff0c;这个域要清零。

同步源n的SSRC标识符&＃xff1a;该报告块中包含的是从该源接收到的包的统计信息。

丢失率&＃xff08;Fraction Lost&＃xff09;&＃xff1a;表明从上一个SR或RR包发出以来从同步源n(SSRC_n)来的RTP数据包的丢失率。

累计的包丢失数目&＃xff1a;从开始接收到SSRC_n的包到发送SR,从SSRC_n传过来的RTP数据包的丢失总数。

收到的扩展最大序列号&＃xff1a;从SSRC_n收到的RTP数据包中最大的序列号&＃xff0c;

接收抖动&＃xff08;Interarrival jitter&＃xff09;&＃xff1a;RTP数据包接受时间的统计方差估计

上次SR时间戳&＃xff08;Last SR,LSR&＃xff09;&＃xff1a;取最近从SSRC_n收到的SR包中的NTP时间戳的中间32比特。如果目前还没收到SR包&＃xff0c;则该域清零。

上次SR以来的延时&＃xff08;Delay since last SR,DLSR&＃xff09;&＃xff1a;上次从SSRC_n收到SR包到发送本报告的延时。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-lsNXeB6V-1623588314927)(C:\Users\hongjh\AppData\Roaming\Typora\typora-user-images\image-20210613204208973.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3wjya18z-1623588314929)(C:\Users\hongjh\AppData\Roaming\Typora\typora-user-images\image-20210613204323607.png)]

2.4. RTP的会话过程

当应用程序建立一个RTP会话时&＃xff0c;应用程序将确定一对目的传输地址。目的传输地址由一个网络地址和一对端口组成&＃xff0c;有两个端口&＃xff1a;一个给RTP包&＃xff0c;一个给RTCP包&＃xff0c;使得RTP/RTCP数据能够正确发送。RTP数据发向偶数的UDP端口&＃xff0c;而对应的控制信号RTCP数据发向相邻的奇数UDP端口&＃xff08;偶数的UDP端口&＃xff0b;1&＃xff09;&＃xff0c;这样就构成一个UDP端口对。 RTP的发送过程如下&＃xff0c;接收过程则相反。

1. RTP协议从上层接收流媒体信息码流&＃xff08;如H.263&＃xff09;&＃xff0c;封装成RTP数据包&＃xff1b;RTCP从上层接收控制信息&＃xff0c;封装成RTCP控制包。

2. RTP将RTP 数据包发往UDP端口对中偶数端口&＃xff1b;RTCP将RTCP控制包发往UDP端口对中的接收端口。

3.1. 实时流协议RTSP

实时流协议RTSP&＃xff08;Real-Time Streaming Protocol&＃xff09;是IETF提出的协议&＃xff0c;对应的RFC文档为RFC2362。

从图 1可以看出&＃xff0c;RTSP是一个应用层协议&＃xff08;TCP/IP网络体系中&＃xff09;。它以C/S模式工作&＃xff0c;它是一个多媒体播放控制协议&＃xff0c;主要用来使用户在播放流媒体时可以像操作本地的影碟机一样进行控制&＃xff0c;即可以对流媒体进行暂停/继续、后退和前进等控制。

3.2. 资源预定协议RSVP

资源预定协议RSVP(Resource Reservation Protocol)是IETF提出的协议&＃xff0c;对应的RFC文档为RFC2208。

从图 1可以看出&＃xff0c;RSVP工作在IP层之上传输层之下&＃xff0c;是一个网络控制协议。RSVP通过在路由器上预留一定的带宽&＃xff0c;能在一定程度上为流媒体的传输提供服务质量。在某些试验性的系统如网络视频会议工具vic中就集成了RSVP。

4.1. 怎样重组乱序的数据包

可以根据RTP包的序列号来排序。

4.2. 怎样获得数据包的时序

可以根据RTP包的时间戳来获得数据包的时序。

4.3. 声音和图像怎么同步

根据声音流和图像流的相对时间&＃xff08;即RTP包的时间戳&＃xff09;&＃xff0c;以及它们的绝对时间&＃xff08;即对应的RTCP包中的RTCP&＃xff09;&＃xff0c;可以实现声音和图像的同步。

4.4. 接收缓冲和播放缓冲的作用

如1.3.1所述&＃xff0c;接收缓冲用来排序乱序了的数据包&＃xff1b;播放缓冲用来消除播放的抖动&＃xff0c;实现等时播放。

表 2 协议分析要求

表 2给出了协议分析要求。容易看出要获取RTP音频包中的音频信息很容易&＃xff0c;直接将RTP包的包头去掉即可。当然&＃xff0c;要成功地播放解码获取到的音频流&＃xff0c;需要知道其编码&＃xff0c;这可从RTP包包头的有效载荷类型字段&＃xff08;PT&＃xff09;获得。