RTP打包H264的Nalu包解析

1.  预备

      视频&＃xff1a;

             由一副副连续的图像构成&＃xff0c;由于数据量比较大&＃xff0c;因此为了节省带宽以及存储&＃xff0c;就需要进行必要的压缩与解压缩&＃xff0c;也就是编解码。

      h264裸码流&＃xff1a;

             对一个图像或者一个视频序列进行压缩&＃xff0c;即产生码流&＃xff0c;采用H264编码后形成的码流就是h264裸码流。

      码流传输&＃xff1a;

             发送端将H264裸码流打包后进行网络传输&＃xff0c;接收端接收后进行组包还原裸码流&＃xff0c;然后可以再进行存储&＃xff0c;转发&＃xff0c;或者播放等等相关的处理。

             存储转发可以直接使用裸码流&＃xff0c;播放则需要进行解码和显示处理

      解码显示&＃xff1a;       

             一般会解成YUV数据&＃xff0c;然后交给显示相关模块做处理&＃xff0c;如使用openGL或者D3D等进行渲染&＃xff08;采用3d的方式来显示2d的图像称为渲染&＃xff09;。

              解码又分软件解码和硬件解码&＃xff0c;

              &＃xff08;1&＃xff09;软解一般ffmpeg

              &＃xff08;2&＃xff09;硬解则各不同&＃xff0c;由各硬件厂商开放sdk来处理&＃xff0c;如&＃xff1a;hisi&＃xff0c;intel media sdk&＃xff0c;nvida gpu&＃xff0c;apple ios videotoolbox等。

2.  h264码流传输

      类似发送网页文本数据有http一样&＃xff0c;视频数据在网络上传输也有专门的网络协议来支持&＃xff0c;如&＃xff1a;rtsp&＃xff0c;rtmp等。

      由于码流是一帧一帧的图片数据&＃xff0c;所以传输的时候也是一帧帧来传输的&＃xff0c;因此这里就会涉及到各种类型的帧处理了。

      I 帧&＃xff1a; 参考帧或者关键帧&＃xff0c;可以理解为是一帧完整画面&＃xff0c;解码时只需要本帧数据就解码成一幅完整的图片&＃xff0c;数据量比较大。

      P帧&＃xff1a; 差别帧&＃xff0c;只有与前面的帧或I帧的差别数据&＃xff0c;需要依赖前面已编码图象作为参考图象&＃xff0c;才能解码成一幅完整的图片&＃xff0c;数据量小。

      B帧&＃xff1a; 双向差别帧&＃xff0c;也就是B帧记录的是本帧与前后帧的差别&＃xff0c;需要依赖前后帧和I帧才能解码出一幅完整的图片&＃xff0c;数据量小。

      由于I帧比较大&＃xff0c;已经超出mtu最大1500&＃xff0c;所以需要拆包分片传输&＃xff0c;这里说的拆包发送不是指发送超过1500的数据包时tcp的分段传输或者upd的ip分片传输&＃xff0c;而是指rtp协议本身对264的拆包。

      rtp打包后将数据交给tcp或者upd进行传输的时候就已经控制在1500以内&＃xff0c;这样可以提高传输效率&＃xff0c;避免一个I帧万一丢失就会造成花屏或者重传造成延时卡顿等等问题。

      &＃xff08;顺便提一句&＃xff0c;rtmp打包就比较简单&＃xff0c;由于是基于tcp的协议&＃xff0c;大包直接交给tcp去做分段传输&＃xff0c;rtmp通过设置合适的trunk size去发送一帧帧数据&＃xff09;

      既然要进行拆包发送与接收&＃xff0c;就少不了需要相关的包结构以及打包组包了&＃xff0c;继续。。。              

 3.   H264在网络传输的单元&＃xff1a;NALU

        NALU结构&＃xff1a;NALU header(1byte) &＃43; NALU payload

        header 部分可以判断类型等信息&＃xff0c;从右往左的低5个bit位。

        payload 部分可以简单理解为编码后的264帧数据      

        详细可以去查阅 h264 NALU 语法结构

4.   h264的RTP打包

               1.  单NALU&＃xff1a;   P帧或者B帧比较小的包&＃xff0c;直接将NALU打包成RTP包进行传输    RTP header(12bytes) &＃43; NALU header (1byte) &＃43; NALU payload

               2.  多NALU&＃xff1a;   特别小的包几个NALU放在一个RTP包中  

               3.  FUs(Fragment Units):   帧长度超过MTU的&＃xff0c;就必须要拆包组成RTP包了,有FU-A&＃xff0c;FU-B。

            对于FU这种方式的&＃xff0c;RTP包构成为&＃xff1a;RTP header (12bytes)&＃43; FU Indicator (1byte)  &＃43;  FU header(1 byte) &＃43; NALU payload

           看到这里会不禁思考&＃xff0c;

              &＃xff08;1&＃xff09;NALU头不见了&＃xff0c;如何判断类型&＃xff1f;实际上NALU头被分散填充到FU indicator和FU header里面了

                  如果bit位按照从左到右编号0-7来算&＃xff0c;nalu头中0-2前三个bit放在FU indicator的0-2前三个bit中&＃xff0c;后3-7五个bit放入FU header的后3-7五个中。还原的时候也可以从FU的indicator和header中得到&＃xff0c;也就是&＃xff1a;

//NALU header &＃61; (FU indicator & 0xe0) | (FU header & 0x1F)   取FU indicator前三和FU header后五 
headerStart[1] &＃61; (headerStart[0]&0xE0)|(headerStart[1]&0x1F);  

 因此查看I帧p帧类型&＃xff0c;遇到FU分片的&＃xff0c;直接看第二个字节&＃xff0c;即Fu header后五位&＃xff0c;这个跟直接看NALU头并无差异&＃xff0c;一般有&＃xff1a;0x85&＃xff0c;0x05&＃xff0c;0x45等等。对于不是FU分片的&＃xff0c;则因为NALU头是存在的&＃xff0c;直接看就行了。

                   2.  多个RTP包如何还原组合成回一个完整的I或者P帧&＃xff1f; 在FU header中有标记为判断

                         照旧从左到右&＃xff0c;Fu header前两个bit表示start和end标记&＃xff0c;start为1表示一个I或P帧分片开始&＃xff0c;end为1表示一个I或P帧分片结束

                  3.   如何查看是一个I帧分片开始&＃xff1f;   

                        看第一个字节FU Indicator&＃xff0c;照旧从左到右&＃xff0c;Fu Indicator前三个bit是NALU头的前三个bit&＃xff0c;后五位为类型FU-A&＃xff1a;28&＃xff08;11100&＃xff09;&＃xff0c;FU-B&＃xff1a;29&＃xff08;11101&＃xff09;。

                         RTP抓包看下来整个payload是0x7c开头

                         如果不是FU分片&＃xff0c;第一字节就是NALU头&＃xff0c;如&＃xff1a;0x67,0x68,0x41等

5. 抓包分析如下图&＃xff1a;

        --->RTP包中接收的264包是不含有0x00,0x00,0x00,0x01头的&＃xff0c;这部分是rtp接收以后&＃xff0c;另外再加上去的&＃xff0c;解码的时候再做判断的。

      1. SPS

     2.  I帧分片开始&＃xff0c;第一个字节FU Indicator&＃xff0c;0x7c, 后五位11100&＃xff0c;28表示FU-A。

               第二个字节FU Header&＃xff0c;0x85&＃xff0c;前两个bit start位1&＃xff0c;end位0 表示 分片开始&＃xff0c;后五个bit值5&＃xff0c;表示I帧。

        I帧分片&＃xff0c;0x7c开头&＃xff0c;第二个字节0x05, FU Header start和end位 0&＃xff0c;后五个bit值5&＃xff0c;I帧&＃xff0c;表示I帧的中间分片&＃xff0c;不是起始分片也不是终止分片。         

        I帧分片结束&＃xff0c;7c开头&＃xff0c;第二个字节0x45,FU Headr&＃xff0c;start 0,end1&＃xff0c;后五个bit值5&＃xff0c;I帧&＃xff0c; Mark标记一帧结束&＃xff0c;是I帧的终止分片。

    3.  p帧&＃xff0c;第一个字节&＃xff1a;0x41   单帧&＃xff0c;非FU分片形式的。

       4. P帧分片开始&＃xff1a;第一个字节FU Indicator&＃xff0c;0x7c, 后五位11100&＃xff0c;28&＃xff0c;FU-A

                                   第二个字节FU Header&＃xff0c;0x81, 前两个bit start位1&＃xff0c;end位0 表示 分片开始&＃xff0c;后五个bit 值是1&＃xff0c;p帧。

           P帧分片结束&＃xff1a;0x5c开头&＃xff0c;第二个字节0x41,FU Headr&＃xff0c;start 0,end1&＃xff0c;后五个bit值1&＃xff0c;P帧&＃xff0c; Mark标记一帧结束

6.  参考live555相关的源码如下&＃xff1a;

Boolean H264VideoRTPSource
::processSpecialHeader(BufferedPacket* packet, unsigned& resultSpecialHeaderSize)
{unsigned char* headerStart &＃61; packet->data();unsigned packetSize &＃61; packet->dataSize();unsigned numBytesToSkip;// Check the &＃39;nal_unit_type&＃39; for special &＃39;aggregation&＃39; or &＃39;fragmentation&＃39; packets:if (packetSize <1) return False;fCurPacketNALUnitType &＃61; (headerStart[0]&0x1F);//FU Indicator后五位即NALU类型 0x1F &＃61; 0001 1111switch (fCurPacketNALUnitType) {case 24: { // STAP-AnumBytesToSkip &＃61; 1; // discard the type bytebreak;}case 25: case 26: case 27: { // STAP-B, MTAP16, or MTAP24numBytesToSkip &＃61; 3; // discard the type byte, and the initial DONbreak;}case 28: case 29: { // // FU-A or FU-B// For these NALUs, the first two bytes are the FU indicator and the FU header.// If the start bit is set, we reconstruct the original NAL header into byte 1:if (packetSize <2) return False;unsigned char startBit &＃61; headerStart[1]&0x80; //FU Header start标记位 0x80&＃61; 1000 0000unsigned char endBit &＃61; headerStart[1]&0x40; //FU Header End标记位 0x40&＃61; 0100 0000if (startBit) {fCurrentPacketBeginsFrame &＃61; True;headerStart[1] &＃61; (headerStart[0]&0xE0)|(headerStart[1]&0x1F); //还原NALU头numBytesToSkip &＃61; 1;} else {// The start bit is not set, so we skip both the FU indicator and header:fCurrentPacketBeginsFrame &＃61; False;numBytesToSkip &＃61; 2;}fCurrentPacketCompletesFrame &＃61; (endBit !&＃61; 0);break;}default: {// This packet contains one complete NAL unit:fCurrentPacketBeginsFrame &＃61; fCurrentPacketCompletesFrame &＃61; True; //默认没有分片&＃xff0c;完整的NALUnumBytesToSkip &＃61; 0;break;}}resultSpecialHeaderSize &＃61; numBytesToSkip;return True;
}