H265打包成RTP包详解

        在我们的高清视频传输中&＃xff0c;一般都需要对视频信息进行指定协议的打包&＃xff0c;RTP是比较常用的一种视频打包负载传输方式&＃xff0c;那么具体是怎么打包的呢&＃xff1f;今天就简单介绍一下。

1.H265的结构

       在H265中&＃xff0c;每一个前缀码00000001后面跟随的前两个字节为NALU的语法元素&＃xff0c;总体结构如下:   

这两个字节字段分布如下&＃xff0c;F(forbidden_zero_bit)通常为0&＃xff0c;LayId(nuh_layer_id)通常为0&＃xff0c;Tid(nuh_temporal_id_plus1)通常为1&＃xff0c;所以对一段码流来说第二字节通常都是1。 

      1. 当收到NALU单元长度小于MTU时&＃xff0c;直接把00000001/000001前缀去掉&＃xff0c;加上RTPHead即可 

      2.当收到NALU单元长度大于MTU时&＃xff0c;需要做FU分包处理&＃xff0c;先把00000001前缀&＃43;2B类型去掉&＃xff0c;然后对剩下的数据分包处理。分包的每一段数据前加上FUHead,FUHead长度是3字节。FUHead[0],FUHead[1]的结构和H265NULU类型2B结构相同&＃xff0c;只是Type取值49即可。FUHead[2]结构如下&＃xff0c;S置1表示分包开始&＃xff0c;E置1分包结束&＃xff0c;中间包都不置1&＃xff0c;后面6bit就是H265的类型字段。本篇介绍一下H265怎么打包RTP&＃xff0c;在H265中&＃xff0c;每一个前缀码00000001后面跟随的前两个字节为NALU的语法元素&＃xff0c;总体结构如下:

        H265类型定义如下&＃xff1a;

/*** Table 7-1: NAL unit type codes*/
enum HEVCNALUnitType {HEVC_NAL_TRAIL_N &＃61; 0,HEVC_NAL_TRAIL_R &＃61; 1,HEVC_NAL_TSA_N &＃61; 2,HEVC_NAL_TSA_R &＃61; 3,HEVC_NAL_STSA_N &＃61; 4,HEVC_NAL_STSA_R &＃61; 5,HEVC_NAL_RADL_N &＃61; 6,HEVC_NAL_RADL_R &＃61; 7,HEVC_NAL_RASL_N &＃61; 8,HEVC_NAL_RASL_R &＃61; 9,HEVC_NAL_VCL_N10 &＃61; 10,HEVC_NAL_VCL_R11 &＃61; 11,HEVC_NAL_VCL_N12 &＃61; 12,HEVC_NAL_VCL_R13 &＃61; 13,HEVC_NAL_VCL_N14 &＃61; 14,HEVC_NAL_VCL_R15 &＃61; 15,HEVC_NAL_BLA_W_LP &＃61; 16,HEVC_NAL_BLA_W_RADL &＃61; 17,HEVC_NAL_BLA_N_LP &＃61; 18,HEVC_NAL_IDR_W_RADL &＃61; 19,HEVC_NAL_IDR_N_LP &＃61; 20,HEVC_NAL_CRA_NUT &＃61; 21,HEVC_NAL_IRAP_VCL22 &＃61; 22,HEVC_NAL_IRAP_VCL23 &＃61; 23,HEVC_NAL_RSV_VCL24 &＃61; 24,HEVC_NAL_RSV_VCL25 &＃61; 25,HEVC_NAL_RSV_VCL26 &＃61; 26,HEVC_NAL_RSV_VCL27 &＃61; 27,HEVC_NAL_RSV_VCL28 &＃61; 28,HEVC_NAL_RSV_VCL29 &＃61; 29,HEVC_NAL_RSV_VCL30 &＃61; 30,HEVC_NAL_RSV_VCL31 &＃61; 31,HEVC_NAL_VPS &＃61; 32,HEVC_NAL_SPS &＃61; 33,HEVC_NAL_PPS &＃61; 34,HEVC_NAL_AUD &＃61; 35,HEVC_NAL_EOS_NUT &＃61; 36,HEVC_NAL_EOB_NUT &＃61; 37,HEVC_NAL_FD_NUT &＃61; 38,HEVC_NAL_SEI_PREFIX &＃61; 39,HEVC_NAL_SEI_SUFFIX &＃61; 40,};

来看一段FFmpeg的源码&＃xff1a;

static void nal_send(AVFormatContext *ctx, const uint8_t *buf, int len, int last_packet_of_frame){RTPMuxContext *rtp_ctx &＃61; ctx->priv_data;int rtp_payload_size &＃61; rtp_ctx->max_payload_size - RTP_HEVC_HEADERS_SIZE;int nal_type &＃61; (buf[0] >> 1) & 0x3F;//长度max_payload_size) {/* use the original NAL unit buffer and transmit it as RTP payload */ff_rtp_send_data(ctx, buf, len, last_packet_of_frame);} else {/*create the HEVC payload header and transmit the buffer as fragmentation units (FU)0 10 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5&＃43;-&＃43;-&＃43;-&＃43;-&＃43;-&＃43;-&＃43;-&＃43;-&＃43;-&＃43;-&＃43;-&＃43;-&＃43;-&＃43;-&＃43;-&＃43;-&＃43;|F| Type | LayerId | TID |&＃43;-------------&＃43;-----------------&＃43;F &＃61; 0Type &＃61; 49 (fragmentation unit (FU))LayerId &＃61; 0TID &＃61; 1*///分包先赋值RTP头三个字节//类型49表示该包是FU分包rtp_ctx->buf[0] &＃61; 49 <<1;//保持原来H265类型字段第二个字段 一般都是1rtp_ctx->buf[1] &＃61; 1;/*create the FU header0 1 2 3 4 5 6 7&＃43;-&＃43;-&＃43;-&＃43;-&＃43;-&＃43;-&＃43;-&＃43;-&＃43;|S|E| FuType |&＃43;---------------&＃43;S &＃61; variableE &＃61; variableFuType &＃61; NAL unit type*///保持原来H265类型字段类型字段 rtp_ctx->buf[2] &＃61; nal_type;/* set the S bit: mark as start fragment *///设置开始标志rtp_ctx->buf[2] |&＃61; 1 <<7;/* pass the original NAL header *///去掉H264头类型长度buf &＃43;&＃61; 2;len -&＃61; 2;while (len > rtp_payload_size) {/* complete and send current RTP packet */memcpy(&rtp_ctx->buf[RTP_HEVC_HEADERS_SIZE], buf, rtp_payload_size);ff_rtp_send_data(ctx, rtp_ctx->buf, rtp_ctx->max_payload_size, 0);buf &＃43;&＃61; rtp_payload_size;len -&＃61; rtp_payload_size;/* reset the S bit *///去掉开始结束标志rtp_ctx->buf[2] &&＃61; ~(1 <<7);}/* set the E bit: mark as last fragment *///设置结束标志rtp_ctx->buf[2] |&＃61; 1 <<6;/* complete and send last RTP packet */memcpy(&rtp_ctx->buf[RTP_HEVC_HEADERS_SIZE], buf, len);ff_rtp_send_data(ctx, rtp_ctx->buf, len &＃43; 2, last_packet_of_frame);}}