H264NALU说明

在H.264/AVC视频编码标准中&＃xff0c;编码的数据流&＃xff08;位流&＃xff09;由两个层面组成&＃xff1a;
视频编码层面&＃xff08;VCL&＃xff09;和网络抽象层面&＃xff08;NAL&＃xff09;。

H264编码产生的结果&＃xff08;位流&＃xff09;首先为视频编码层&＃xff08;VCL)&＃xff0c;为了便于网络传输与存储&＃xff0c;需要将编码层的VCL数据再打包成NAL(全称Network Abstract Layer)&＃xff0c;即网络抽象层。其中&＃xff0c;前者负责有效表示视频数据的内容&＃xff0c;而后者则负责格式化数据并提供头信息&＃xff0c;以保证数据适合各种信道和存储介质上的传输。

做流媒体研发的工作只需要关心NAL层&＃xff0c;不一定需要掌握VCL层数据。

一个NAL的单元称为NALU&＃xff0c;WEBRTC的RTP发送的是NALU数据。

NAL单元是NAL的基本语法结构&＃xff0c;它包含一个字节的头信息和一系列来自VCL的称为原始字节序列载荷&＃xff08;RBSP&＃xff09;的字节流。

H264一帧压缩数据有几个NALU

一个视频帧输出的结果可以打包成一个NALU&＃xff0c;也可能有多个NALU&＃xff0c;含有多个NALU叫多个slice&＃xff08;multiple slices&＃xff09;。Slice&＃xff08;分片&＃xff09;&＃xff0c;h264编码可以将一幅图片分割成若干个Slice&＃xff0c;Slice承载固定数目的宏块。将一幅图片分割成若干Slice的目的是&＃xff0c;为限制误码的扩散和传输。如果H264的一个帧被分片编码&＃xff0c;则每个slice最后将产生一个NALU。

如果NALU对应的Slice为一帧的开始&＃xff0c;则用4字节表示&＃xff0c;即0x00000001&＃xff0c;代表一个帧头的起始码前缀&＃xff1b;否则用3字节表示&＃xff0c;0x000001&＃xff0c;就是一个完整的帧被编为多个slice的时候&＃xff0c;第二个slice及以后的Slice的nalu使用3字节起始码。

NALU结构

NALU有一个NALU头字段&＃xff0c;长度为一个字节&＃xff0c;结构如下&＃xff1a;

NAL Header&＃xff1a;

forbidden_bit&＃xff1a; 1 bit
nal_reference_bit&＃xff08;优先级&＃xff09;&＃xff1a;2bit&＃xff0c;
nal_unit_type&＃xff08;类型&＃xff09;&＃xff1a;5bit。

NALU头部各字段的含义解释

nal_unit_type&＃xff1a;
 标识NAL单元中的RBSP数据类型&＃xff0c;其中&＃xff0c;
nal_unit_type为1&＃xff0c; 2&＃xff0c; 3&＃xff0c; 4&＃xff0c; 5的NAL单元称为VCL的NAL单元&＃xff0c;
其他类型的NAL单元为非VCL的NAL单元。

nal_unit_type 的各种值的含义如下&＃xff1a;

0&＃xff1a;未定义
1&＃xff1a;非IDR图像中不采用数据划分的片段
2&＃xff1a;非IDR图像中A类数据划分片段
3&＃xff1a;非IDR图像中B类数据划分片段
4&＃xff1a;非IDR图像中C类数据划分片段
5&＃xff1a;IDR图像的片段
6&＃xff1a;补充增强信息&＃xff08;SEI&＃xff09;
7&＃xff1a;序列参数集&＃xff08;SPS&＃xff09;
8&＃xff1a;图像参数集&＃xff08;PPS&＃xff09;
9&＃xff1a;分割符
10&＃xff1a;序列结束符
11&＃xff1a;流结束符
12&＃xff1a;填充数据
13&＃xff1a;序列参数集扩展
14&＃xff1a;带前缀的NAL单元
15&＃xff1a;子序列参数集
16 – 18&＃xff1a;保留
19&＃xff1a;不采用数据划分的辅助编码图像片段
20&＃xff1a;编码片段扩展
21 – 23&＃xff1a;保留
24 – 31&＃xff1a;未规定

nal_reference_bit&＃xff1a;

用于表示该NAL是否可以丢弃&＃xff08;有无被其后的NAL参考&＃xff09;&＃xff0c;
00b表示没有参考作用&＃xff0c;可丢弃&＃xff0c;如B slice、SEI等&＃xff0c;
非零——包括01b、10b、11b——表示该NAL不可丢弃&＃xff0c;如SPS、PPS、I Slice、P Slice等。

forbidden_bit&＃xff1a; 

在 H.264 规范中规定了这一位必须为 0.禁止位&＃xff0c;0表示正常&＃xff0c;1表示错误&＃xff0c;一般都是0&＃xff1b;

 
常用的NAL头的取值&＃xff1a;

0x67: SPS 
0x68: PPS 
0x65: IDR   
0x61: non-IDR Slice
0x01: B Slice
0x06: SEI
0x09: AU Delimiter