【AndroidRTMP】RTMP数据格式(FLV视频格式分析|AVC序列头格式解析)

安卓直播推流专栏博客总结

---

Android RTMP 直播推流技术专栏 :

0 . 资源和源码地址 :

• 资源下载地址 : 资源下载地址 , 服务器搭建 , x264 , faac , RTMPDump , 源码及交叉编译库 , 本专栏 Android 直播推流源码 ;
• GitHub 源码地址 : han1202012 / RTMP_Pusher

1. 搭建 RTMP 服务器 : 下面的博客中讲解了如何在 VMWare 虚拟机中搭建 RTMP 直播推流服务器 ;

• 【Android RTMP】RTMP 直播推流服务器搭建 ( Ubuntu 18.04.4 虚拟机 )

2. 准备视频编码的 x264 编码器开源库 , 和 RTMP 数据包封装开源库 :

• 【Android RTMP】RTMPDumb 源码导入 Android Studio ( 交叉编译 | 配置 CMakeList.txt 构建脚本 )

• 【Android RTMP】Android Studio 集成 x264 开源库 ( Ubuntu 交叉编译 | Android Studio 导入函数库 )

3. 讲解 RTMP 数据包封装格式 :

• 【Android RTMP】RTMP 数据格式 ( FLV 视频格式分析 | 文件头 Header 分析 | 标签 Tag 分析 | 视频标签 Tag 数据分析 )

• 【Android RTMP】RTMP 数据格式 ( FLV 视频格式分析 | AVC 序列头格式解析 )

4. 图像数据采集 : 从 Camera 摄像头中采集 NV21 格式的图像数据 , 并预览该数据 ;

• 【Android RTMP】Android Camera 视频数据采集预览 ( 视频采集相关概念 | 摄像头预览参数设置 | 摄像头预览数据回调接口 )

• 【Android RTMP】Android Camera 视频数据采集预览 ( NV21 图像格式 | I420 图像格式 | NV21 与 I420 格式对比 | NV21 转 I420 算法 )

• 【Android RTMP】Android Camera 视频数据采集预览 ( 图像传感器方向设置 | Camera 使用流程 | 动态权限申请 )

5. NV21 格式的图像数据编码成 H.264 格式的视频数据 :

• 【Android RTMP】x264 编码器初始化及设置 ( 获取 x264 编码参数 | 编码规格 | 码率 | 帧率 | B帧个数 | 关键帧间隔 | 关键帧解码数据 SPS PPS )

• 【Android RTMP】x264 图像数据编码 ( Camera 图像数据采集 | NV21 图像数据传到 Native 处理 | JNI 传输字节数组 | 局部引用变量处理 | 线程互斥 )

• 【Android RTMP】x264 图像数据编码 ( NV21 格式中的 YUV 数据排列 | Y 灰度数据拷贝 | U 色彩值数据拷贝 | V 饱和度数据拷贝 | 图像编码操作 )

6. 将 H.264 格式的视频数据封装到 RTMP 数据包中 :

• 【Android RTMP】RTMPDump 封装 RTMPPacket 数据包 ( 封装 SPS / PPS 数据包 )

• 【Android RTMP】RTMPDump 封装 RTMPPacket 数据包 ( 关键帧数据格式 | 非关键帧数据格式 | x264 编码后的数据处理 | 封装 H.264 视频数据帧 )

• 【Android RTMP】RTMPDump 推流过程 ( 独立线程推流 | 创建推流器 | 初始化操作 | 设置推流地址 | 启用写出 | 连接 RTMP 服务器 | 发送 RTMP 数据包 )

7. 阶段总结 : 阿里云服务器中搭建 RTMP 服务器 , 并使用电脑软件推流和观看直播内容 ;

• 【Android RTMP】RTMP 直播推流 ( 阿里云服务器购买 | 远程服务器控制 | 搭建 RTMP 服务器 | 服务器配置 | 推流软件配置 | 直播软件配置 | 推流直播效果展示 )

• 【Android RTMP】RTMP 直播推流阶段总结 ( 服务器端搭建 | Android 手机端编码推流 | 电脑端观看直播 | 服务器状态查看 )

8. 处理 Camera 图像传感器导致的 NV21 格式图像旋转问题 :

• 【Android RTMP】NV21 图像旋转处理 ( 问题描述 | 图像顺时针旋转 90 度方案 | YUV 图像旋转细节 | 手机屏幕旋转方向 )

• 【Android RTMP】NV21 图像旋转处理 ( 图像旋转算法 | 后置摄像头顺时针旋转 90 度 | 前置摄像头顺时针旋转 90 度 )

9. 下面这篇博客比较重要 , 里面有一个快速搭建 RTMP 服务器的脚本 , 强烈建议使用 ;

• 【Android RTMP】NV21 图像旋转处理 ( 快速搭建 RTMP 服务器 Shell 脚本 | 创建 RTMP 服务器镜像 | 浏览器观看直播 | 前置 / 后置摄像头图像旋转效果展示 )

10. 编码 AAC 音频数据的开源库 FAAC 交叉编译与 Android Studio 环境搭建 :

• 【Android RTMP】音频数据采集编码 ( 音频数据采集编码 | AAC 高级音频编码 | FAAC 编码器 | Ubuntu 交叉编译 FAAC 编码器 )

• 【Android RTMP】音频数据采集编码 ( FAAC 头文件与静态库拷贝到 AS | CMakeList.txt 配置 FAAC | AudioRecord 音频采样 PCM 格式 )

11. 解析 AAC 音频格式 :

• 【Android RTMP】音频数据采集编码 ( AAC 音频格式解析 | FLV 音频数据标签解析 | AAC 音频数据标签头 | 音频解码配置信息 )

12 . 将麦克风采集的 PCM 音频采样编码成 AAC 格式音频 , 并封装到 RTMP 包中 , 推流到客户端 :

• 【Android RTMP】音频数据采集编码 ( FAAC 音频编码参数设置 | FAAC 编码器创建 | 获取编码器参数 | 设置 AAC 编码规格 | 设置编码器输入输出参数 )

• 【Android RTMP】音频数据采集编码 ( FAAC 编码器编码 AAC 音频解码信息 | 封装 RTMP 音频数据头 | 设置 AAC 音频数据类型 | 封装 RTMP 数据包 )

• 【Android RTMP】音频数据采集编码 ( FAAC 编码器编码 AAC 音频采样数据 | 封装 RTMP 音频数据头 | 设置 AAC 音频数据类型 | 封装 RTMP 数据包 )

---

Android 直播推流流程 : 手机采集视频 / 音频数据 , 视频数据使用 H.264 编码 , 音频数据使用 AAC 编码 , 最后将音视频数据都打包到 RTMP 数据包中 , 使用 RTMP 协议上传到 RTMP 服务器中 ;

上一篇博客 【Android RTMP】RTMP 数据格式 ( FLV 视频格式分析 | 文件头 Header 分析 | 标签 Tag 分析 | 视频标签 Tag 数据分析 ) 中 , 分析了 FLV 视频格式中的文件头 , 标签 , 其中标签分为视频数据标签 , 和音频数据标签 ;

之后选择了一个 $57$ 字节大小的视频数据标签进行分析 , 该视频数据标签标签头 $11$ 字节 , 剩余 $46$ 字节是视频标签数据 , 从标签头中只能知道该 $46$ 字节数据是视频数据 , 具体是什么数据 , 需要看该数据的第 $1$ 个字节的 前四位 ( 帧类型 ) , 后四位 ( 帧编码类型 ) 的帧类型值 , 和 AVC 视频数据包第一字节的类型标志 ;

一、 视频标签内的视频数据格式

---

视频标签中的数据位由两部分组成 , 帧类型 和 AVC 视频数据包 , 蓝色部分是标签头 , 红色部分是标签数据 ;

0x00000182 : 09 00 00 2E 00 00 00 00
0x0000018a : 00 00 00 17 00 00 00 00
0x00000192 : 01 64 00 32 FF E1 00 19
0x0000019a : 67 64 00 32 AC D9 80 78
0x000001a2 : 02 27 E5 84 00 00 03 00
0x000001aa : 04 00 00 1F 40 3C 60 C6
0x000001b2 : 68 01 00 05 68 E9 7B 2C
0x000001ba : 8B 00 00 00 39

下面解析标签数据格式 ;

1 . 帧类型数据 : 第一部分只有 $1$ 字节 , 索引区间 $[0]$ , 该字节需要拆分成 前四位 和 后四位 , 进行解析 ;

① 前四位 : 表示帧类型 , 1 表示关键帧 , 2 表示普通帧 ;

② 后四位 : 表示视频编码类型 , 7 表示 AVC 视频编码 , 一般该值就是 7 ;

③ 以 0x17 为例 : 前四位是 1 , 表示该数据是关键帧数据 ; 后四位是 7 , 表示该数据的编码时 AVC 视频编码 ;

2 . AVC 视频数据包 ( AVCVEDIOPACKET ) 数据 :

① 数据类型 : $1$ 字节 , 索引区间 $[1]$ , 值为 00 表示数据类型为 AVC 序列头 ( 下面有详细说明该类型数据的作用 ) , 值为 01 表示数据是其它单元 ;

② 合成时间 : $3$ 字节 , 索引区间 $[2,4]$ , AVC 数据类型时 , 这三个字节都为 00 , 即 00 00 00 ;

③ 数据信息 : $n$ 字节 , 索引区间 $[5,4\&＃43;n]$ , 数据位 , 不同的帧类型 , 数据类型 , 其数据类型也不同 ;

3 . AVC 序列头简介 :

① 作用 : AVC 序列头的作用是指导接收端如何解码后续的音视频数据 ;

② 解码规则 : 将视频数据包交给播放器 , 播放器需要根据一定的规则进行解码 ;

③ 解码参数 : 将视频数据解码出指定的 YUV 或 RGB 图像数据 , 播放器解码 , 需要知道视频的宽度 , 高度 , 等参数信息 ;

④ 封装参数信息 : 这部分信息就是封装在该 AVC 视频数据包 ( AVCVEDIOPACKET ) 序列头信息中 ;

二、 视频标签数据解析 ( 引入 AVC 序列头 )

---

1 . 视频标签数据 :

① 视频标签中的视频数据 : 一共有 $57$ 字节 ;

0x00000182 : 09 00 00 2E 00 00 00 00
0x0000018a : 00 00 00 17 00 00 00 00
0x00000192 : 01 64 00 32 FF E1 00 19
0x0000019a : 67 64 00 32 AC D9 80 78
0x000001a2 : 02 27 E5 84 00 00 03 00
0x000001aa : 04 00 00 1F 40 3C 60 C6
0x000001b2 : 68 01 00 05 68 E9 7B 2C
0x000001ba : 8B 00 00 00 39


② 视频标签头中的数据 : 标签头有 $11$ 字节 ;

0x00000182 : 09 00 00 2E 00 00 00 00
0x0000018a : 00 00 00


③ 视频标签数据 : 视频数据有 $46$ 字节 ;

17 00 00 00 00
0x00000192 : 01 64 00 32 FF E1 00 19
0x0000019a : 67 64 00 32 AC D9 80 78
0x000001a2 : 02 27 E5 84 00 00 03 00
0x000001aa : 04 00 00 1F 40 3C 60 C6
0x000001b2 : 68 01 00 05 68 E9 7B 2C
0x000001ba : 8B 00 00 00 39


④ 视频标签数据图示 : 下图红框内的数据是 视频标签 中的视频数据 ;

⑤ AVC 视频数据包 ( AVCVEDIOPACKET ) :

00 00 00 00
0x00000192 : 01 64 00 32 FF E1 00 19
0x0000019a : 67 64 00 32 AC D9 80 78
0x000001a2 : 02 27 E5 84 00 00 03 00
0x000001aa : 04 00 00 1F 40 3C 60 C6
0x000001b2 : 68 01 00 05 68 E9 7B 2C
0x000001ba : 8B 00 00 00 39


2 . 解析 AVC 序列头数据 :

① 帧类型数据 : $[0]$ 视频数据描述 , 值为 17 ;

• 高 $4$ 位值为 1 , 表示这是关键帧 ;

• 低 $4$ 位值为 7 , 表示 AVC 视频编码 ;

后面的数据表示 AVC 视频数据包 ( AVCVEDIOPACKET ) , 继续分析后面的数据 ;

② AVC 数据类型 : $[1]$ 表示类型 , 值为 00 , 表示后续数据是 AVC 序列头 ;

③ 合成时间 : $[2,4]$ 表示合成时间 , 00 00 00 , 表示时间 , 一般都是 00 ;

④ AVC 数据位 : $[5,n]$ 数据位 , 数据的内容需要根据 $[1]$ 的类型来封装 , 数据位中的数据是 AVC 序列头数据 ;

3 . 关于 AVC 数据位说明 :

① 序列头数据 : 如果 $[1]$ 的值是 00 表示该数据类型是 AVC 序列头数据 , 那么该数据位的值是 AVC 序列头数据 ;

② 帧数据 : 如果 $[1]$ 的值是 01 , 那么表示该数据的类型是 I帧 / B 帧 / P 帧 等其它单元数据 , 数据位就是对应的帧数据 ;

三、 AVC 序列头格式解析

---

1 . 视频标签中的数据位由两部分组成 , 帧类型 和 AVC 视频数据包 , 蓝色部分是标签头 , 绿色部分是帧类型数据 , 紫色部分是 AVC 数据类型 , 橙色部分是合成时间 , 红色部分是 AVC 序列头数据 ;

0x00000182 : 09 00 00 2E 00 00 00 00
0x0000018a : 00 00 00 17 00 00 00 00
0x00000192 : 01 64 00 32 FF E1 00 19
0x0000019a : 67 64 00 32 AC D9 80 78
0x000001a2 : 02 27 E5 84 00 00 03 00
0x000001aa : 04 00 00 1F 40 3C 60 C6
0x000001b2 : 68 01 00 05 68 E9 7B 2C
0x000001ba : 8B 00 00 00 39

2 . 下面解析 AVC 序列头格式 :

0x00000192 : 01 64 00 32 FF E1 00 19
0x0000019a : 67 64 00 32 AC D9 80 78
0x000001a2 : 02 27 E5 84 00 00 03 00
0x000001aa : 04 00 00 1F 40 3C 60 C6
0x000001b2 : 68 01 00 05 68 E9 7B 2C
0x000001ba : 8B 00 00 00 39


3 . AVC 序列头数据解析 : 下面的值都是 十六进制 , 省略 0x ;

① 版本信息 : $1$ 字节 , 索引区间 $[0]$ ; 值为 01 ;

② 编码规格 : $3$ 字节 , 索引区间 $[1,3]$ , 数据来自 sps[1] , sps[2] , sps[3] 这三个字节的数据 , SPS 与 PPS 是指导播放器解码的数据 , 知道这两个数据 , 播放器就可以知道后续如何解码 ; 这里的值是 64 00 32 ;

③ NALU 长度 : $1$ 字节 , 索引区间 $[4]$ , 一般是 FF , 需要经过计算才能获得包长度 ;

④ SPS 个数 : $1$ 字节 , 索引区间 $[5]$ , 其取值 E1 , 个数需要经过计算 , 0xE1 & 0x1F &＃61; 1 , 个数为 1 ;

⑤ SPS 长度 : $2$ 字节 , 索引区间 $[6,7]$ , 取值 00 19 , 对应十进制的 25 个字节 ;

⑥ SPS 数据 : 下面的 25 个字节就是 SPS 数据 ;

67 64 00 32 AC D9 80 78
0x000001a2 : 02 27 E5 84 00 00 03 00
0x000001aa : 04 00 00 1F 40 3C 60 C6
0x000001b2 : 68


⑦ PPS 个数 : $1$ 字节 , 这里是 01 ;

⑧ PPS 长度 : $2$ 字节 , 这里是 00 05 ;

⑨ PPS 数据 : 下面是对应的 5 个 PPS 数据 ;

68 E9 7B 2C
0x000001ba : 8B


⑩ 整个标签长度 : 00 00 00 39 表示整个标签的长度 , 十进制为 57 ;