FFmpeg模块分类
打开FFmpeg源码&＃xff0c;会发现有一系列libavxxx的模块&＃xff0c;这些模块很好地划分了代码的结构和分工。
- libavformat&＃xff0c;format&＃xff0c;格式封装
- libavcodec&＃xff0c;codec&＃xff0c;编码、解码
- libavutil&＃xff0c;util&＃xff0c;通用音视频工具&＃xff0c;像素、IO、时间等工具
- libavfilter&＃xff0c;filter&＃xff0c;过滤器&＃xff0c;可以用作音视频特效处理
- libavdevice&＃xff0c;device&＃xff0c;设备&＃xff08;摄像头、拾音器&＃xff09;
- libswscale&＃xff0c;scale&＃xff0c;视频图像缩放&＃xff0c;像素格式互换
- libavresample&＃xff0c;resample&＃xff0c;重采样
- libswresample&＃xff0c;也是重采样&＃xff0c;类似图像缩放
对于入门来说&＃xff0c;最重要的是前面三个&＃xff0c;也就是format、codec、util&＃xff0c;这三个是最基本的库&＃xff0c;我们先理一下这三个库的基本结构&＃xff1a;
FFmpeg中的Context
如果你看过FFmpeg的代码&＃xff0c;就很容易发现&＃xff0c;FFmpeg里有各式各样的结构体&＃xff0c;有一类结构体的命名规则比较类似&＃xff0c;都是XxxxContext。
当然还有很多Context&＃xff0c;上面只是列出比较典型的几种&＃xff0c;一看这种命名规则就和面向对象中的命名很类似。
Context是持有的上下文&＃xff0c;是数据链路传递过程中的持有数据的对象。
其实这是FFmpeg在运用面向对象的思想来编程。XxxxContext可以看做是C语言“类”的实现。
C语言没有类的语法特征&＃xff0c;但可以用结构体struct来描述一组元素的集合。如果把XxxxContext看做类&＃xff0c;成员变量显然可以用结构体struct来模拟。
下面一个简单的例子表示下&＃xff1a;
struct AVFormatContext { iformat; oformat;}avformat_alloc_context(); avformat_free_context();
class AVFormatContext { private: iformat; oformat; public: AVFormatContext(); ~AVFormatContext();}
其实FFmpeg中的XxxxContext的写法就是按照面向对象的语法设计的。对面向对象比较熟悉的同学其实看到这些命名应该比较亲切。
AVFormatContext
AVFormatContext是FFmpeg中打开文件必备的一个结构体。
之前介绍过&＃xff0c;格式Format是音视频的一个核心概念&＃xff0c;所以在FFmpeg里你需要经常与AVFormatContext打交道。因为一般不是直接操作解封装器Demuxer和封装器Muxer&＃xff0c;而是通过AVFormatContext来操作它们。
常用的 AVFormatContext 的操作&＃xff0c;可以分为3类&＃xff1a;
- 通用的函数&＃xff0c;例如创建和销毁&＃xff0c;等价于C&＃43;&＃43;的构造函数和析构函数。
- 对输入视频流的读操作&＃xff0c;用于输入处理&＃xff0c;也就是使用解封装器Demuxer对视频流进行操作&＃xff0c;是读操作。
- 对输出视频流的写操作&＃xff0c;用于输出处理&＃xff0c;也就是使用封装器Muxer对视频流进行操作&＃xff0c;是写操作。
iformat对应的是AVInputFormat&＃xff0c;oformat对应的是AVOutputFormat&＃xff0c;正好说一下AVFormatContext和AVInputFormat/AVOutputFormat的区别。
AVFormatContext持有的是传递过程中的数据&＃xff0c;这些数据在整个传递路径上都存在&＃xff0c;或者都可以复用&＃xff0c;AVInputFormat/AVOutputFormat中包含的是动作&＃xff0c;包含着如何解析得到的这些数据。
AVStream **streams; 是媒体文件中包含的流数据&＃xff0c;几条流&＃xff0c;媒体流中分别是音频、视频、字幕等等。
- avformat_alloc_context() 创建输入媒体文件的AVFormatContext
- avformat_alloc_output_context2() 创建输出媒体文件的AVFormatContext
- av_dump_format() 打印format详情
- avformat_open_input() 打开媒体文件&＃xff0c;探知媒体文件的封装格式。
- avformat_close_input() 关闭媒体文件
- avformat_find_stream_info() 探知媒体文件中的流信息&＃xff0c;几条流&＃xff0c;每条流的基本信息。
- av_read_frame() 读取媒体文件中每一帧数据&＃xff0c;这是未解码之前的帧
- avformat_write_header() 写入输出文件的媒体头部信息
- av_interleaved_write_frame() 写入输出文件的帧信息&＃xff0c;此帧信息已经调整了帧与帧之间的关联了。
- av_write_uncoded_frame() 写入输出文件的未编码的帧信息
- av_write_frame() 写入输出文件的已编码的帧信息
- av_write_trailer() 写入输出文件的媒体尾部信息
对于AVFormatContext的使用&＃xff0c;主要就是读视频和写视频&＃xff0c;下面是基本的流程&＃xff1a;
读视频流程&＃xff1a;
- 1.创建avformat上下文
AVFormatContext *ifmt_ctx &＃61; avformat_alloc_context()
- 2.打开视频文件
avformat_open_input(&ifmt_ctx, in_filename, 0, 0)
- 3.持续读取视频帧
while(...) {
av_read_frame(ifmt_ctx, &pkt)
}
- 4.关闭avformat上下文
avformat_close_input(&ifmt_ctx)
写视频流程&＃xff1a;
- 1.创建输出上下文
avformat_alloc_output_context2(&ofmt_ctx, NULL, NULL, out_filename)
- 2.写格式头部
avformat_write_header(ofmt_ctx, NULL)
- 3.持续输出帧
while(...) {
av_interleaved_write_frame(ofmt_ctx, &pkt)
}
- 4.写格式尾部
av_write_trailer(ofmt_ctx)
- 5.关闭上下文
avformat_free_context(ofmt_ctx)
AVInputFormat
解封装器Demuxer&＃xff0c;正式的结构体是AVInputFormat&＃xff0c;其实是一个接口&＃xff0c;功能是对封装后的格式容器解开获得编码后的音视频的工具。简单说&＃xff0c;就是拆包工具。
我们所知道的各种多媒体格式&＃xff0c;例如MP4、MP3、FLV等格式的读取&＃xff0c;都有AVInputFormat的具体实现。
demuxer的种类很多&＃xff0c;而且是可配置的&＃xff0c;demuxer有多少&＃xff0c;可以看一下demuxer_list.c文件&＃xff0c;太多了&＃xff0c;不一一列举了&＃xff0c;我们举一个mp4 demuxer的例子。
下面是mp4视频格式的解封装器ff_mov_demuxer&＃xff0c;在mov.c中&＃xff1a;
AVInputFormat ff_mov_demuxer &＃61; { .name &＃61; "mov,mp4,m4a,3gp,3g2,mj2", .long_name &＃61; NULL_IF_CONFIG_SMALL("QuickTime / MOV"), .priv_class &＃61; &mov_class, .priv_data_size &＃61; sizeof(MOVContext), .extensions &＃61; "mov,mp4,m4a,3gp,3g2,mj2", .read_probe &＃61; mov_probe, .read_header &＃61; mov_read_header, .read_packet &＃61; mov_read_packet, .read_close &＃61; mov_read_close, .read_seek &＃61; mov_read_seek, .flags &＃61; AVFMT_NO_BYTE_SEEK | AVFMT_SEEK_TO_PTS,};
看到了有几个函数指针&＃xff1a;
你可以看到AVInputFormat提供的是类似接口一样的功能&＃xff0c;而ff_mov_demuxer是其的一个具体实现。FFmpeg其实本身的逻辑并不复杂&＃xff0c;只是由于支持的格式特别丰富&＃xff0c;所以代码才如此多。如果我们先把大部分格式忽略掉&＃xff0c;重点关注FFmpeg对其中几个格式的实现&＃xff0c;可以更好理解FFmpeg。
AVOutputFormat
封装器 Muxer&＃xff0c;对应的结构体是AVOutputFormat&＃xff0c;也是一个接口&＃xff0c;功能是对编码后的音视频封装进格式容器的工具。简单说&＃xff0c;就是打包工具。
跟解封装器 Demuxer类似&＃xff0c;也是MP4、MP3、FLV等格式的实现&＃xff0c;差别是封装器 Muxer用于输出。
与demuxer类似&＃xff0c;muxer的种类很多&＃xff0c;可以看一下muxer_list.c文件。
下面看一下mp3的muxer&＃xff0c;在mp3enc.c中&＃xff1a;
AVOutputFormat ff_mp3_muxer &＃61; { .name &＃61; "mp3", .long_name &＃61; NULL_IF_CONFIG_SMALL("MP3 (MPEG audio layer 3)"), .mime_type &＃61; "audio/mpeg", .extensions &＃61; "mp3", .priv_data_size &＃61; sizeof(MP3Context), .audio_codec &＃61; AV_CODEC_ID_MP3, .video_codec &＃61; AV_CODEC_ID_PNG, .write_header &＃61; mp3_write_header, .write_packet &＃61; mp3_write_packet, .write_trailer &＃61; mp3_write_trailer, .query_codec &＃61; query_codec, .flags &＃61; AVFMT_NOTIMESTAMPS, .priv_class &＃61; &mp3_muxer_class,};
上面也有对应的指针函数&＃xff0c;是demuxer的反过程。
AVCodecContext
跟AVFormatContext类似&＃xff0c;我们也是通过AVCodecContext对编码器Encoder和解码器Decoder操作&＃xff0c;一般也不直接操作编解码器。所以需要实现编解码&＃xff0c;一般都要跟AVCodecContext打交道。
图片
和demuxer与muxer一样&＃xff0c;codec也有decode和encode之分&＃xff0c;具体可以参考codec_list.c文件&＃xff1a;
查看ff_libx264_encoder&＃xff0c;在libx264.c中&＃xff1a;
AVCodec ff_libx264_encoder &＃61; { .name &＃61; "libx264", .long_name &＃61; NULL_IF_CONFIG_SMALL("libx264 H.264 / AVC / MPEG-4 AVC / MPEG-4 part 10"), .type &＃61; AVMEDIA_TYPE_VIDEO, .id &＃61; AV_CODEC_ID_H264, .priv_data_size &＃61; sizeof(X264Context), .init &＃61; X264_init, .encode2 &＃61; X264_frame, .close &＃61; X264_close, .capabilities &＃61; AV_CODEC_CAP_DELAY | AV_CODEC_CAP_AUTO_THREADS | AV_CODEC_CAP_ENCODER_REORDERED_OPAQUE, .priv_class &＃61; &x264_class, .defaults &＃61; x264_defaults, .init_static_data &＃61; X264_init_static, .caps_internal &＃61; FF_CODEC_CAP_INIT_CLEANUP, .wrapper_name &＃61; "libx264",};
其中核心的函数就是encode2&＃xff0c;对应X264_frame函数
FFmpeg中的Parser
解析器 Parser&＃xff0c;将输入流转换为帧的数据包
由于解码器的输入是一个完整的帧数据包&＃xff0c;而无论是网络传输还是文件读取&＃xff0c;一般都是固定的buffer来读取的&＃xff0c;而不是安装格式的帧大小来读取&＃xff0c;所以我们需要解析器Parser将流整理成一个一个的Frame数据包。
parser的全局声明在parsers.c&＃xff0c;具体的定义在list_parser.c
看一下h264_parser.c中的ff_h264_parser例子&＃xff1a;
AVCodecParser ff_h264_parser &＃61; { .codec_ids &＃61; { AV_CODEC_ID_H264 }, .priv_data_size &＃61; sizeof(H264ParseContext), .parser_init &＃61; init, .parser_parse &＃61; h264_parse, .parser_close &＃61; h264_close, .split &＃61; h264_split,};
H264ParseContext结构中是H264格式的帧数据定义。
typedef struct H264ParseContext { ParseContext pc; H264ParamSets ps; H264DSPContext h264dsp; H264POCContext poc; H264SEIContext sei; int is_avc; int nal_length_size; int got_first; int picture_structure; uint8_t parse_history[6]; int parse_history_count; int parse_last_mb; int64_t reference_dts; int last_frame_num, last_picture_structure;} H264ParseContext;
这儿大家简单看下&＃xff0c;其中H264ParamSets很重要&＃xff0c;H264关键的参数都在这儿定义&＃xff1a;我们熟知的sps、pps都在这儿定义&＃xff0c;有了这两个定义&＃xff0c;我们方便在宏块中快速找到当前帧的属性。
typedef struct H264ParamSets { AVBufferRef *sps_list[MAX_SPS_COUNT]; AVBufferRef *pps_list[MAX_PPS_COUNT]; AVBufferRef *pps_ref; AVBufferRef *sps_ref; /* currently active parameters sets */ const PPS *pps; const SPS *sps;} H264ParamSets;
小结
- FFmpeg的学习过程很难&＃xff0c;梳理清楚结构&＃xff0c;整体的代码脉络就比较清楚了&＃xff0c;但是libavfilter等核心模块本文没有讲。这个模块非常庞大&＃xff0c;而且可以自定义&＃xff0c;后续会单独讲一下。
- 在实践中学习FFmpeg进步会快一些。下面提供一些实践的思路。
FFmpeg代码结构
FFmpeg交叉编译
FFmpeg解封装
FFmpeg重封装
FFmpeg解码
FFmpeg分离音视频流
京公网安备 11010802041100号