前言
本文将整体性地介绍FFmpeg的代码结构。如果你还不是非常清楚理解音视频的「格式Format」和「编码Codec」&＃xff0c;可以看一下之前的文章。
kamuel&＃xff1a;刻意练习FFmpeg系列&＃xff1a;音视频基础概念格式和编码zhuanlan.zhihu.com
心智模型&＃xff1a;C语言的类
如果你看过FFmpeg的代码&＃xff0c;就很容易发现&＃xff0c;FFmpeg里有各式各样的结构体&＃xff0c;有一类结构体的命名规则比较类似&＃xff0c;都是XxxxContext。
XXXContext其实这是FFmpeg在运用面向对象的思想来编程。XxxxContext可以看做是C语言“类”的实现。
C语言没有类的语法特征&＃xff0c;但可以用结构体struct来描述一组元素的集合。如果把XxxxContext看做类&＃xff0c;成员变量显然可以用结构体struct来模拟。
但成员函数呢&＃xff1f;如果你学习过Python的类&＃xff0c;就知道成员函数里&＃xff0c;第一个参数self是指代本对象本身。其实C&＃43;&＃43;的内部实现也是&＃xff0c;成员函数的第一个参数&＃xff0c;隐式地传递着this指针。所以用C语言来描述对象&＃xff0c;只需要显式地在函数的第一个参数传递XxxxContext结构体的指针就可以了。
C语言的类 vs C&＃43;&＃43;语言的类FFmpeg的模块布局
打开FFmpeg源码&＃xff0c;会发现有一系列libavxxx的模块&＃xff0c;这些模块很好地划分了代码的结构和分工。
- libavformat&＃xff0c;format&＃xff0c;格式封装
- libavcodec&＃xff0c;codec&＃xff0c;编码、解码
- libavutil&＃xff0c;util&＃xff0c;通用音视频工具&＃xff0c;像素、IO、时间等工具
- libavfilter&＃xff0c;filter&＃xff0c;过滤器&＃xff0c;可以用作音视频特效处理
- libavdevice&＃xff0c;device&＃xff0c;设备&＃xff08;摄像头、拾音器&＃xff09;
- libswscale&＃xff0c;scale&＃xff0c;视频图像缩放&＃xff0c;像素格式互换
- libavresample&＃xff0c;resample&＃xff0c;重采样
- libswresample&＃xff0c;也是重采样&＃xff0c;类似图像缩放
- libpostproc&＃xff0c;后处理&＃xff0c;&＃xff1f;&＃xff1f;
对于入门来说&＃xff0c;最重要的是前面三个&＃xff0c;也就是format、codec、util&＃xff0c;其他的可以慢慢熟悉。
下面重点画出format、codec、util三大核心模块的功能。
FFmpeg的核心模块libavformat 格式处理常见“类”
AVFormatContext&＃xff0c;打开文件总需要它
之前介绍过&＃xff0c;「格式Format」是音视频的一个核心概念&＃xff0c;所以在FFmpeg里你需要经常与AVFormatContext打交道。因为一般不是直接操作「解封装器Demuxer」和「封装器Muxer」&＃xff0c;而是通过AVFormatContext来操作它们。
常用的 AVFormatContext 的操作&＃xff0c;可以分为3类&＃xff1a;
- 通用的函数&＃xff0c;例如创建和销毁&＃xff0c;等价于C&＃43;&＃43;的构造函数和析构函数。
- 对输入视频流的读操作&＃xff0c;用于输入处理&＃xff0c;也就是使用「解封装器Demuxer」对视频流进行操作&＃xff0c;是读操作。
- 对输出视频流的写操作&＃xff0c;用于输出处理&＃xff0c;也就是使用「封装器Muxer」对视频流进行操作&＃xff0c;是写操作。
为了方便查看&＃xff0c;总结为一个思维导图
AVFormatContext对于AVFormatContext的使用&＃xff0c;主要就是读视频和写视频&＃xff0c;下面是流程图。
用AVFormatContext读视频用AVFormatContext写视频AVInputFormat&＃xff0c;传说中的「解封装器Demuxer」
「解封装器Demuxer」&＃xff0c;正式的结构体是AVInputFormat&＃xff0c;其实是一个接口&＃xff0c;功能是对封装后的格式容器解开获得编码后的音视频的工具。简单说&＃xff0c;就是拆包工具。
我们所知道的各种多媒体格式&＃xff0c;例如MP4、MP3、FLV等格式的读取&＃xff0c;都有AVInputFormat的具体实现。
下面是mp4视频格式的解封装器ff_mov_demuxer。
你可以看到AVInputFormat提供的是类似接口一样的功能&＃xff0c;而ff_mov_demuxer是其的一个具体实现。FFmpeg其实本身的逻辑并不复杂&＃xff0c;只是由于支持的格式特别丰富&＃xff0c;所以代码才如此多。如果我们先把大部分格式忽略掉&＃xff0c;重点关注FFmpeg对其中几个格式的实现&＃xff0c;可以更好理解FFmpeg。
AVInputFormat ff_mov_demuxer &＃61; {.name &＃61; "mov,mp4,m4a,3gp,3g2,mj2",.long_name &＃61; NULL_IF_CONFIG_SMALL("QuickTime / MOV"),.priv_class &＃61; &mov_class,.priv_data_size &＃61; sizeof(MOVContext),.extensions &＃61; "mov,mp4,m4a,3gp,3g2,mj2",.read_probe &＃61; mov_probe, // 这是一个函数.read_header &＃61; mov_read_header, // 这是一个函数.read_packet &＃61; mov_read_packet, // 这是一个函数.read_close &＃61; mov_read_close, // 这是一个函数.read_seek &＃61; mov_read_seek, // 这是一个函数.flags &＃61; AVFMT_NO_BYTE_SEEK | AVFMT_SEEK_TO_PTS,
};
下面是「解封装器 Demuxer」的思维导图。
解封装器 DemuxerAVOutputFormat&＃xff0c;传说中的「封装器Muxer」
「封装器 Muxer」&＃xff0c;对应的结构体是AVOutputFormat&＃xff0c;也是一个接口&＃xff0c;功能是对编码后的音视频封装进格式容器的工具。简单说&＃xff0c;就是打包工具。
跟「解封装器 Demuxer」类似&＃xff0c;也是MP4、MP3、FLV等格式的实现&＃xff0c;差别是「封装器 Muxer」用于输出。
同样通过一个例子来理解&＃xff0c;这是MP3的「封装器 Muxer」&＃xff0c;libavformat/mp3enc.c。
AVOutputFormat ff_mp3_muxer &＃61; {.name &＃61; "mp3",.long_name &＃61; NULL_IF_CONFIG_SMALL("MP3 (MPEG audio layer 3)"),.mime_type &＃61; "audio/mpeg",.extensions &＃61; "mp3",.priv_data_size &＃61; sizeof(MP3Context),.audio_codec &＃61; AV_CODEC_ID_MP3,.video_codec &＃61; AV_CODEC_ID_PNG,.write_header &＃61; mp3_write_header,.write_packet &＃61; mp3_write_packet,.write_trailer &＃61; mp3_write_trailer,.query_codec &＃61; query_codec,.flags &＃61; AVFMT_NOTIMESTAMPS,.priv_class &＃61; &mp3_muxer_class,
};
下面是 「封装器 Muxer」的思维导图。
用AVFormatContext读视频libavcodec 编码解码处理常见“类”
操作编解码器的 AVCodecContext
跟AVFormatContext类似&＃xff0c;我们也是通过AVCodecContext对「编码器Encoder」和「解码器Decoder」操作&＃xff0c;一般也不直接操作编解码器。所以需要实现编解码&＃xff0c;一般都要跟AVCodecContext打交道。思维导图如下&＃xff1a;
AVCodecContext「编码器Encoder」和「解码器Decoder」的公共接口AVCodec
跟格式对应有「解封装器 Demuxer」和「封装器 Muxer」一样&＃xff0c;编解码有「编码器Encoder」和「解码器Decoder」。不过差异在于&＃xff0c;「编码器Encoder」和「解码器Decoder」使用相同的公共接口AVCodec&＃xff0c;因为编解码的过程有较多相似的地方。
为了方便理解&＃xff0c;同样先举一个具体的例子&＃xff0c;下面是利用libopenh264库实现的编码器例子ff_libopenh264_encoder。
AVCodec ff_libopenh264_encoder &＃61; {.name &＃61; "libopenh264",.long_name &＃61; NULL_IF_CONFIG_SMALL("OpenH264 H.264 / AVC / MPEG-4 AVC / MPEG-4 part 10"),.type &＃61; AVMEDIA_TYPE_VIDEO,.id &＃61; AV_CODEC_ID_H264,.priv_data_size &＃61; sizeof(SVCContext),.init &＃61; svc_encode_init,.encode2 &＃61; svc_encode_frame, // 编码.close &＃61; svc_encode_close,.capabilities &＃61; AV_CODEC_CAP_AUTO_THREADS,.caps_internal &＃61; FF_CODEC_CAP_INIT_THREADSAFE | FF_CODEC_CAP_INIT_CLEANUP,.pix_fmts &＃61; (const enum AVPixelFormat[]){ AV_PIX_FMT_YUV420P,AV_PIX_FMT_NONE },.priv_class &＃61; &class,.wrapper_name &＃61; "libopenh264",
};
而h264的一个解码器具体实现是 ff_libopenh264_decoder。可以看到&＃xff0c;差异是编码器实现encode2()函数&＃xff0c;解码器实现decode()函数。
AVCodec ff_libopenh264_decoder &＃61; {.name &＃61; "libopenh264",.long_name &＃61; NULL_IF_CONFIG_SMALL("OpenH264 H.264 / AVC / MPEG-4 AVC / MPEG-4 part 10"),.type &＃61; AVMEDIA_TYPE_VIDEO,.id &＃61; AV_CODEC_ID_H264,.priv_data_size &＃61; sizeof(SVCContext),.init &＃61; svc_decode_init,.decode &＃61; svc_decode_frame, // 解码.close &＃61; svc_decode_close,.capabilities &＃61; AV_CODEC_CAP_DELAY | AV_CODEC_CAP_DR1,.caps_internal &＃61; FF_CODEC_CAP_SETS_PKT_DTS | FF_CODEC_CAP_INIT_THREADSAFE |FF_CODEC_CAP_INIT_CLEANUP,.bsfs &＃61; "h264_mp4toannexb",.wrapper_name &＃61; "libopenh264",
};
「编解码器公共接口 AVCodec」的思维导图。
编解码器公共接口 AVCodec「解析器 Parser」&＃xff0c;将输入流转换为帧的数据包
由于解码器的输入是一个完整的帧数据包&＃xff0c;而无论是网络传输还是文件读取&＃xff0c;一般都是固定的buffer来读取的&＃xff0c;而不是安装格式的帧大小来读取&＃xff0c;所以我们需要解析器Parser将流整理成一个一个的Frame数据包。
先看一个具体的例子ff_h264_parser&＃xff0c;这是从格式输入流中获取h264压缩的帧数据包。
AVCodecParser ff_h264_parser &＃61; {.codec_ids &＃61; { AV_CODEC_ID_H264 },.priv_data_size &＃61; sizeof(H264ParseContext),.parser_init &＃61; init,.parser_parse &＃61; h264_parse,.parser_close &＃61; h264_close,.split &＃61; h264_split,
};
下面是「解析器 Parser」的思维导图。
解析器Parser总结
上面就是FFmpeg的最核心代码的逻辑了&＃xff0c;后面的学习里&＃xff0c;有必要刻意地关注一下这些结构体及其相关方法&＃xff0c;很快你就能对FFmpeg有整体性的把握了。
写文章不容易&＃xff0c;但以文会友&＃xff0c;乃一桩快事&＃xff0c;如果需要原版的思维导图&＃xff0c;可以私信我&＃xff0c;或者添加微信&＃xff0c;请注明ffmpeg。
京公网安备 11010802041100号