FFmpegfilter

一、FFmpeg filter简介

FFmpeg中的libavfilter提供了一整套的基于filter的机制。filter本身是一个插件的形式&＃xff0c;可以快速的组装需要的效果。
比如下面的filter&＃xff0c;可以实现视频的水平镜像效果。
ffplay.exe sample.rmvb -vf hflip

FFmpeg定义的libavcodec接口已经成为在编解码领域的事实上的行业标准。但音视频filter并没有类似的标准&＃xff0c;多个不同的多媒体项目&＃xff08;比如MPlayer、Xine、GStreamer等&＃xff09;都实现了自定义的filter系统。为了统一filter库API接口&＃xff0c;FFmpeg提出了参考DirectDraw实现了高质量、高效、灵活的音视频filter接口。详细的文档资料可以参考FFmpeg filter。

filter的分类

按照处理数据的类型&＃xff0c;通常多媒体的filter分为&＃xff1a;

·                     音频filter

·                     视频filter

·                     字幕filter

FFmpeg中filter分为&＃xff1a;

·                     source filter &＃xff08;只有输出&＃xff09;

·                     audio filter

·                     video filter

·                     Multimedia filter

·                     sink filter &＃xff08;只有输入&＃xff09;

除了source和sink filter&＃xff0c;其他filter都至少有一个输入、至少一个输出。

介绍了这么多&＃xff0c;下面也是一个例子&＃xff0c;使用filter实现宽高减半显示&＃xff1a;

ffplay.exe sample.rmvb -vf scale&＃61;iw/2:ih/2

FFmpeg filter可以认为是一些预定义的范式&＃xff0c;可以实现类似积木的多种功能的自由组合。每个filter都有固定数目的输入和输出&＃xff0c;而且实际使用中不允许有空悬的输入输出端。使用文本描述时我们可以通过标识符指定输入和输出端口&＃xff0c;将不同filter串联起来&＃xff0c;构成更复杂的filter。这就形成了嵌套的filter。当然每个filter可以通过ffmpeg/ffplay命令行实现&＃xff0c;但通常filter更方便。

ffmpeg.exe、ffplay.exe能够通过filter处理原始的音视频数据。ffmpeg将filtergraph分为simple filtergraph和complex filtergraph。通常simple filtergraph只有一个输入和输出&＃xff0c;ffmpeg命令行中使用-vf、-af识别&＃xff0c;基本原理图如下&＃xff1a;

_________ ______________| | | || decoded | | encoded data || frames |\ _ | packets ||_________| \ /||______________|\ __________ /simple _\|| | / encoderfiltergraph | filtered |/| frames ||__________|

complex filtergraph&＃xff0c;通常是具有多个输入输出文件&＃xff0c;并有多条执行路径&＃xff1b;ffmpeg命令行中使用-lavfi、-filter_complex&＃xff0c;基本原理图如下&＃xff1a;

_________
| |
| input 0 |\ __________
|_________| \ | |
\ _________ /| output 0 |
\ | | / |__________|_________ \| complex | /
| | | |/
| input 1 |---->| filter |\
|_________| | | \ __________
/| graph | \ | |
/ | | \| output 1 |_________ / |_________| |__________|
| | /
| input 2 |/

FFmpeg中filter包含三个层次&＃xff0c;filter->filterchain->filtergraph。具体可以参考下图&＃xff1a;

filter是ffmpeg的libavfilter提供的基础单元。在同一个线性链中的filter使用逗号分隔&＃xff0c;在不同线性链中的filter使用分号隔开&＃xff0c;比如下面的例子&＃xff1a;

ffmpeg -i INPUT -vf "split[main][tmp]; [tmp] crop&＃61;iw:ih/2:0:0, vflip [flip]; [main][flip]overlay&＃61;0:H/2" OUTPUT

这里crop、vflip处于同一个线性链&＃xff0c;split、overlay位于另一个线性链。二者连接通过命名的label实现&＃xff08;位于中括号中的是label的名字&＃xff09;。在上例中split filter有两个输出&＃xff0c;依次命名为[main]和[tmp]&＃xff1b;[tmp]作为crop filter输入&＃xff0c;之后通过vflip filter输出[flip]&＃xff1b;overlay的输入是[main]和[flilp]。如果filter需要输入参数&＃xff0c;多个参数使用冒号分割。
对于没有音频、视频输入的filter称为source filter&＃xff0c;没有音频、视频输出的filter称为sink filter。

经典的filter

FFmpeg支持的所有filter可以通过filters查看。
这里选几个相对经典的filter。

音频filter

adelay filter
实现不同声道的延时处理。使用参数如下adelay&＃61;1500|0|500&＃xff0c;这个例子中实现第一个声道的延迟1.5s&＃xff0c;第三个声道延迟0.5s&＃xff0c;第二个声道不做调整。

aecho filter
实现回声效果&＃xff0c;具体参考http://ffmpeg.org/ffmpeg-filters.html#aecho。

amerge filter
将多个音频流合并成一个多声道音频流。具体参考http://ffmpeg.org/ffmpeg-filters.html#amerge-1。

ashowinfo filter
显示每一个audioframe的信息&＃xff0c;比如时间戳、位置、采样格式、采样率、采样点数等。具体参考http://ffmpeg.org/ffmpeg-filters.html#ashowinfo。

panfilter
特定声道处理&＃xff0c;比如立体声变为单声道&＃xff0c;或者通过特定参数修改声道或交换声道。主要有两大类&＃xff1a;
混音处理&＃xff0c;比如下面的例子pan&＃61;1c|c0&＃61;0.9*c0&＃43;0.1*c1&＃xff0c;实现立体声到单声道的变换&＃xff1b;
声道变换&＃xff0c;比如5.1声道顺序调整&＃xff0c;pan&＃61;"5.1| c0&＃61;c1 | c1&＃61;c0| c2&＃61;c2 | c3&＃61;c3 | c4&＃61;c4 | c5&＃61;c5"。

silencedetect和silenceremove filter
根据特定参数检测静音和移除静音。

volume和volumedetect filter
这两个filter分别实现音量调整和音量检测。

audio source filter
aevalsrc filter按照特定表达式生成音频信号。
anullsrc filter生成特定的原始音频数据&＃xff0c;用于模板或测试。
anoisesrc filter生成噪声音频信号。
sine filter生成正弦波音频信号。

audio sink filter
abuffersink filter和anullsink filter&＃xff0c;这些filter只是用于特定情况下结束filterchain。

视频filter

blend和tblend filter
将两帧视频合并为一帧。具体参数参考http://ffmpeg.org/ffmpeg-filters.html#blend_002c-tblend。

crop filter
按照特定分辨率裁剪输入视频&＃xff0c;具体参数参考http://ffmpeg.org/ffmpeg-filters.html#crop。

drawbox、drawgrid、drawtext filter
绘制box&＃xff08;对话框&＃xff09;、grid&＃xff08;表格&＃xff09;、text&＃xff08;文本&＃xff09;。

edgedetect filter
边缘检测filter。

fps filter
按照指定帧率输出视频帧&＃xff08;丢帧或者复制&＃xff09;。具体参考http://ffmpeg.org/ffmpeg-filters.html#fps-1。

hflip、vflip filter
水平和垂直镜像。

histogram filter
生成每帧的各颜色分量的直方图。

noise filter
在输入视频帧中添加白噪声。

overlay filter
视频叠加。具体参考http://ffmpeg.org/ffmpeg-filters.html#overlay-1。

pad filter
视频边界填充。具体参考http://ffmpeg.org/ffmpeg-filters.html#pad-1。

rotate filter
视频任意角度旋转。具体参考http://ffmpeg.org/ffmpeg-filters.html#rotate。

scale filter
使用libswscale库完成视频缩放的filter。

showinfo filter
显示视频帧的参数信息&＃xff0c;比如时间戳、采样格式、帧类型等。

subtitles filter
使用libass库绘制subtitle&＃xff08;字幕&＃xff09;。

thumbnail filter
提取缩略图的filter。

transpose filter
图像转置的filter。参数参考http://ffmpeg.org/ffmpeg-filters.html#transpose。

source filter
主要有cellatuo、coreimagesrc、mptestsrc、life等filter&＃xff0c;具体效果建议参考ffmpeg用户手册。

source sink
主要有buffersink、nullsink两个filter。

多媒体filter

ahistogram filter
将音频转化为视频输出&＃xff0c;并显示为音量的直方图。

concat filter
将音频流、视频流拼接成一个。具体参考http://ffmpeg.org/ffmpeg-filters.html#concat。

metadata、ametadata filter
操作metadata信息。

setpts、asetpts filter
改变输入音频帧或视频帧的pts。

showfreqs、showspectrum、showspertrumpic、showvolume、showwaves filter
将输入音频转换为视频显示&＃xff0c;并显示频谱、音量等信息

split、asplit filter
将输入切分为多个相同的输出。

source filter
主要是movie、amovie filter。从movie容器中读取音频或者视频帧。

为ffmpeg添加自定义滤镜
https://blog.csdn.net/xiaojun111111/article/details/50849182

二、过滤器使用流程和经常函数

基本的过滤器使用流程是:

     解码后的画面--->buffer过滤器---->其他过滤器---->buffersink过滤器--->处理完的画面

所有的过滤器形成了过滤器链,一定要的两个过滤器是buffer过滤器和buffersink过滤器,前者的作用是将解码后的画面加载到过滤器链中,后者的作用是将处理好的画面从过滤器链中读取出来。

过滤器相关的结构体:

AVFilterGraph: 管理所有的过滤器图像

AVFilterContext: 过滤器上下文

AVFilter: 过滤器

流程中的关键函数如下所示&＃xff1a;

avfilter_register_all()&＃xff1a;注册所有AVFilter。
avfilter_graph_alloc()&＃xff1a;为FilterGraph分配内存。
avfilter_graph_create_filter()&＃xff1a;创建并向FilterGraph中添加一个Filter。
avfilter_graph_parse_ptr()&＃xff1a;将一串通过字符串描述的Graph添加到FilterGraph中。参数3&＃xff0c;4结构中可以指定需要连接输入过滤器、输出过滤器。

avfilter_link()&＃xff1a;连接过滤器。连接输入输出过滤器。比如&＃xff1a;

avfilter_link(filter_buffer_ctx, 0,filter_yadif_ctx, 0);avfilter_link(filter_yadif_ctx, 0,filter_buffersink_ctx, 0);

avfilter_graph_config()&＃xff1a;检查FilterGraph的配置。

av_buffersrc_add_frame()&＃xff1a;向FilterGraph中加入一个AVFrame。

av_buffersink_get_frame()&＃xff1a;从FilterGraph中取出一个AVFrame。

三、实例

1、  ffmeg 反交错

参考&＃xff1a;https://blog.csdn.net/crazyman2010/article/details/42913055

2、最简单的基于FFmpeg的AVfilter的例子

// test_avfilter.cpp : 定义控制台应用程序的入口点。
//#include "stdafx.h"/**
* 最简单的基于FFmpeg的AVFilter例子 - 纯净版
* Simplest FFmpeg AVfilter Example - Pure
*
* 雷霄骅 Lei Xiaohua
* leixiaohua1020&＃64;126.com
* 中国传媒大学/数字电视技术
* Communication University of China / Digital TV Technology
* http://blog.csdn.net/leixiaohua1020
*
* 本程序使用FFmpeg的AVfilter实现了YUV像素数据的滤镜处理功能。
* 可以给YUV数据添加各种特效功能。
* 是最简单的FFmpeg的AVFilter方面的教程。
* 适合FFmpeg的初学者。
*
* This software uses FFmpeg&＃39;s AVFilter to process YUV raw data.
* It can add many excellent effect to YUV data.
* It&＃39;s the simplest example based on FFmpeg&＃39;s AVFilter.
* Suitable for beginner of FFmpeg
*
*/
#include #define __STDC_CONSTANT_MACROS#ifdef _WIN32
#define snprintf _snprintf
//Windows
extern "C"
{
#include "libavfilter/avfiltergraph.h"
#include "libavfilter/buffersink.h"
#include "libavfilter/buffersrc.h"
#include "libavutil/avutil.h"
#include "libavutil/imgutils.h"
};
#else
//Linux...
#ifdef __cplusplus
extern "C"
{
#endif
#include
#include
#include
#include
#include
#ifdef __cplusplus
};
#endif
#endif#pragma comment(lib,"avcodec.lib")
#pragma comment(lib,"avformat.lib")
#pragma comment(lib,"avutil.lib")
#pragma comment(lib,"avfilter.lib")
#pragma comment(lib,"swscale.lib")
#pragma comment(lib,"SDL2.lib")
#pragma comment(lib,"SDL2main.lib")int main(int argc, char* argv[])
{getchar();int ret;AVFrame *frame_in;AVFrame *frame_out;unsigned char *frame_buffer_in;unsigned char *frame_buffer_out;AVFilterContext *buffersink_ctx;AVFilterContext *buffersrc_ctx;AVFilterGraph *filter_graph;static int video_stream_index &＃61; -1;//Input YUVFILE *fp_in &＃61; fopen("trans.yuv", "rb&＃43;");if (fp_in &＃61;&＃61; NULL) {printf("Error open input file.\n");return -1;}int in_width &＃61; 1588;int in_height &＃61; 900;//Output YUVFILE *fp_out &＃61; fopen("output.yuv", "wb&＃43;");if (fp_out &＃61;&＃61; NULL) {printf("Error open output file.\n");return -1;}//const char *filter_descr &＃61; "lutyuv&＃61;&＃39;u&＃61;128:v&＃61;128&＃39;";//const char *filter_descr &＃61; "boxblur";//const char *filter_descr &＃61; "hflip";//const char *filter_descr &＃61; "hue&＃61;&＃39;h&＃61;60:s&＃61;-3&＃39;";//const char *filter_descr &＃61; "crop&＃61;2/3*in_w:2/3*in_h";//const char *filter_descr &＃61; "drawbox&＃61;x&＃61;100:y&＃61;100:w&＃61;100:h&＃61;100:color&＃61;pink&＃64;0.5";const char *filter_descr &＃61; "drawtext&＃61;fontfile&＃61;arial.ttf:fontcolor&＃61;red:fontsize&＃61;30:text&＃61;&＃39;Lei Xiaohua&＃39;:x&＃61;50:y&＃61;50";avfilter_register_all();char args[512];AVFilter *buffersrc &＃61; avfilter_get_by_name("buffer");AVFilter *buffersink &＃61; avfilter_get_by_name("buffersink");//老版本ffmpeg使用 avfilter_get_by_name("ffbuffersink")AVFilterInOut *outputs &＃61; avfilter_inout_alloc();AVFilterInOut *inputs &＃61; avfilter_inout_alloc();enum AVPixelFormat pix_fmts[] &＃61; { AV_PIX_FMT_YUV420P, AV_PIX_FMT_NONE };AVBufferSinkParams *buffersink_params;filter_graph &＃61; avfilter_graph_alloc();/* buffer video source: the decoded frames from the decoder will be inserted here. */snprintf(args, sizeof(args),"video_size&＃61;%dx%d:pix_fmt&＃61;%d:time_base&＃61;%d/%d:pixel_aspect&＃61;%d/%d",in_width, in_height, AV_PIX_FMT_YUV420P,1, 25, 1, 1);ret &＃61; avfilter_graph_create_filter(&buffersrc_ctx, buffersrc, "in",args, NULL, filter_graph);if (ret <0) {printf("Cannot create buffer source\n");return ret;}/* buffer video sink: to terminate the filter chain. */buffersink_params &＃61; av_buffersink_params_alloc();buffersink_params->pixel_fmts &＃61; pix_fmts;ret &＃61; avfilter_graph_create_filter(&buffersink_ctx, buffersink, "out",NULL, buffersink_params, filter_graph);av_free(buffersink_params);if (ret <0) {printf("Cannot create buffer sink\n");return ret;}/* Endpoints for the filter graph. */outputs->name &＃61; av_strdup("in");outputs->filter_ctx &＃61; buffersrc_ctx;outputs->pad_idx &＃61; 0;outputs->next &＃61; NULL;inputs->name &＃61; av_strdup("out");inputs->filter_ctx &＃61; buffersink_ctx;inputs->pad_idx &＃61; 0;inputs->next &＃61; NULL;if ((ret &＃61; avfilter_graph_parse_ptr(filter_graph, filter_descr,&inputs, &outputs, NULL)) <0)return ret;if ((ret &＃61; avfilter_graph_config(filter_graph, NULL)) <0)return ret;frame_in &＃61; av_frame_alloc();frame_buffer_in &＃61; (unsigned char *)av_malloc(av_image_get_buffer_size(AV_PIX_FMT_YUV420P, in_width, in_height, 1));av_image_fill_arrays(frame_in->data, frame_in->linesize, frame_buffer_in,AV_PIX_FMT_YUV420P, in_width, in_height, 1);frame_out &＃61; av_frame_alloc();frame_buffer_out &＃61; (unsigned char *)av_malloc(av_image_get_buffer_size(AV_PIX_FMT_YUV420P, in_width, in_height, 1));av_image_fill_arrays(frame_out->data, frame_out->linesize, frame_buffer_out,AV_PIX_FMT_YUV420P, in_width, in_height, 1);frame_in->width &＃61; in_width;frame_in->height &＃61; in_height;frame_in->format &＃61; AV_PIX_FMT_YUV420P;while (1) {if (fread(frame_buffer_in, 1, in_width*in_height * 3 / 2, fp_in) !&＃61; in_width*in_height * 3 / 2) {break;}//input Y,U,Vframe_in->data[0] &＃61; frame_buffer_in;frame_in->data[1] &＃61; frame_buffer_in &＃43; in_width*in_height;frame_in->data[2] &＃61; frame_buffer_in &＃43; in_width*in_height * 5 / 4;if (av_buffersrc_add_frame(buffersrc_ctx, frame_in) <0) {printf("Error while add frame.\n");break;}/* pull filtered pictures from the filtergraph */ret &＃61; av_buffersink_get_frame(buffersink_ctx, frame_out);if (ret <0)break;//output Y,U,Vif (frame_out->format &＃61;&＃61; AV_PIX_FMT_YUV420P) {for (int i &＃61; 0; iheight; i&＃43;&＃43;) {fwrite(frame_out->data[0] &＃43; frame_out->linesize[0] * i, 1, frame_out->width, fp_out);}for (int i &＃61; 0; iheight / 2; i&＃43;&＃43;) {fwrite(frame_out->data[1] &＃43; frame_out->linesize[1] * i, 1, frame_out->width / 2, fp_out);}for (int i &＃61; 0; iheight / 2; i&＃43;&＃43;) {fwrite(frame_out->data[2] &＃43; frame_out->linesize[2] * i, 1, frame_out->width / 2, fp_out);}}printf("Process 1 frame!\n");av_frame_unref(frame_out);}fclose(fp_in);fclose(fp_out);av_frame_free(&frame_in);av_frame_free(&frame_out);avfilter_graph_free(&filter_graph);return 0;
}

3、最简单的基于FFmpeg的AVfilter例子&＃xff08;水印叠加&＃xff09;

https://blog.csdn.net/leixiaohua1020/article/details/29368911

源代码&＃xff1a;https://github.com/leixiaohua1020/simplest_ffmpeg_video_filter

 四、注意事项

1、 显示文字乱码问题&＃xff0c;文字需要是utf-8格式&＃xff0c;字体也必须存在。

2、 调用avfilter_graph_parse_ptr解析字幕水印时返回-22&＃xff0c;ffmpeg报错No suchfilter: &＃39;drawtext&＃39;&＃xff0c;这是由于编译的时候没有开启FreeType字体引擎库&＃xff0c;编译的时候./configure--enable-libfreetype。

3、 调用avfilter_graph_parse_ptr解析参数时返回-2&＃xff0c;drawtext&＃61;fontfile&＃61;arial.ttf:fontcolor&＃61;red:fontsize&＃61;30:text&＃61;&＃39;LeiXiaohua&＃39;:x&＃61;50:y&＃61;50里面的arial.ttf是字体文件&＃xff0c;要保证字体文件在程序可以找到的目录&＃xff0c;冒号在里面是分隔符&＃xff0c;路径中不能带冒号。

4、 编译完ffmpeg后可能没有libpostproc.so这个库&＃xff0c;编译的时候加入开启这个库的编译选项--enable-postproc。

参考资料&＃xff1a;

https://www.cnblogs.com/tocy/p/ffmpeg-filter-intro.html

https://blog.csdn.net/shixin_0125/article/details/78400252