FFmpeg 已经内置了一百多种滤镜&＃xff0c;可以对音视频实现很多特效处理。但是当我们想实现类似各短视频平台上的特殊效果时&＃xff0c;FFmpeg 内置滤镜就无能为力了&＃xff0c;这时我们需要为 FFmpeg 添加自定义的滤镜。
关于 FFmpeg 内置滤镜&＃xff1a;ffmpeg-filters
FFmpeg添加自定义滤镜的模板
既然是自定义 FFmpeg 滤镜&＃xff0c;那么我们就必须要按照 FFmpeg 规定的套路来实现。
先看一下示例模板&＃xff1a;
typedef struct GLWaveContext{const AVClass *class;GLuint program; // 着色器程序GLuint frame_tex; // 纹理 IDGLuint pos_buf; // 顶点缓存GLint time;GLFWwindow *window;
} GLWaveContext;AVFILTER_DEFINE_CLASS(glwave);static av_cold int init(AVFilterContext *ctx)
{return glfwInit() ? 0 : -1;
}static av_cold void uninit(AVFilterContext *ctx)
{GLWaveContext *gs &＃61; ctx->priv;glDeleteTextures(1, &gs->frame_tex);glDeleteBuffers(1, &gs->pos_buf);glDeleteProgram(gs->program);glfwDestroyWindow(gs->window);
}static int query_formats(AVFilterContext *ctx)
{static const enum AVPixelFormat formats[] &＃61; {AV_PIX_FMT_RGB24,AV_PIX_FMT_NONE};return ff_set_common_formats(ctx, ff_make_format_list(formats));
}static const AVFilterPad glwave_inputs[] &＃61; {{.name &＃61; "default",.type &＃61; AVMEDIA_TYPE_VIDEO,.config_props &＃61; config_input,.filter_frame &＃61; glwave_filter_frame,.needs_writable &＃61; 1,},{ NULL }
};static const AVFilterPad glwave_outputs[] &＃61; {{.name &＃61; "default",.type &＃61; AVMEDIA_TYPE_VIDEO,},{ NULL }
};AVFilter ff_vf_glwave &＃61; {.name &＃61; "glwave",.description &＃61; NULL_IF_CONFIG_SMALL("Generic OpenGL shader filter"),.priv_size &＃61; sizeof(GLWaveContext),.init &＃61; init,.uninit &＃61; uninit,.query_formats &＃61; query_formats,.inputs &＃61; glwave_inputs,.outputs &＃61; glwave_outputs,.priv_class &＃61; &glwave_class,.flags &＃61; AVFILTER_FLAG_SUPPORT_TIMELINE_GENERIC
};
首先我们要 coding 一个 C 文件&＃xff0c;因为 FFmpeg 源码为 C 。
AVFilter 结构&＃xff1a;
.name 对外宣称的滤镜名称&＃xff0c;和命令行要使用的 "-vf wave" 是一样的。
.priv_size 初始化 GLWaveContext&＃xff0c;这个是 filter 的私有上下文&＃xff0c;可以存放本地全局变量。
.init 如果 GLWaveContext 有什么内容需要初始化&＃xff0c;就放在init&＃xff0c;如果没有&＃xff0c;可以删掉。
.uninit 同上 init 。
.query_formats 支持的 AVFrame 格式&＃xff0c;按需添加&＃xff0c;可以添加多个。
.inputs 交互桥梁&＃xff0c;最重要的是 glwave_inputs 结构内的函数指针 filter_frame&＃xff0c;我们可以在filter_frame 内获得需要处理的 AVFrame 。至于 config_input 则可以在其中构建好 shader 特效处理代码。
.outputs 用于配置输出的 frame 的大小。
总结
上面所述就是按照 FFmpeg 规则添加滤镜&＃xff0c;最重要的还是为 filter_frame&＃xff0c;但仅仅是提到我们可以在此函数指针内获得所需处理的 AVFrame。细心的朋友会发现 AVFilterLink&＃xff0c;这部分内容需要理清 AVFilterGraph, AVFilterContext, AVFilterLink, AVFilterPad 之间错综复杂的关系&＃xff0c;这里不做分析&＃xff0c;旨在如何最快实现自定义滤镜。
京公网安备 11010802041100号