【Android音视频开发打怪升级：FFmpeg音视频编解码篇

| — |

目录

一、Android音视频硬解码篇&＃xff1a;

• [1&＃xff0c;音视频基础知识](()
• [2&＃xff0c;音视频硬解码流程&＃xff1a;封装基础解码框架](()
• [3&＃xff0c;音视频播放&＃xff1a;音视频同步](()
• [4&＃xff0c;音视频解封和封装&＃xff1a;生成一个MP4](()

二、使用OpenGL渲染视频画面篇

• [1&＃xff0c;初步了解OpenGL ES](()
• [2&＃xff0c;使用OpenGL渲染视频画面](()
• [3&＃xff0c;OpenGL渲染多视频&＃xff0c;实现画中画](()
• [4&＃xff0c;深入了解OpenGL之EGL](()
• [5&＃xff0c;OpenGL FBO数据缓冲区](()
• [6&＃xff0c;Android音视频硬编码&＃xff1a;生成一个MP4](()

三、Android FFmpeg音视频解码篇

• [1&＃xff0c;FFmpeg so库编译](()
• [2&＃xff0c;Android 引入FFmpeg](()
• [3&＃xff0c;Android FFmpeg视频解码播放](()
• [4&＃xff0c;Android FFmpeg&＃xff0b;OpenSL ES音频解码播放](()
• [5&＃xff0c;Android FFmpeg&＃xff0b;OpenGL ES播放视频](()
• [6&＃xff0c;Android FFmpeg简单合成MP4&＃xff1a;视屏解封与重新封装](()
• [7&＃xff0c;Android FFmpeg视频编码](()

本文你可以了解到

使用 GCC 或 CLANG 交叉编译出Android平台可以使用的FFmpeg so库。为了很好的迈出 FFmpeg 开发的第一步&＃xff0c;不仅要知其然&＃xff0c;更要知其所以然。不仅要知道怎么样能成功编译&＃xff0c;更要知道为什么能成功编译。在开始动手之前&＃xff0c;建议先通读整篇文章&＃xff0c;相信本文定可以让你有所感悟。

一、前言

网上其实已经有很多的关于FFmpeg so库编译的分享&＃xff0c;但是大部分都是直接把配置文件的内容贴出来。我想大部分去搜索 「如何编译FFmpeg so库」的人&＃xff0c;对交叉编译这个东东都是比较陌生的。

特别对于移动端开发者来说&＃xff0c;大部分人大多数时候都是在Java层做开发&＃xff0c;很少接触到NDK层的东西。如果直接去看一份交叉编译的配置&＃xff0c;估计会很上头。

通常情况下&＃xff0c;在一篇FFmpeg编译的文章下面都会有很多的类似「为什么按照楼主的配置还是无法编译成功&＃xff1f;」的评论&＃xff0c;那为什么人家可以编译成功&＃xff0c;我们copy下来却不可以呢&＃xff1f;

原因有非常多&＃xff0c;大部分其实集中在以下几个方面&＃xff1a;

1. 无脑copy&＃xff0c;祈求有一个傻瓜式的配置可以成功编译&＃xff1b;
2. FFmpeg版本和NDK版本很多&＃xff0c;每一个版本都可能需要不一样的配置&＃xff1b;
3. 不了解每个配置项的意义&＃xff0c;即使好运配置对了&＃xff0c; 但是稍微一修改&＃xff0c;又无法正常编译了。

为什么FFmpeg让人觉得很难搞&＃xff1f;

我想主要是因为迈出第一步就很困难&＃xff0c;连so库都编译不出来&＃xff0c;后面的都是扯淡了。

二、什么是交叉编译

定义

引自百度百科的定义&＃xff1a;交叉编译&＃xff0c;是在一个平台上生成另一个平台上的可执行代码。

什么意思呢&＃xff1f;说白了&＃xff0c;就是在一个机器上生成一个程序&＃xff0c;这个程序可以跑在另外一个机器上。举栗&＃xff1a;在PC上编译一个apk&＃xff0c;这个apk可以跑在Android手机上&＃xff0c;这其实就是一个交叉编译的过程。

为什么要交叉编译

我们知道&＃xff0c;PC上的软件是直接在PC上编译生成的&＃xff0c;那为什么Android上的软件不能在Android上自己编译生成呢&＃xff1f;

理论上是可以&＃xff0c;但是Android手机上的资源有限啊&＃xff0c;在PC上编译一个apk都要那么久&＃xff0c;你可以想象在Android手机上编译一个apk要多久吗&＃xff1f;或者你能想象在手机上敲代码的情景吗&＃xff1f;

那我们会想既然PC上资源那么丰富&＃xff0c;那可不可以利用PC来编译出在手机上可以运行的软件呢&＃xff1f;

于是&＃xff0c;交叉编译出现。

交叉编译需要的什么

编译环境

我们知道PC上的环境和手机上的运行环境是绝然不同的&＃xff0c;如果使用PC上的环境直接编译的话&＃xff0c;可以想象这个编译出来的App&＃xff0c;分分钟就会挂掉。

所以&＃xff0c;交叉编译最重要的是&＃xff0c;要配置好编译过程中使用到的相关的环境&＃xff0c;而这个环境其实就是目标机器&＃xff08;比如Android手机&＃xff09;正在运行的环境。

编译工具链

对于C/C&＃43;&＃43;的编译&＃xff0c;通常有两个工具 GCC 和 CLANG 。

GCC 可能大家都有听说过&＃xff0c;这是一个老牌的编译工具&＃xff0c;不仅可以编译C/C&＃43;&＃43;&＃xff0c;也可以编译Java&＃xff0c;Object-C&＃xff0c;Go等语言。

CLANG 则是一个效率更高的C/C&＃43;&＃43;编译工具&＃xff0c;并且兼容GCC&＃xff0c;Google在很早以前就开始建议使用clang进行编译&＃xff0c;并且在 ndk 17 以后&＃xff0c;把 GCC 移除了&＃xff0c;全面推行使用 CLANG 。

三、如何交叉编译FFmpeg

FFmpeg是什么

鼎鼎大名的FFmpeg&＃xff0c;不说在音视频界如雷贯耳&＃xff0c;就算一个不开发音视频的开发者也都是略有耳闻。

官方简介

A complete, cross-platform solution to record, convert and stream audio and video.

翻译过来就是&＃xff1a;FFmpeg是一套集录制、转换以及流化音视频的完整的跨平台解决方案。

从这段简介可以看到FFmpeg有以下特点&＃xff1a;

1. 功能强大&＃xff1a;录制、解码、编码、编辑、推流等等
2. 跨平台

编译流程

从前面的介绍&＃xff0c;基本上可以总结出FFmepg编译的基本流程&＃xff1a;

1. 选择编译工具
2. 配置交叉编译环境
3. 配置编译参数&＃xff08;比如去掉一些不需要的功能&＃xff09;
4. 启动编译

流程就是这么简单&＃xff0c;接下来就来详细看看&＃xff0c;如何通过 CLANG 和 GCC 两种方式来编译。

四、使用CLANG编译FFmpeg

注&＃xff1a;本文编译平台为Mac&＃xff0c;建议使用Mac或者Linux进行编译&＃xff0c;据说Windows有很多坑。

下载Android NDK

Android 的 NDK 已经迭代了很多版本&＃xff0c;在 r17c 以后&＃xff0c;Google正式移除 GCC &＃xff0c;不再支持 GCC &＃xff0c;新版本的 NDK 都是使用 CLANG 进行编译。

这里就使用目前最新的 NDK r20b 版本来编译。

NDK 下载地址&＃xff1a;[Android-NDK](()

NDK 目录

最主要的就是这两个路径&＃xff1a;

编译工具链目录&＃xff1a;
toolchains/llvm/prebuilt/darwin-x86_64/bin

交叉编译环境目录&＃xff1a;
toolchains/llvm/prebuilt/darwin-x86_64/sysroot

• 编译工具路径

根据不同的CPU架构区和不同的Android版本&＃xff0c;区分了不同的clang工具&＃xff0c;根据自己需要选择就好了。

本文选择 CPU 架构 armv7a&＃xff0c;Android版本 21:

armv7a-linux-androideabi21-clang
armv7a-linux-androideabi21-clang&＃43;&＃43;

• 编译环境路径

在 toolchains/llvm/prebuilt/darwin-x86_64/sysroot 目录下&＃xff0c;包含了两个目录&＃xff1a; usr/include&＃xff0c;usr/lib&＃xff0c;分别对应了 头文件 和 库文件。

下载FFmpeg源码

[FFmpeg官网下载](()&＃xff0c;直接DownLoad即可。

本文使用的是目前最新的版本 ffmpeg-4.2.2。

下载好源码后&＃xff0c;进入根目录&＃xff0c;找到一个名为 congfigure 的文件&＃xff0c;这是一个shell脚本&＃xff0c;用于生成一些 FFmpeg 编译需要的配置文件。

这个文件非常重要&＃xff0c;FFmpeg 的编译配置就是靠它完成的。

后面我们将对其中一些重要的内容进行分析&＃xff0c;这是理解 FFmpeg 编译配置的关键。

有了以上基础以后&＃xff0c;就可以对FFmpeg进行编译了。

配置脚本

• 修改 configure 脚本

1. 新增 cross_prefix_clang 参数

打开&＃xff08;注&＃xff1a;不是双击运行&＃xff09; ffmpeg-4.2.2 根目录下的 configure 文件&＃xff0c;搜索 CMDLINE_SET ,可以找到以下代码&＃xff0c;然后新增一个命令行选项&＃xff1a;cross_prefix_clang

CMDLINE_SET&＃61;"
$PATHS_LIST
ar
arch
as
assert_level
build_suffix
cc
objcc
cpu
cross_prefix

新增命令行参数

cross_prefix_clang
custom_allocator
cxx
dep_cc

省略其他…

"

2. 修改编译工具路径设置

搜索 ar_default&＃61;"${cross_prefix}${ar_default}" , 找到以下代码

ar_default&＃61;“crossprefix{cross_prefix}crossp​refix{ar_default}”
cc_default&＃61;“crossprefix{cross_prefix}crossp​refix{cc_default}”
cxx_default&＃61;“crossprefix{cross_prefix}crossp​refix{cxx_default}”
nm_default&＃61;“crossprefix{cross_prefix}crossp​refix{nm_default}”
pkg_config_default&＃61;“crossprefix{cross_prefix}crossp​refix{pkg_config_default}”

将中间两行修改为

ar_default&＃61;“crossprefix{cross_prefix}crossp​refix{ar_default}”
#------------------------------------------------
cc_default&＃61;“crossprefixclang{cross_prefix_clang}crossp​refixc​lang{cc_default}”
cxx_default&＃61;“crossprefixclang{cross_prefix_clang}crossp​refixc​lang{cxx_default}”
#------------------------------------------------
nm_default&＃61;“crossprefix{cross_prefix}crossp​refix{nm_default}”
pkg_config_default&＃61;“crossprefix{cross_prefix}crossp​refix{pkg_config_default}”

至于为什么这么修改&＃xff0c;将在后面的 configure 分析中详细讲解

• 新建编译配置脚本

在 ffmpeg-4.2.2 根目录下新建 shell 脚本&＃xff0c;命名为&＃xff1a; build_android_clang.sh

#!/bin/bash
set -x

目标Android版本

API&＃61;21
CPU&＃61;armv7-a
#so库输出目录
OUTPUT&＃61;/Users/cxp/Desktop/FFmpeg/ffmpeg-4.2.2/android/$CPU

NDK的路径&＃xff0c;根据自己的NDK位置进行设置

NDK&＃61;/Users/cxp/Desktop/FFmpeg/android-ndk-r20b

编译工具链路径

TOOLCHAIN&＃61;$NDK/toolchains/llvm/prebuilt/darwin-x86_64

编译环境

SYSROOT&＃61;$TOOLCHAIN/sysroot

function build
{
./configure
–prefix&＃61;KaTeX parse error: Undefined control sequence: \ at position 8: OUTPUT \̲ ̲--target-os&＃61;and…SYSROOT
–cross-prefix&＃61;KaTeX parse error: Undefined control sequence: \ at position 38: …x-androideabi- \̲ ̲--cross-prefix-…TOOLCHAIN/bin/armv7a-linux-androideabi$API-
–extra-cflags&＃61;“-fPIC”

make clean all

这里是定义用几个CPU编译

make -j12
make install
}

build

这个shell脚本&＃xff0c;大体上其实还是很容易懂的&＃xff0c;比如

--disabble-static --enable-shared 分别用于禁止输出静态库&＃xff0c;以及输出动态库&＃xff1b;

--arch --cpu 用于配置输出的so库是什么架构的&＃xff1b;

--prefix 用于配置输出的so库的存放路径。

接下来重点来讲一下几个选项&＃xff1a;

• target-os

--target-os&＃61;android&＃xff1a;在旧版本的 FFmpeg 中&＃xff0c;对Android平台的支持并不是很完善&＃xff0c;并没有 android 这个target&＃xff0c;所以在一些比较老的文章中都会提到&＃xff0c;编译Android平台的so库&＃xff0c;需要对 configure 做以下修改&＃xff0c;否则会按照 linux 标准的方式输出so库&＃xff0c;其命名方式和Android的so不一样&＃xff0c;Android是无法加载的。

SLIBNAME_WITH_VERSION&＃61;‘$(SLIBNAME).$(LIBVERSION)’
SLIBNAME_WITH_MAJOR&＃61;‘$(SLIBNAME).$(LIBMAJOR)’
LIB_INSTALL_EXTRA_CMD&＃61;‘?(RANLIB) “$(LIBDIR)/$(LIBNAME)”’
SLIB_INSTALL_NAME&＃61;‘(SLIBNAMEWITHVERSION)′SLIBINSTALLLINKS&＃61;′(SLIBNAME_WITH_VERSION)&＃39; SLIB_INSTALL_LINKS&＃61;&＃39;(SLIBNAMEW​ITHV​ERSION)′SLIBI​NSTALLL​INKS&＃61;′(SLIBNAME_WITH_MAJOR) $(SLIBNAME)’

修改为&＃xff1a;

SLIBNAME_WITH_VERSION&＃61;‘$(SLIBNAME).$(LIBVERSION)’
SLIBNAME_WITH_MAJOR&＃61;‘$(SLIBPREF)$(FULLNAME)-$(LIBMAJOR)$(SLIBSUF)’
LIB_INSTALL_EXTRA_CMD&＃61;‘?(RANLIB)“$(LIBDIR)/$(LIBNAME)”’
SLIB_INSTALL_NAME&＃61;‘(SLIBNAMEWITHMAJOR)′SLIBINSTALLLINKS&＃61;′(SLIBNAME_WITH_MAJOR)&＃39; SLIB_INSTALL_LINKS&＃61;&＃39;(SLIBNAMEW​ITHM​AJOR)′SLIBI​NSTALLL​INKS&＃61;′(SLIBNAME)’

但是在新版本的FFmpeg中&＃xff0c;这个问题终于被解决了&＃xff0c;FFmpeg加入了 android 这个 target。所以我们再也不需要手动去修改了。

• sysroot

--sysroot&＃61;$SYSROOT&＃xff1a; 用于配置交叉编译环境的 根路径 &＃xff0c;编译的时候会默认从这个路径下去寻找 usr/include usr/lib 这两个路径&＃xff0c;进而找到相关的头文件和库文件。

r20b 版本的 NDK 系统的头文 《Android学习笔记总结&＃43;最新移动架构视频&＃43;大厂安卓面试真题&＃43;项目实战源码讲义》无偿开源 徽信搜索公众号【编程进阶路】 件和库文件就是在 $SYSYROOT/usr/include 和 $SYSYROOT/usr/lib 中。

基本上很多新手在编译的时候都会出现找不到各种头文件&＃xff0c;导致编译失败。所以当编译出现找不到头文件的时候&＃xff0c;首先要检查的就是这个路径。

一点疑问

在使用最新的 ndk r20b 版本进行编译的时候发现&＃xff0c;即使不配置 sysroot 也可以正常编译&＃xff0c;怀疑 Android 的 clang 工具是否经过了处理&＃xff0c;会自动去寻找对应的路径。 目前没有从 configure 文件中找到原因。

如有知情者的&＃xff0c;还望告知呀&＃xff5e;。

说到 sysroot 就不得不提到另外一个参数 -isysyroot &＃xff0c;这个参数也让我困惑了很久&＃xff0c;因为很少文章会提到这个两个参数的联系和区别&＃xff0c;然而这个参数也很导致让人很莫名奇妙的编译失败。

• extra-cflags

介绍 -isysroot 之前&＃xff0c;先看看这个 extra-cflags 选项。

这个选项的作用是&＃xff0c;给编译器指定除了 sysroot 之外的头文件搜索路径。比如&＃xff1a;

–extra-cflags&＃61;“-I$SYSROOT/usr/include”

其中 -I 用于区分不同的路径

而 -isysroot 是这个选项的一个配置。比如

–extra-cflags&＃61;“-isysroot $SYSROOT”

-isysroot 的作用就是&＃xff0c;把后面的路径设置为默认的头文件搜索路径&＃xff0c;这时候&＃xff0c;前面 sysroot 配置路径就不再作为 头文件 默认的搜索路径了&＃xff0c;不过依然是 库文件 默认的搜索路径。

可以看到&＃xff0c;这两个配置从某种程度上说是一样的&＃xff1a;

–extra-cflags&＃61;“-I$SYSROOT/usr/include”

约等于

–extra-cflags&＃61;“-isysroot $SYSROOT”

• extra-ldflags

这个和上面的 extra-cflags 作用是类似的&＃xff0c;不过是用于配置额外的 库文件 搜索路径&＃xff0c;如

–extra-ldflags&＃61;“-L$SYSROOT/usr/lib”

其中 -L 用于区分不同的路径

可以看到 extra-cflags extra-ldflags 结合起来可以替代 sysroot 。

• cross-prefix

这个选项直译为 交叉编译前缀&＃xff0c;指的是交叉编译工具的前缀。

这个选项经常和另外一个选项 cc 一起出现搭配使用。

这是什么意思呢&＃xff1f;网上有的文章对于 cc 这个选项经常出现两种配置方式:

一种是只配置 cross-prefix &＃xff0c;没有配置 cc &＃xff0c;比如本文。

另一种是既配置 cross-prefix &＃xff0c;又配置 cc 。

比如&＃xff1a;

–cc&＃61;KaTeX parse error: Undefined control sequence: \ at position 41: …ndroideabi-gcc \̲ ̲--cross-prefix&＃61;TOOLCHAIN/bin/arm-linux-androideabi- \

这是两种完全不同的配置方式&＃xff0c;但是很神奇的是有时候他们都能成功编译&＃xff0c;有时候又会出现找不到编译链工具的错误。

为了搞明白 cross-prefix cc 这两个选项的配置到底有什么影响&＃xff0c;到底应该怎么使用这两个配置&＃xff0c;我特地仔细的去看了 FFmpeg 根目录下的 configure 配置脚本&＃xff0c;找到了一些蛛丝马迹。

分析 configure 配置脚本

注&＃xff1a;以下分析基于ffmpeg-4.2.2版本&＃xff0c;其他版本可能有所不同&＃xff0c;掌握基本原理即可。

• 获取用户配置选项

打开&＃xff08;注&＃xff1a;不是双击运行&＃xff09;configure shell脚本&＃xff0c;首先来看看 configure 是如何获取用户配置的编译选项的。

搜索 for opt do&＃xff0c;可以找到以下代码

for opt do
optval&＃61;“KaTeX parse error: Expected &＃39;}&＃39;, got &＃39;#&＃39; at position 5: {opt#̲*&＃61;}" case "opt” in
–extra-ldflags&＃61;)
add_ldflags $optval
;;
–extra-ldexeflags&＃61;)
add_ldexeflags $optval
;;
–extra-ldsoflags&＃61;)
add_ldsoflags $optval
;;
–extra-ldlibflags&＃61;)
warn “The --extra-ldlibflags option is only provided for compatibility and will be\n”
“removed in the future. Use --extra-ldsoflags instead.”
add_ldsoflags $optval
;;
–extra-libs&＃61;*)
add_extralibs $optval
;;
–disable-devices)
disable $INDEV_LIST OUTDEVLIST;;−−enable−debug&＃61;∗)debuglevel&＃61;"OUTDEV_LIST ;; --enable-debug&＃61;*) debuglevel&＃61;"OUTDEVL​IST;;−−enable−debug&＃61;∗)debuglevel&＃61;"optval"
;;

省略中间一些代码…

)
optname&＃61;“KaTeX parse error: Expected &＃39;}&＃39;, got &＃39;EOF&＃39; at end of input: …%&＃61;*}" optname&＃61;"{optname#–}”
optname&＃61;$(echo"$optname" | sed ‘s/-/_/g’)
if is_in $optname $CMDLINE_SET; then
tion is only provided for compatibility and will be\n"
“removed in the future. Use --extra-ldsoflags instead.”
add_ldsoflags $optval
;;
–extra-libs&＃61;)
add_extralibs $optval
;;
–disable-devices)
disable $INDEV_LIST OUTDEVLIST;;−−enable−debug&＃61;∗)debuglevel&＃61;"OUTDEV_LIST ;; --enable-debug&＃61;*) debuglevel&＃61;"OUTDEVL​IST;;−−enable−debug&＃61;∗)debuglevel&＃61;"optval"
;;

省略中间一些代码…

*)
optname&＃61;“KaTeX parse error: Expected &＃39;}&＃39;, got &＃39;EOF&＃39; at end of input: …%&＃61;*}" optname&＃61;"{optname#–}”
optname&＃61;$(echo"$optname" | sed ‘s/-/_/g’)
if is_in $optname $CMDLINE_SET; then