声 明
首先&＃xff0c;这一系列文章均基于自己的理解和实践&＃xff0c;可能有不对的地方&＃xff0c;欢迎大家指正。
其次&＃xff0c;这是一个入门系列&＃xff0c;涉及的知识也仅限于够用&＃xff0c;深入的知识网上也有许许多多的博文供大家学习了。
最后&＃xff0c;写文章过程中&＃xff0c;会借鉴参考其他人分享的文章&＃xff0c;会在文章最后列出&＃xff0c;感谢这些作者的分享。
码字不易&＃xff0c;转载请注明出处&＃xff01;
目录
一、Android音视频硬解码篇&＃xff1a;
二、使用OpenGL渲染视频画面篇
三、Android FFmpeg音视频解码篇
本文你可以了解到
利用 FFmpeg 对音视频进行简单的解封和重新封装&＃xff0c;不涉及解码和编码&＃xff0c;为下一篇讲解如何对编辑好的视频进行重编码和封装做好铺垫。
一、前言
前面的文章中&＃xff0c;对 FFmpg 视频的解码&＃xff0c;以及如何利用 OpenGL 对视频进行编辑和渲染&＃xff0c;做了详细的讲解&＃xff0c;接来非常重要的&＃xff0c;就是对编辑好的视频进行编码和保存。
当然了&＃xff0c;在了解如何编码之前&＃xff0c;先了解如何对编码好的音视频进行封装&＃xff0c;会有事半功倍的效果。
在《音视频解封和封装&＃xff1a;生成一个MP4》中使用了 Android 的原生功能&＃xff0c;实现了对音视频的重打包。FFmpeg 也是同样的&＃xff0c;只不过流程更为繁琐一些。
二、初始化封装参数
我们知道&＃xff0c;将编码数据封装到 Mp4 中&＃xff0c;需要知道音视频编码相关的参数&＃xff0c;比如编码格式&＃xff0c;视频的宽高&＃xff0c;音频通道数&＃xff0c;帧率&＃xff0c;比特率等&＃xff0c;下面就先看看如何初始化它们。
首先&＃xff0c;定义一个打包器 FFRepacker&＃xff1a;
// ff_repack.h
class FFRepack {
private:
const char *TAG &＃61; "FFRepack";
AVFormatContext *m_in_format_cxt;
AVFormatContext *m_out_format_cxt;
int OpenSrcFile(char *srcPath);
int InitMuxerParams(char *destPath);
public:
FFRepack(JNIEnv *env,jstring in_path, jstring out_path);
};
初始化过程分为两个步骤&＃xff1a;打开原视频文件、初始化打包参数。
// ff_repack.cpp
FFRepack::FFRepack(JNIEnv *env, jstring in_path, jstring out_path) {
const char *srcPath &＃61; env->GetStringUTFChars(in_path, NULL);
const char *destPath &＃61; env->GetStringUTFChars(out_path, NULL);
// 打开原视频文件&＃xff0c;并获取相关参数
if (OpenSrcFile(srcPath) >&＃61; 0) {
// 初始化打包参数
if (InitMuxerParams(destPath)) {
LOGE(TAG, "Init muxer params fail")
}
} else {
LOGE(TAG, "Open src file fail")
}
}
打开原视频&＃xff0c;获取原视频参数
代码很简单&＃xff0c;在使用 FFMpeg 解码的文章中就已经讲解过。如下&＃xff1a;
// ff_repack.cpp
int FFRepack::OpenSrcFile(const char *srcPath) {
// 打开文件
if ((avformat_open_input(&m_in_format_cxt, srcPath, 0, 0))
LOGE(TAG, "Fail to open input file")
return -1;
}
// 获取音视频参数
if ((avformat_find_stream_info(m_in_format_cxt, 0))
LOGE(TAG, "Fail to retrieve input stream information")
return -1;
}
return 0;
}
初始化打包参数
初始化打包参数稍微复杂一些&＃xff0c;主要过程是&＃xff1a;
查找原视频中有哪些音视频流&＃xff0c;并为目标视频(即重打包视频文件)添加对应的流通道和初始化对应的编码参数。
接着&＃xff0c;使用已经初始化完毕的上下文&＃xff0c;打开目标存储文件。
最后&＃xff0c;往目标文件中&＃xff0c;写入视频头部信息。
代码如下&＃xff0c; 主要流程请查看注释&＃xff1a;
//ff_repack.cpp
int FFRepack::InitMuxerParams(const char *destPath) {
// 初始化输出上下文
if (avformat_alloc_output_context2(&m_out_format_cxt, NULL, NULL, destPath)
return -1;
}
// 查找原视频所有媒体流
for (int i &＃61; 0; i nb_streams; &＃43;&＃43;i) {
// 获取媒体流
AVStream *in_stream &＃61; m_in_format_cxt->streams[i];
// 为目标文件创建输出流
AVStream *out_stream &＃61; avformat_new_stream(m_out_format_cxt, NULL);
if (!out_stream) {
LOGE(TAG, "Fail to allocate output stream")
return -1;
}
// 复制原视频数据流参数到目标输出流
if (avcodec_parameters_copy(out_stream->codecpar, in_stream->codecpar)
LOGE(TAG, "Fail to copy input context to output stream")
return -1;
}
}
// 打开目标文件
if (avio_open(&m_out_format_cxt->pb, destPath, AVIO_FLAG_WRITE)
LOGE(TAG, "Could not open output file %s ", destPath);
return -1;
}
// 写入文件头信息
if (avformat_write_header(m_out_format_cxt, NULL)
LOGE(TAG, "Error occurred when opening output file");
return -1;
} else {
LOGE(TAG, "Write file header success");
}
return 0;
}
以上&＃xff0c;初始化已经完毕&＃xff0c;下面就可以进行音视频的解封和重新封装了。
三、原视频解封装
新增一个 Start 方法&＃xff0c;用于开启重打包
// ff_repack.h
class FFRepack {
// 省略其他...
public:
// 省略其他...
void Start();
};
具体实现如下&＃xff1a;
// ff_repack.cpp
void FFRepack::Start() {
LOGE(TAG, "Start repacking ....")
AVPacket pkt;
while (1) {
// 读取数据
if (av_read_frame(m_in_format_cxt, &pkt)) {
LOGE(TAG, "End of video&＃xff0c;write trailer")
// 释放数据帧
av_packet_unref(&pkt);
// 读取完毕&＃xff0c;写入结尾信息
av_write_trailer(m_out_format_cxt);
break;
}
// 写入一帧数据
Write(pkt);
}
// 释放资源
Release();
}
解封依然很简单&＃xff0c;在之前的解码文章同样介绍过&＃xff0c;主要是将数据读取到 AVPacket 中。然后调用 Write 方法&＃xff0c;将帧数据写入目标文件中。下面就来看看 Write 方法。
四、目标视频封装
增加一个 Write 方法。
// ff_repack.h
class FFRepack {
// 省略其他...
public:
// 省略其他...
void Write(AVPacket pkt);
};
// ff_repacker.cpp
void FFRepack::Write(AVPacket pkt) {
// 获取数据对应的输入/输出流
AVStream *in_stream &＃61; m_in_format_cxt->streams[pkt.stream_index];
AVStream *out_stream &＃61; m_out_format_cxt->streams[pkt.stream_index];
// 转换时间基对应的 PTS/DTS
int rounding &＃61; (AV_ROUND_NEAR_INF | AV_ROUND_PASS_MINMAX);
pkt.pts &＃61; av_rescale_q_rnd(pkt.pts, in_stream->time_base, out_stream->time_base,
(AVRounding)rounding);
pkt.dts &＃61; av_rescale_q_rnd(pkt.dts, in_stream->time_base, out_stream->time_base,
(AVRounding)rounding);
pkt.duration &＃61; av_rescale_q(pkt.duration, in_stream->time_base, out_stream->time_base);
pkt.pos &＃61; -1;
// 将数据写入目标文件
if (av_interleaved_write_frame(m_out_format_cxt, &pkt)
LOGE(TAG, "Error to muxing packet: %x", ret)
}
}
流程很简单&＃xff0c;将该帧数据的 pts 和 dts 、 duration 进行转换以后&＃xff0c;将数据写入即可。
在写入数据之前&＃xff0c;先获取了该帧数据所在的流和写入的数据流。这是因为&＃xff0c;在写入之前&＃xff0c;需要对数据的时间进行转换。
FFmpeg 中的时间单位
我们知道&＃xff0c;每一帧音视频数据都有其对应的时间戳&＃xff0c;根据这个时间戳就可以实现对音视频播放的控制。
FFmpeg 中的时间戳并不是我们实际中的时间&＃xff0c;它是一个特别的数值。并且在 FFmpeg 中&＃xff0c;还有一个叫 时间基 的概念&＃xff0c;时间基 是 FFmpeg 中的时间单位。
[时间戳的值] 乘以 [时间基]&＃xff0c;才是[实际的时间]&＃xff0c;并且单位为秒。
换而言之&＃xff0c;FFmpeg 的时间戳的值&＃xff0c;是随着 时间基 的不同而变化的。
而 FFmpeg 在不同的阶段和不同的封装格式下也有着不同的时间基&＃xff0c;因此&＃xff0c;在进行帧数据的封装时&＃xff0c;需要根据各自的时间基进行 “时间戳” 转换&＃xff0c;以保证最终计算得到的实际时间是一致的。
当然了&＃xff0c;为了方便转换 FFmpeg 为我们提供了转换的方法&＃xff0c;并且处理了数据的溢出和取整问题。
av_rescale_q_rnd(int64_t a, AVRational bq,AVRational cq,enum AVRounding rnd)
其内部原理很简单&＃xff1a;return (a × bq / cq)。
即&＃xff1a;
x(目标时间戳值) * cq(目标时间基)&＃61; a(原时间戳值) * bq(原时间基)
&＃61;》&＃61;》&＃61;》&＃61;》&＃61;》&＃61;》
x &＃61; a * bq / cq
当所有数据帧都读取完毕之后&＃xff0c;需要通过 av_write_trailer 写入结尾信息&＃xff0c;这样文件才算完整&＃xff0c;视频才能正常播放。
五、释放资源
最后&＃xff0c;需要将之前打开的资源进行关闭&＃xff0c;避免内存泄漏。
增加一个 Release 方法&＃xff1a;
// ff_repack.h
class FFRepack {
// 省略其他...
public:
// 省略其他...
void Release();
};
//ff_repack.cpp
void FFRepack::Release() {
LOGE(TAG, "Finish repacking, release resources")
// 关闭输入
if (m_in_format_cxt) {
avformat_close_input(&m_in_format_cxt);
}
// 关闭输出
if (m_out_format_cxt) {
avio_close(m_out_format_cxt->pb);
avformat_free_context(m_out_format_cxt);
}
}
六、调用重打包
新增 JNI 接口
在 native-lib.cpp 中&＃xff0c;新增 JNI 接口
// native-lib.cpp
extern "C" {
// 省略其他 ...
JNIEXPORT jint JNICALL
Java_com_cxp_learningvideo_FFRepackActivity_createRepack(JNIEnv *env,
jobject /* this */,
jstring srcPath,
jstring destPath){
FFRepack *repack &＃61; new FFRepack(env, srcPath, destPath);
return (jint) repack;
}
JNIEXPORT void JNICALL
Java_com_cxp_learningvideo_FFRepackActivity_startRepack(JNIEnv *env,
jobject /* this */,
jint repack){
FFRepack *ffRepack &＃61; (FFRepack *) repack;
ffRepack->Start();
}
}
新增页面
// FFRepackActivity.kt
class FFRepackActivity: AppCompatActivity() {
private var ffRepack: Int &＃61; 0
private val srcPath &＃61; Environment.getExternalStorageDirectory().absolutePath &＃43; "/mvtest.mp4"
private val destPath &＃61; Environment.getExternalStorageDirectory().absolutePath &＃43; "/mvtest_repack.mp4"
override fun onCreate(savedInstanceState: Bundle?) {
super.onCreate(savedInstanceState)
setContentView(R.layout.activity_ff_repack)
ffRepack &＃61; createRepack(srcPath, destPath)
}
fun onStartClick(view: View) {
if (ffRepack !&＃61; 0) {
thread {
startRepack(ffRepack)
}
}
}
private external fun createRepack(srcPath: String, destPath: String): Int
private external fun startRepack(repack: Int)
companion object {
init {
System.loadLibrary("native-lib")
}
}
}
以上&＃xff0c;就是使用 FFmpeg 解封和封装的过程&＃xff0c;比较简单&＃xff0c;主要是为后面视频编辑、编码、封装做好准备。
京公网安备 11010802041100号