跨平台播放器开发，开发一个播放器需要用到的FFmpeg知识

AVPacket *pkt &＃61; av_packet_alloc();for (;;) {int re &＃61; av_read_frame(ic, pkt);if (re !&＃61; 0) {//循环播放cout <<"&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;end&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;" <size &＃61; " <size <pts &＃61; " <pts <pts ms &＃61; " <pts * (r2d(ic->streams[pkt->stream_index]->time_base) * 1000) <dts &＃61; " <dts <stream_index &＃61;&＃61; videoStream) {cout <<"图像" <stream_index &＃61;&＃61; audioStream) {cout <<"音频" <

调试之后的 log

解码

调用 ·ffmpeg api 来对音视频压缩数据解码的话&＃xff0c;其实也很简单&＃xff0c;主要使用如下几个 api ,见下图:

我们接着在解封装的代码基础上进行添加&＃xff0c;代码如下:

//找到视频解码器AVCodec *vcodec &＃61; avcodec_find_decoder(ic->streams[videoStream]->codecpar->codec_id);if (!vcodec) {cout <<"can&＃39;t find the codec id" <streams[videoStream]->codecpar->codec_id <streams[videoStream]->codecpar);//配置解码线程vctx->thread_count &＃61; 8;//打开解码器上下文re &＃61; avcodec_open2(vctx, 0, 0);if (re !&＃61; 0) {char buf[1024] &＃61; {0};av_strerror(re, buf, sizeof(buf) - 1);cout <<"video avcodec_open2 failed!" <

找解码器也可以通过如下 API 形式进行:

AVCodec *avcodec_find_decoder_by_name(const char *name);

如果想要打开音频解码器&＃xff0c;代码一样&＃xff0c;换下参数即可&＃xff0c;下面进行真正解码&＃xff1a;

//malloc AVPacket并初始化 AVPacket *pkt &＃61; av_packet_alloc(); //接收解码的原始数据 AVFrame *frame &＃61; av_frame_alloc(); for (;;) { int re &＃61; av_read_frame(ic, pkt); if (re !&＃61; 0) { break; } //解码视频 //发送 packet 到解码线程 re &＃61; avcodec_send_packet(avcc, pkt); //释放&＃xff0c;引用计数-1 为0释放空间 av_packet_unref(pkt); //一次 send 可能对于多次 receive for (;;) { re &＃61; avcodec_receive_frame(avcc, frame); if (re !&＃61; 0)break; //释放&＃xff0c;引用计数-1 为0释放空间 av_frame_unref(frame); }


这样就可以进行解码了&＃xff0c;现在我们添加一些打印参数&＃xff0c;比如音频采样信息&＃xff0c;视频宽高信息:

总时长:totalMs &＃61; 10534 ms视频信息&＃xff1a;bitrate&＃61;907_500fps &＃61; 30.0003codec_id &＃61; 86018format &＃61; AV_PIX_FMT_YUV420P 11521080 - 1920pict_type&＃61; AV_PICTURE_TYPE_I音频信息&＃xff1a;sample_rate &＃61; 48000channels &＃61; 2


视频像素格式转换

视频像素格式其实就是 YUV 转 RGB 的一个过程&＃xff0c; FFmpeg 也提供了对应的 API &＃xff0c;它是使用 CPU 运算能力来转换&＃xff0c;效率是比较低的。咱们播放器使用 OpenGL GPU 来转&＃xff0c;效率比较高。虽然 FFmpeg API 转换效率比较低&＃xff0c;但是我们还是可以学习一下的。使用流程如下:

仅仅 2 个 API 就可以达到对 YUV 的转换或者裁剪&＃xff0c;代码示例:

const int in_width &＃61; frame->width; const int in_height &＃61; frame->height; const int out_width &＃61; in_width / 2; const int out_height &＃61; in_height / 2; /** * &＃64;param context : 缩放上下文&＃xff0c;如果为 NULL,那么内部会进行创建&＃xff0c; * 如果已经存在&＃xff0c;参数也没有发生变化&＃xff0c;那么就直接返回当前&＃xff0c;否者释放缩放上下文&＃xff0c;重新创建。 * &＃64;param srcW : 输入的宽 * &＃64;param srcH : 输入的高 * &＃64;param srcFormat : 输入的格式 * &＃64;param dstW : 输出的宽 * &＃64;param dstH : 输出的高 * &＃64;param dstFormat : 输出的格式 * &＃64;param flags : 提供了一系列的算法&＃xff0c;快速线性&＃xff0c;差值&＃xff0c;矩阵&＃xff0c;不同的算法性能也不同&＃xff0c; 快速线性算法性能相对较高。只针对尺寸的变换。 * &＃64;param srcFilter : 输入过滤器 * &＃64;param dstFilter : 输出过滤器 * &＃64;param param : 这个跟 flags 算法相关&＃xff0c;一般传入 O * &＃64;return : 缩放的上下文 */ vsctx &＃61; sws_getCachedContext( vsctx,//传入NULL 会新创建 in_width, in_height, (AVPixelFormat) frame->format, //输入的宽高&＃xff0c;格式 out_width, out_height, AV_PIX_FMT_RGBA, //输出的宽高&＃xff0c;格式 SWS_BILINEAR, //尺寸变换的算法 0, 0, 0 ); /** * &＃64;param c 缩放上下文 * &＃64;param srcSlice YUV 切换数据可以是指针&＃xff0c;也可以是数组 * &＃64;param srcStride 对应 YUV 一行的大小 * &＃64;param srcSliceY 这个用不到传入 0 即可 * &＃64;param srcSliceH YUV 的高 * &＃64;param dst 输出的像素格式数据 * &＃64;param dstStride 输出的像素格式数据的大小 * &＃64;return 返回转换后的高 */ re &＃61; sws_scale(vsctx, frame->data, //输入数据 frame->linesize,//输入行大小 0, frame->height,//输出高度 (uint8_t *const *) (data), //输出数据 lines//输出大小 );


上面的注释都很详细&＃xff0c;相信大家也能看的明白&＃xff0c;最后我们看下调试后的log,如下:

像素格式尺寸转换上下文创建或者获取成功&＃xff01;in_width&＃61;1080in_height&＃61;1920out_width&＃61;540out_height&＃61;960sws_scale success! return height of the output slice &＃61;960&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;end&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;


重采样

重采样的意思就是将音频的输入参数统一输出某个特定的值&＃xff0c;这样做的好处就是归一化播放器的声音输出。那么怎么使用 FFmpeg API 来进行重采样呢? 先来看一张流程图:

我们还是以之前的代码继续写&＃xff0c;

我们统一输出的参数为 sample_rate&＃61;48000,sample_channel&＃61;2,sample_fml&＃61;AV_SAMPLE_FMT_S16

... //音频重采样 SwrContext *asctx &＃61; swr_alloc(); //设置重采样参数 asctx &＃61; swr_alloc_set_opts(asctx //重采样上下文 , av_get_default_channel_layout(2)//输出声道格式 , AV_SAMPLE_FMT_S16 //输出声音样本格式 , 48000 //输出采样率 , av_get_default_channel_layout(actx->channels)//输入通道数 , actx->sample_fmt //输入声音样本格式 , actx->sample_rate, 0, 0 //输入音频采样率 ); //初始化采样上下文 re &＃61; swr_init(asctx); if (re !&＃61; 0) { char buf[1024] &＃61; {0}; av_strerror(re, buf, sizeof(buf) - 1); cout <<"audio swr_init failed!" <streams[pkt->stream_index]->time_base);// av_seek_frame(ic, videoStream, pos, AVSEEK_FLAG_BACKWARD | AVSEEK_FLAG_FRAME);// continue; break; } cout <<"pkt->size &＃61; " <size <pts &＃61; " <pts <pts ms &＃61; " <pts * (r2d(ic->streams[pkt->stream_index]->time_base) * 1000) <dts &＃61; " <dts <stream_index &＃61;&＃61; videoStream) { cout <<"图像" <stream_index &＃61;&＃61; audioStream) { cout <<"音频" <nb_samples * 16/8 * 2]; data[0] &＃61; {pcm}; int len &＃61; swr_convert(asctx, data, frame->nb_samples //输出 , (const uint8_t **) frame->data, frame->nb_samples //输入 ); if (len >&＃61; 0) { cout <<"swr_convert success return len &＃61; " <

转换后的log:

swr_convert success return len &＃61; 1024


seek 操作

我们如果想要指定某个时间看某段画面的话就需要对视频做 seek 操作&＃xff0c;FFmpeg 提供了 av_seek_frame 函数来对视频的跳转&＃xff0c;它有 4 个输入参数&＃xff0c;含义如下:

/*** 根据时间戳和音频或视频的索引 seek 到关键帧的操作** &＃64;param s 媒体格式上下文* &＃64;param stream_index 流索引&＃xff0c;传入 -1 为默认* &＃64;param timestamp 需要跳转到时间戳的位置* &＃64;param flags seek 的模式* &＃64;return >&＃61; 0 on success*/
int av_seek_frame(AVFormatContext *s, int stream_index, int64_t timestamp,int flags);


我们着重看下最后一个 flags 参数

//AVSEEK_FLAG_BACKWARD

seek 到后面的关键帧

//AVSEEK_FLAG_BYTE

基于以字节为单位的位置查找

//AVSEEK_FLAG_ANY

Seek 到任意一帧&＃xff0c;注意不是关键帧&＃xff0c;那么会有花屏的可能。

//AVSEEK_FLAG_FRAME

seek 到关键帧的位置

 我们一般以这样的形式来进行 seek 操作:

int ms &＃61; 3000; //三秒位置 根据时间基数&＃xff08;分数&＃xff09;转换
long long pos &＃61; (double) ms / (double) 1000 * r2d(ic->streams[pkt->stream_index]->time_base);
av_seek_frame(ic, videoStream, pos, AVSEEK_FLAG_BACKWARD | AVSEEK_FLAG_FRAME);


上面的含义就是定位到 3000 ms 位置后面的关键帧处开始播放。后面播放器 seek 功能的时候我们会介绍如何精准 seek 操作 该篇文章对于 FFmpeg 的知识我们就介绍到这里,后面在开发中如果有新遇见的我会再详细介绍一下。 总结 播放器要用到的 FFmpeg 知识 大概就这么多&＃xff0c;可以发现这些 API 其实都比较简单。此刻我相信你已经对这些 API 有一定的印象和了解了吧。