FFmpeg音视频同步原理与实现

一、音视频同步原理

如果简单的按照音频的采样率与视频的帧率去播放&＃xff0c;由于机器运行速度&＃xff0c;解码效率等种种造成时间差异的因素影响&＃xff0c;很难同步&＃xff0c;音视频时间差将会呈现线性增长。所以要做音视频的同步&＃xff0c;有三种方式&＃xff1a;

参考一个外部时钟&＃xff0c;将音频与视频同步至此时间。我首先想到这种方式&＃xff0c;但是并不好&＃xff0c;由于某些生物学的原理&＃xff0c;人对声音的变化比较敏感&＃xff0c;但是对视觉变化不太敏感。所以频繁的去调整声音的播放会有些刺耳或者杂音吧影响用户体验。&＃xff08;ps&＃xff1a;顺便科普生物学知识&＃xff0c;自我感觉好高大上_&＃xff09;。

• 以视频为基准&＃xff0c;音频去同步视频的时间。不采用&＃xff0c;理由同上。

• 以音频为基准&＃xff0c;视频去同步音频的时间。 所以这个办法了。

所以&＃xff0c;原理就是以音频时间为基准&＃xff0c;判断视频快了还是慢了&＃xff0c;从而调整视频速度。其实是一个动态的追赶与等待的过程。

二、一些概念

音视频中都有DTS与PTS。

DTS &＃xff0c;Decoding Time Stamp&＃xff0c;解码时间戳&＃xff0c;告诉解码器packet的解码顺序。
PTS &＃xff0c;Presentation Time Stamp&＃xff0c;显示时间戳&＃xff0c;指示从packet中解码出来的数据的显示顺序。
音频中二者是相同的&＃xff0c;但是视频由于B帧&＃xff08;双向预测&＃xff09;的存在&＃xff0c;会造成解码顺序与显示顺序并不相同&＃xff0c;也就是视频中DTS与PTS不一定相同。

时间基 :看FFmpeg源码

/**
 * This is the fundamental unit of time (in seconds) in terms
 * of which frame timestamps are represented. For fixed-fps content,
 * timebase should be 1/framerate and timestamp increments should be
 * identically 1.
 * This often, but not always is the inverse of the frame rate or field rate
 * for video.
 * - encoding: MUST be set by user.
 * - decoding: the use of this field for decoding is deprecated.
 *             Use framerate instead.
 */
AVRational time_base;
/**
* rational number numerator/denominator
*/
typedef struct AVRational{
   int num; ///
   int den; ///
} AVRational;

个人理解&＃xff0c;其实就是ffmpeg中的用分数表示时间单位&＃xff0c;num为分子&＃xff0c;den为分母。并且ffmpeg提供了计算方法&＃xff1a;

/**
* Convert rational to double.
* &＃64;param a rational to convert
* &＃64;return (double) a
*/
static inline double av_q2d(AVRational a){
   return a.num / (double) a.den;
}

所以 视频中某帧的显示时间 计算方式为(单位为妙)&＃xff1a;

time &＃61; pts * av_q2d(time_base);

三、同步代码
1、 音频部分
clock 为音频的播放时长&＃xff08;从开始到当前的时间&＃xff09;

if (packet->pts !&＃61; AV_NOPTS_VALUE) {
    audio->clock &＃61; av_q2d(audio->time_base) * packet->pts;
}

然后加上此packet中数据需要播放的时间

double time &＃61; datalen/((double) 44100 *2 * 2);
audio->clock &＃61; audio->clock &＃43;time;

datalen为数据长度。采样率为44100&＃xff0c;采样位数为16&＃xff0c;通道数为2。所以 数据长度 / 每秒字节数。

ps&＃xff1a;此处计算方式不是很完美&＃xff0c;有很多问题&＃xff0c;回头研究在再补上。

四、 视频部分
先定义几个值&＃xff1a;

double  last_play  //上一帧的播放时间
   ,play             //当前帧的播放时间
   , last_delay    // 上一次播放视频的两帧视频间隔时间
   ,delay         //两帧视频间隔时间
   ,audio_clock //音频轨道 实际播放时间
   ,diff   //音频帧与视频帧相差时间
   ,sync_threshold //合理的范围
   ,start_time  //从第一帧开始的绝对时间
   ,pts
   ,actual_delay//真正需要延迟时间
   start_time &＃61; av_gettime() / 1000000.0;
//        获取pts
       if ((pts &＃61; av_frame_get_best_effort_timestamp(frame)) &＃61;&＃61; AV_NOPTS_VALUE) {
           pts &＃61; 0;
       }
       play &＃61; pts * av_q2d(vedio->time_base);
//        纠正时间
       play &＃61; vedio->synchronize(frame, play);
       delay &＃61; play - last_play;
       if (delay <&＃61; 0 || delay > 1) {
           delay &＃61; last_delay;
       }
       audio_clock &＃61; vedio->audio->clock;
       last_delay &＃61; delay;
       last_play &＃61; play;
//音频与视频的时间差
       diff &＃61; vedio->clock - audio_clock;
//        在合理范围外  才会延迟  加快
       sync_threshold &＃61; (delay > 0.01 ? 0.01 : delay);
       if (fabs(diff) <10) {
           if (diff <&＃61; -sync_threshold) {
               delay &＃61; 0;
           } else if (diff >&＃61; sync_threshold) {
               delay &＃61; 2 * delay;
           }
       }
       start_time &＃43;&＃61; delay;
       actual_delay &＃61; start_time - av_gettime() / 1000000.0;
       if (actual_delay <0.01) {
           actual_delay &＃61; 0.01;
       }
//  休眠时间 ffmpeg 建议这样写  为什么 要这样写 有待研究
       av_usleep(actual_delay * 1000000.0 &＃43; 6000);
纠正play &＃xff08;播放时间&＃xff09;的方法 repeat_pict / (2 * fps) 是ffmpeg注释里教的
synchronize(AVFrame *frame, double play) {
   //clock是当前播放的时间位置
   if (play !&＃61; 0)
       clock&＃61;play;
   else //pst为0 则先把pts设为上一帧时间
       play &＃61; clock;
   //可能有pts为0 则主动增加clock
   //需要求出扩展延时&＃xff1a;
   double repeat_pict &＃61; frame->repeat_pict;
   //使用AvCodecContext的而不是stream的
   double frame_delay &＃61; av_q2d(codec->time_base);
   //fps
   double fps &＃61; 1 / frame_delay;
   //pts 加上 这个延迟 是显示时间  
   double extra_delay &＃61; repeat_pict / (2 * fps);
   double delay &＃61; extra_delay &＃43; frame_delay;
   clock &＃43;&＃61; delay;
   return play;
}

原创作者&＃xff1a;Learner_9a9e
原文链接&＃xff1a;https://www.jianshu.com/p/3578e794f6b5
校验&＃xff1a;逆流的鱼yuiop