ffplay外部时钟同步的原理

概述

ffplay有三种同步方式：1、音频作为主时钟；2、视频作为主时钟；3、外部时钟源作为主时钟。默认的同步方式为“音频作为主时钟”方式，具体代码分析可查阅:https://blog.csdn.net/lyy901135/article/details/95307111

音频作为主时钟时，视频pts向音频的pts看齐，若视频播放延迟，则需进行丢帧处理。视频作为主时钟时，音频需向视频的pts看齐，要音频播放延迟/超前，则需对音频样本进行缩放。本文主要介绍第三种同步方式：外部时钟源作为主时钟。

视频同步方式的选择

使用ffplay的-sync参数可指定音视频同步的种类，比如如下命令选择外部时钟作为主时钟。

ffplay ~/Videos/Sintel.2010.720p.mkv -sync ext


原理说明

外部时钟更新的时机

初始时，外部时钟源pts初始化为NAN，后续该外部时钟源的字段的更新都是通过sync_clock_to_slave()完成。音频或视频帧在分别更新自己对应的时钟时，也会调用sync_clock_to_slave()尝试对外部时钟做更新。

为何上文说是尝试对外部时钟进行更新？是因为在sync_clock_to_slave()代码中我们可以看到更新规则：

1、外部时钟pts非法，从属时钟（音频/视频）的pts有效时更新。
2、外部时钟pts与从属时钟的时间差值超过AV_NOSYNC_THRESHOLD（10秒），则对外部时钟进行更新。

static void sync_clock_to_slave(Clock *c, Clock *slave)
{
double clock = get_clock(c);
double slave_clock = get_clock(slave);
/* 仅当下列条件满足时，才会更新外部时钟 */
if (!isnan(slave_clock) && (isnan(clock) || fabs(clock - slave_clock) > AV_NOSYNC_THRESHOLD))
set_clock(c, slave_clock, slave->serial);
}


由于外部时钟初始化时为NAN，因此第一帧音频（视频）播放时，会满足第1个条件，从而调用set_clock()更新了外部时钟。我们展开函数进行分析可知，第一帧有效帧播放后，外部时钟的字段分别对应的值（如下代码注释）

static void set_clock_at(Clock *c, double pts, int serial, double time)
{
/* 第一个有效帧对应的pts，以音频为例，此时对应的就是第一帧播放时，音频clock的时间值 */
c->pts = pts; /* 第一帧有效帧播放时的系统时间 */
c->last_updated = time; /* 当前时刻，外部时钟的时间值（pts）与系统时间值之差 * 一定注意是当前时刻，后续时间点计算都是根据此值作为基准来计算。 * 每隔10秒才会更新这个基准时间。 */
c->pts_drift = c->pts - time;
c->serial = serial;
}
static void set_clock(Clock *c, double pts, int serial)
{
double time = av_gettime_relative() / 1000000.0;
set_clock_at(c, pts, serial, time);
}


函数sync_clock_to_slave()被调用的地方：

static void update_video_pts(VideoState *is, double pts, int64_t pos, int serial) {
/* update current video pts */
set_clock(&is->vidclk, pts, serial);
/* 视频时钟更新时，尝试更新外部时钟 */
sync_clock_to_slave(&is->extclk, &is->vidclk);
}


/* prepare a new audio buffer */
static void sdl_audio_callback(void *opaque, Uint8 *stream, int len)
{
............ /* Let's assume the audio driver that is used by SDL has two periods. */
if (!isnan(is->audio_clock)) {
set_clock_at(&is->audclk, is->audio_clock - (double)(2 * is->audio_hw_buf_size + is->audio_write_buf_size) / is->audio_tgt.bytes_per_sec, is->audio_clock_serial, audio_callback_time / 1000000.0);
/* 音频时钟更新时，尝试更新外部时钟 */
sync_clock_to_slave(&is->extclk, &is->audclk);
}
}


外部时钟时间轴特性

了解到外部时钟更新时机，笔者就很迷惑了。既然作为同步的基准时间轴，那肯定要不停的增长，而且这个增长还必须是有规律的（比如像自然时间一样，一秒一秒的增长）。但是刚才看到确实是每隔10秒才更新一次外部时间，那这10秒内的音视频要怎么同步？

带着这个疑问，我们分别看下视频与音频如何与主时钟进行同步，首先是视频同步的代码，具体同步原理可参见：https://blog.csdn.net/lyy901135/article/details/95307111

static double compute_target_delay(double delay, VideoState *is)
{
double sync_threshold, diff = 0;
/* update delay to follow master synchronisation source */
if (get_master_sync_type(is) != AV_SYNC_VIDEO_MASTER) {
/* if video is slave, we try to correct big delays by duplicating or deleting a frame */
/* 与主时钟对比，获取时间差 */
diff = get_clock(&is->vidclk) - get_master_clock(is);
........
}
........
}


音频同步代码如下，根据与主时钟的差距，计算出当前需要多少帧音频样本，然后根据这个计算所得的音频样本数，对原始音频进行缩放。

/* return the wanted number of samples to get better sync if sync_type is video * or external master clock */
static int synchronize_audio(VideoState *is, int nb_samples)
{
int wanted_nb_samples = nb_samples;
/* if not master, then we try to remove or add samples to correct the clock */
if (get_master_sync_type(is) != AV_SYNC_AUDIO_MASTER) {
............

/* 与主时钟对比，获取时间差 */
diff = get_clock(&is->audclk) - get_master_clock(is);

.........
}
return wanted_nb_samples;
}


上面均调用了get_master_clock来获取此时主时钟的时间值，当前主时钟为外部时钟。我们继续看下这个时间值是怎么计算的。从下面代码可以看出整个原理，其实外部时钟就是一开始记录了第一帧的pts，以及第一帧的系统时间（假定为T0，则代码中pts_drift = pts-T0）。如果当前时钟假定为T1，那么此时主时钟的时间就应该为

pts + (T1 &＃8211; T0) = (pts &＃8211; T0) + T1 = pts_drift + T1

T1-T0表示用系统时间，计算从开始到现在的总时长。pts表示第一帧播放的时刻，那么pts+T1-T0，就表示当前时刻的pts值，这个值则可以用于音频/视频的clock对比。

/* get the current master clock value */
static double get_master_clock(VideoState *is)
{
double val;
switch (get_master_sync_type(is)) {
case AV_SYNC_VIDEO_MASTER:
val = get_clock(&is->vidclk);
break;
case AV_SYNC_AUDIO_MASTER:
val = get_clock(&is->audclk);
break;
default:
val = get_clock(&is->extclk);
break;
}
return val;
}


static double get_clock(Clock *c)
{
if (*c->queue_serial != c->serial)
return NAN;
if (c->paused) {
return c->pts;
} else {
double time = av_gettime_relative() / 1000000.0;
return c->pts_drift + time - (time - c->last_updated) * (1.0 - c->speed);
}
}