OSVOS(OneShotVideoObjectSegmentation)实验总结

论文地址,tensorflow版源码地址.

计算机视觉领域中和目标有关的经典任务有三种&＃xff1a;分类、检测和分割。其中分类是为了告诉你「是什么」&＃xff0c;后面两个任务的目标是为了告诉你「在哪里」&＃xff0c;而分割任务将在像素级别上回答这个问题。
视频实现目标检测任务有&＃xff1a;Visual tracking,action classification,action (temporal)recognition,video semantic segmentation等。
视频目标分割需要解决的是半监督问题&＃xff0c;只给出视频第一帧的正确分割掩码&＃xff0c;然后在之后的每一连续 帧中分割标注的目标&＃xff0c;而视觉跟踪解决的是值给出视频第一帧的定位边界框&＃xff0c;在后续每一连续帧中同样用边界框的形式标注物体。
视频目标分割任务和语义分割有两个基本区别&＃xff1a;

1.视频目标分割任务分割的是一般的、非语义的目标&＃xff1b;

2.视频目标分割添加了一个时序模块&＃xff1a;它的任务是在视频的每一连续帧中寻找感兴趣目标的对应像素。
基于视频任务的特性&＃xff0c;我们可以将问题分成两个子类&＃xff1a;

无监督&＃xff08;亦称作视频显著性检测&＃xff09;&＃xff1a;寻找并分割视频中的主要目标。这意味着算法需要自行决定哪个物体才是「主要的」。

半监督&＃xff1a;在输入中&＃xff08;只&＃xff09;给出视频第一帧的正确分割掩膜&＃xff0c;然后在之后的每一连续帧中分割标注的目标。

论文有以下贡献&＃xff1a;
1.将图像识别任务中的预训练CNN模型迁移到只有一张图片标注&＃xff08;one-shot&＃xff09;的视频分割任务中。然后&＃xff0c;将它在人工分割的视频数据集上训练。最后在测试阶段&＃xff0c;只在一帧人工标注的图片微调&＃xff0c;采用FCN实现特定目标实体分割。

2.论文使用OSVOS独立处理视频的每个帧&＃xff0c;同时以副产品的形式取得了不错的时间连续性。考虑到物体在两帧之间变化不大&＃xff0c;我们独立处理每一帧图片&＃xff0c;与主流方法着重考虑时间连续性不同。这些主流方法在渐变的连续帧之间取得了不错的分割性能&＃xff0c;但是对于遮挡和不完整的运动情况效果不太好。运动检测确实是当前视频分割算法中的关键组成&＃xff0c;但是相关计算却是一个很大的问题。我们认为时间连续性并不是现在一定要考虑的问题&＃xff0c;我们更应该关注如何提高分割的准确性。另一方面&＃xff0c;我们的模型也展示了深度学习的方法在独立处理每一帧时也能保证优异的时间连续性。自然的&＃xff0c;OSVOS有以下优点&＃xff1a;在遮挡时也可以进行分割&＃xff0c;不局限与某些运动&＃xff0c;不需要处理时序信息也就没有时序错误累积。

3.OSVOS算法在精度和速度上取得平衡&＃xff0c;用户可以选择更高准确率或者更高分割速度&＃xff0c;实验显示OSVOS每帧181ms的速度可以取得71.5%的准确率&＃xff0c;每帧7.83s的速度取得79.7%的准确率。另外&＃xff0c;用户可以标注更多的视频帧来提高准确率&＃xff0c;实验显示每个视频标注2张可以取得84.6%的准确率&＃xff0c;标注4张可以取得86.9%的准确率。

论文使用的数据集是DAVIS 2016。J是区域重合判断标准&＃xff0c;F是轮廓重合判断标准&＃xff0c;T是时间稳定性。-BS是没有获取边界&＃xff0c;-PN是没有在父网络上预训练&＃xff0c;-OS是没有学习第一帧。其有两个度量分割准确率的主要标准&＃xff1a;

1.区域相似度&＃xff08;Region Similarity&＃xff09;&＃xff1a;区域相似度是掩码 M 和真值 G 之间的 Intersection over Union。

2.轮廓精确度&＃xff08;Contour Accuracy&＃xff09;&＃xff1a;将掩码看成一系列闭合轮廓的集合&＃xff0c;并计算基于轮廓的 F 度量&＃xff0c;即准确率和召回率的函数。

直观上&＃xff0c;区域相似度度量标注错误像素的数量&＃xff0c;而轮廓精确度度量分割边界的准确率。

OSVOS 训练流程

1. 选择一个网络&＃xff08;比如 VGG-16&＃xff09;在 ImageNet 上进行分类预训练。

2. 将其转换为全连接卷积网络&＃xff08;FCN&＃xff09;&＃xff0c;从而保存空间信息&＃xff0c;训练结束时删去 FC 层。嵌入一个新的损失函数&＃xff1a;像素级 sigmoid 平衡交叉熵&＃xff08;pixel-wise sigmoid balanced cross entropy&＃xff0c;曾用于 HED&＃xff09;。现在&＃xff0c;每一个像素都可以被分类成前景或背景。

3. 在 DAVIS-2016 训练集上训练新的全连接卷积网络。

4. 单次训练&＃xff1a;在推断的时候&＃xff0c;给定一个新的视频输入进行分割并在第一帧给出真实标注&＃xff08;记住&＃xff0c;这是一个半监督问题&＃xff09;&＃xff0c;创建一个新模型&＃xff0c;使用 [3] 中训练的权重进行初始化&＃xff0c;并在第一帧进行调整。

这个流程的结果&＃xff0c;是适用于每一个新视频的唯一且一次性使用的模型&＃xff0c;由于第一帧的标注&＃xff0c;对于该新视频而言&＃xff0c;模型其实是过拟合的。由于大多数视频中的目标和背景并不会发生巨大改变&＃xff0c;因此这个模型的结果还是不错的。自然&＃xff0c;如果该模型用于处理随机视频序列时&＃xff0c;则它的表现得就没那么好了。

注&＃xff1a;OSVOS 方法是独立地分割视频的每一帧的&＃xff0c;因此视频中的时序信息是没有用的。

训练&＃xff1a;1.osvos_demo.py将“base network”进一步在DAVIS上训练&＃xff0c;学习如何将物体从背景中分割出来。然后用随机梯度下降设置momentum 0.9做了50000次迭代。通过反射和放大来处理数据。半监督设置为3&＃xff0c;学习率设置为10^-8&＃xff0c;逐渐减小。在离线训练后&＃xff0c;网络学习如何分割前景和背景。这个网络称为“parent network”。2.parent_demo.py给定第一帧的分割&＃xff0c;在视频中分割出该特定物体。通过进一步训练特定物体的image/ground truth对来训练parent network。然后使用新的权重对图像序列测试。时间上主要两个&＃xff0c;一个是fine-tuning时间&＃xff0c;一个是分割所有帧的时间。之前在质量和时间上有做trade-off&＃xff0c;学习图像对的次数越多&＃xff0c;得到的结果越好。第二步对gpu要求较高&＃xff0c;需自行设置。
参考自&＃xff1a;https://www.paperweekly.site/papers/notes/238
https://blog.csdn.net/zdyueguanyun/article/details/78204802
http://it.sohu.com/20171006/n516277259.shtml