机器之心报道
作者&＃xff1a;小舟
用人脸识别找到你「老婆」。
自七十年代以来&＃xff0c;人脸识别已经成为了计算机视觉和生物识别领域研究最多的主题之一。近年来&＃xff0c;传统的人脸识别方法已经被基于卷积神经网络&＃xff08;CNN&＃xff09;的深度学习方法代替。目前&＃xff0c;人脸识别技术广泛应用于安防、商业、金融、智慧自助终端、娱乐等各个领域。而在行业应用强烈需求的推动下&＃xff0c;动漫媒体越来越受到关注&＃xff0c;动漫人物的人脸识别也成为一个新的研究领域。
动漫形象虽然相对具有标志性&＃xff0c;但也不乏相似的动漫形象和场景&＃xff0c;毕竟 B 站知名 up 主凉风「一眼识动漫」的技能不常有。
人工不可&＃xff0c;那么将人脸识别用于动漫角色识别呢&＃xff1f;
近日&＃xff0c;来自爱奇艺的一项新研究提出了一个新的基准数据集&＃xff0c;名为 iCartoonFace。该数据集由 5013 个动漫角色的 389678 张图像组成&＃xff0c;并带有 ID、边界框、姿势和其他辅助属性。iCartoonFace 是目前图像识别领域规模最大的卡通媒体数据集&＃xff0c;而且质量高、注释丰富、内容全面&＃xff0c;其中包含相似图像、有遮挡的图像以及外观有变化的图像。
论文地址&＃xff1a;https://arxiv.org/pdf/1907.13394.pdf
借助半自动标记算法&＃xff0c;研究者为动漫媒体提供了两种类型的注释&＃xff0c;即面部识别和面部检测。为了进一步研究这个具有挑战性的数据集&＃xff0c;研究者提出了一种多任务域适应方法&＃xff0c;该方法将人类和动漫域知识与三种判别性正则化结合起来。此外&＃xff0c;研究者还对提出的数据集进行了基准分析&＃xff0c;并验证了提出的方法在动漫人物人脸识别任务中的优越性。
图 1&＃xff1a;iCartoonFace 嵌入示意图。
类似于人脸识别&＃xff0c;动漫角色人脸识别中也有一些经典的问题需要处理。
如下图所示&＃xff0c;利用 iCartoonFace 数据集可以将相似的动漫脸区分开&＃xff0c;识别出是不同的动漫角色&＃xff1a;
同一动漫人物&＃xff0c;不同视角&＃xff0c;能够识别出是同一动漫角色&＃xff1a;
即使图片中存在重度遮挡&＃xff0c;也能够识别出动漫角色&＃xff1a;
此外&＃xff0c;两张图片亮度不同&＃xff0c;也能够识别出是同一动漫角色&＃xff1a;
接下来我们就来看一下这项研究的方法细节。
数据集的构建与分析
半自动整合过程
为了减轻标签负担&＃xff0c;研究者开发了一个半自动算法来收集 iCartoonFace 数据集并添加注释。该研究的框架能够分成三个阶段&＃xff1a;
1. 分层数据收集
iCartoonFace 数据集是通过分层的方式收集的&＃xff08;从动漫剧集名称到动漫人物名称&＃xff0c;最后到动漫人物图像&＃xff09;。该研究首先形成一个面向排行榜的动漫剧集名单。然后根据该名单从互联网上获取主要角色&＃xff0c;进而获得动漫人物和相应动漫剧集的列表。下一步从多媒体下载可公开获得的图像&＃xff0c;包括图像、漫画书和视频源。研究者以这种方式获得了带有噪声标签的数百万个图像&＃xff0c;用于后续的数据过滤过程。
2. 数据过滤
实际上&＃xff0c;下载的图像中有大量不相关或重复的数据&＃xff0c;这给选择有效数据带来巨大的挑战&＃xff0c;尤其是在没有任何先验知识的情况下。因此&＃xff0c;该研究借助手动标记的人脸&＃xff0c;对无用的样本进行粗略的过滤。换句话说&＃xff0c;借用两个已有的人类知识来帮助数据过滤过程&＃xff0c;即面部检测过滤和面部识别过滤。
3.Q/A 手动注释
该研究开发了一个 Q/A 系统来手动注释动漫脸的身份信息。如图 2 所示&＃xff0c;在注释页面中&＃xff0c;一个部分显示参考图像&＃xff0c;另一部分显示要标记的图像。注释者需要确定每个新图像是否与参考图像共享相同的标识。参考图像是专家基于动漫人物所属的动漫剧集名称和动漫人物名称提供的身份图片。在该数据集中&＃xff0c;包含了 5013 张图片&＃xff0c;这意味着每种身份都有一个 probe。
数据集概况
1. 大规模
iCartoonFace 数据集包含了来自 1302 个动漫专辑的 5013 个动漫人物的 389678 张图像。这是目前规模最大的用于动漫人脸识别的手动注释图像数据集。如图 4(a) 所示&＃xff0c;该数据集中的动漫人物包括来自日本、中国、欧洲和美国四个国家的动漫人物。
2. 图片数量不均
数据集是自然创建的。50% 的动漫人物只有不到 30 张图片&＃xff0c;而有些动漫人物却有大约 500 张图片。
3. 高质量
数据集经过手动标记之后&＃xff0c;执行交叉检查方法&＃xff0c;二次检查的错误率确保低于 5%。图 4(c) 显示图像的分辨率大于 100 × 100&＃xff0c;其中 65% 的图像分辨率超过了 200 × 200。图像的清晰度是通过拉普拉斯度量标准计算的。大多数样本的值如图 4(e) 所示&＃xff0c;为了确保图像边界的清晰度和锐度&＃xff0c;需要大于 100。
4. 丰富的属性
每个图像都提供了人脸边界框、身份、区域、姿势和性别之类的信息。关于姿势和性别的统计信息如图 4(b) 和图 4(d) 所示。选择随机的 10000 个样本&＃xff0c;并用 3D 姿态信息注释。
基于动漫和真人的多人物训练框架
图 5 展示了该研究团队提出的基于动漫和真人的多人物训练框架。该框架主要包括&＃xff1a;分类损失、未知身份拒绝损失和域迁移损失。
其中&＃xff0c;为了获得分类特征提取器&＃xff0c;研究者采用分类损失正则化动漫脸和真人脸分类器&＃xff0c;对动漫脸和真人脸进行分类。未知身份拒绝损失旨在找到在不同域之间具有无监督正则化的特征重投影。域适应损失则是为了减小动漫人脸和真人脸之间的域间隙。
实验
在实验部分&＃xff0c;研究者提出了 3 个问题并对其进行了解答。
1. 对于动漫脸来说&＃xff0c;那种算法是最佳的&＃xff1f;
研究者对几种常用算法进行了评估&＃xff0c;包括 softmax、SphereFace、CosFace、ArcFace 和 Focal loss&＃xff0c;并在下图中可视化了相应的 CMC 曲线。可以看到&＃xff0c;ArcFace&＃43;FL 在 5 种算法中表现最优。
5 种算法的 CMC 曲线图。
2. 上下文对于动漫脸识别有用吗&＃xff1f;
动漫脸是识别动漫角色的主要部分。那如果「脸盲」怎么办&＃xff1f;在有些情况下&＃xff0c;仅仅依靠动漫角色的人脸不足以区分不同的动漫人物。研究者在动漫脸的基础上进行了不同比例的扩充&＃xff0c;下图表明&＃xff0c;含有更多的上下文信息能够实现更好的性能。
3. 将人脸识别的知识迁移至动漫脸识别是否有所增益&＃xff1f;
第一个经过训练的动漫脸模型的准确率是 91.0%&＃xff0c;如下图所示&＃xff0c;加入人脸识别的数据后&＃xff0c;性能提升至 92.4%&＃xff0c;并且对注释过程有所帮助。
© THE END
转载请联系 机器之心 公众号获得授权
投稿或寻求报道&＃xff1a;content&＃64;jiqizhixin.com
京公网安备 11010802041100号