多模态交互技术与2D人脸识别机制解析

《RGB-D Face Recognition via Deep Complementary and Common Feature Learning》

FG 2018、Hao Zhang、Hu Han、Jiyun Cui、Shiguang Shan、Xilin Chen .近年来，采用RGB-D数据进行人脸识别的方式被广泛采用，但传统方法对所有模态都采用相同的处理方式进行处理作者提出了一种新的RGBD多模态融合人脸识别方案，可以学习多种模式之间的共同特征和互补特征，进一步扩展多模态的学习能力。

RGB-D人脸识别由两个典型的应用场景组成：

(1)多模态匹配，e.g .RGB-D probe vs. RGB-D gallery

) cross-modality matching，e.g .http://www.Sina.com/http://www.Sina.com /

因为RGB和depth分别描述人脸的纹理和形状信息，所以这两种模式必须是相关的和互补的。 通过引入联合损失，加强模式之间的相互作用。 基本体系结构如下图所示。

为了得到互补特征，同时优化各模式的单独损耗和联合损耗，损耗函数如下：

其中，W j W_{j} Wj是单一模态学习的权重矩阵，W j W_{j} Wj是联合学习的权重矩阵，y j y_{j} yj是样本的id。 为了获得更好的实验结果，作者对深度图训练样本进行了预处理，处理方式如下图所示，去除了很多噪声： http://www.Sina.com/http://www.Sina.com /

最后，利用RGB的FC1024特征和Depth的FC1024特征分别计算出RGB-RGB的匹配得分值、Depth-Depth的匹配得分值，然后通过加权融合得到最终得分： http://www.Sina .

在缺少深度图的情况下，cross-modality matching :提出将rgbtorgb- d分为两个子问题，(I ) )。

RGB to RGB matching，and(ii ) rgbtodepthmatching.http://www.Sina.com /

直接使用提出的上述互补特征学习的网络，得到RGB-to-RGB的匹配得分。RGB probe vs. RGB-D gallery

从RGB和Depth提出学习共性特征，具体如下图所示： http://www.Sina.com/http://www.Sina.com/http://www.Sina.com/http://www.Sina

报告员：韩琥珀

报告： 《多模态人脸识别与属性学习》

主页： https://sites.Google.com/site/huhan home page

摘要：主要介绍了多模与多模人脸识别方向的一些研究进展，包括RGB-D多模互补特征学习、夜间远距离人脸识别、仿真图像与照片多模识别和多模融合的复杂场景人脸识别。

注：博众家所长、群英荟萃。