PersonReidentification系列论文笔记（七）：PCB+RPP

Beyond Part Models: Person Retrieval with Refined Part Pooling

Sun Y, Zheng L, Yang Y, et al. Beyond Part Models: Person Retrieval with Refined Part Pooling[J]. 2017.

　　这篇是SVD-net作者的新作&＃xff0c;也是我个人比较喜欢一篇。

　　主要内容是找到了一种既能精确划分部件信息而又不借助姿态估计的方法&＃xff0c;提出了PCB&＃43;RPP的网络框架。PCB是硬划分局部学习&＃xff0c;RPP可以理解成特征图的attention操作。

　　整个算法的思路清晰&＃xff0c;PCB硬划分提取局部特征&＃xff0c;然而简单粗暴的划分带来了不够精确的对齐&＃xff0c;考虑添加软划分&＃xff0c;但一般的软划分需要借助分割或者姿态估计&＃xff0c;而分割需要昂贵的标注成本&＃xff0c;因此提出借助PCB的RPP。

　　并没有过多的tricks堆砌&＃xff0c;特别是RPP有种让人眼前一亮的感觉。

local&＃xff08;part&＃xff09; feature and global feature

行人重识别中网络最终结果就是提取有效的全局特征和局部特征

传统部件方法

1.硬划分&＃xff1a;简单粗暴&＃xff0c;但对齐不准确

2.软划分&＃xff1a;对齐准确&＃xff0c;借助人体姿态估计&＃xff0c;代价大

contributions

　　Sun设想找到一种既能精确划分部件信息而又不借助姿态估计的方法&＃xff0c;因此提出了PCB&＃43;RPP的网络框架。

PCB&＃xff08;Part Convolutional Baseline &＃xff09;

直接在特征上进行硬化分&＃xff0c;降维之后&＃xff0c;分别接softmaxloss

RPP&＃xff08;Refined Part Pooling&＃xff09;

 属于软划分&＃xff0c;利用部件之间的一致性&＃xff0c;训练一个像素级别的分类器即分割。

利用部件分类器得到对应6个part的6个通道的概率密度图&＃xff0c;每个概率密度图分别和输入整张特征做加权操作&＃xff0c;

即可得到不同部件的精细的特征。

PCB&＃43;RPP的网络结构

训练的步骤&＃xff1a;

1.训练PCB网络。

2.在PCB网络的基础上添加part classifier结构&＃xff0c;然后固定PCB的backbone和最后的分类层参数&＃xff0c;只训练part classifier。

这里利用PCB的硬划分分类器强行的让part classifie去适应&＃xff0c;最终学到精细的划分分类器。

3.在part classifier训练收敛后&＃xff0c;解开权值固定&＃xff0c;一起微调。

experiments

可视化分析

Market-1501性能