图像理解DetectingandRecognizingHumanObjectInteractions

Detecting and Recognizing Human-Object Interactions
https://arxiv.org/abs/1704.07333

大牛们已经从图像的检测分割向图像理解的研究方向过渡了&＃xff01;

本文主要关注图像中的 人 和 物体的关系检测和识别&＃xff0c;这种关系可以用一个三元素 《human, verb, object》 来描述&＃xff0c;这里我们提出一个 human-centric model 来检测人和物的关系。

这里我们主要根据 person’s appearance 来给出action 类别概率及关联物体的位置。

在我们提出的方法 InteractNet 中&＃xff0c;使用了 Faster R-CNN 检测框架&＃xff0c;对于含有人的一个候选区域 RoI&＃xff0c; human-centric recognition 分支进行 action classification 和 action 关联的物体位置的 density estimation。密度估计器给出一个4维的高斯分布&＃xff0c;对于每个 action type&＃xff0c;主要对人和物体的相对位置进行建模。这种预测纯粹基于 person appearance

上图是我们模型的检测效果图示例图

模型框架如下图所示&＃xff1a;

3.1. Model Components
Object Detection
这个分支和 Faster R-CNN 完全一样&＃xff0c;使用 Region Proposal Network (RPN) 提取候选区域&＃xff0c;然后进行分类和矩形框坐标回归&＃xff0c;得到人和物体的类别及位置矩形框和对应的概率&＃xff0c;在 inference 是只是用检测出人和物体的候选区域&＃xff0c;在训练时使用RPN提取的所有候选区域

Action Classification
human-centric 分支的第一个任务就是对每一个human box b_h 和 action a 赋予一个 action classification score&＃xff0c;因为人可以同时进行多种动作&＃xff0c;所有我们这里进行多类别东西分类。

Target Localization
human-centric 分支的第二个任务就是基于人的 appearance 预测相关联物体的位置&＃xff0c;直接预测位置难度较大&＃xff0c;这里我们给出物体位置的密度概率。

这里我们将这个密度使用基于human appearance 和 正在进行的动作的高斯函数来建模
We model the density over the target object’s location as a Gaussian function whose mean is predicted based on the human appearance and action being performed.

Interaction Recognition 为了提高模型的表达能力&＃xff0c;我们这里进一步利用了 the appearance of the target object&＃xff0c;得到一个新的分支 interaction branch

3.2. Multi-task Training
我们将人-物关系的学习看做一个多任务学习问题&＃xff0c;所有三个分支是共同训练的。
损失函数定义&＃xff1a;
Our overall loss is the sum of all losses in our model including: (1) the classification and regression loss for the object detection branch, (2) the action classification and target localization loss for the human-centric branch, and (3) the action classification loss of the interaction branch.

3.3. Cascaded Inference
在Inference 阶段&＃xff0c;我们使用了 Cascaded 来降低时间复杂度&＃xff0c;关键是只对人的矩形框进行相关处理&＃xff01;
实现 ∼ 135ms on a typical image running on a single Nvidia M40 GPU

我们方法检测失败的例子&＃xff1a;