深度学习之非极大值抑制NMS、softNMS、DIoUNMS

1、NMS&＃xff08;非极大值抑制&＃xff09;

非极大值抑制&＃xff08;Non-Maximum Suppression&＃xff0c;NMS&＃xff09;&＃xff0c;顾名思义就是抑制不是极大值的元素&＃xff0c;可以理解为局部最大搜索。由下图可见&＃xff0c;同一个物体可能有好几个框&＃xff0c;我们的目标是一个物体只须保留一个最优的框&＃xff1a;于是我们就要用到非极大值抑制&＃xff0c;来抑制那些冗余的框&＃xff1a; 抑制的过程是一个迭代-遍历-消除的过程。

NMS python实现代码&＃xff1a;

def cpu_nums(dets, thresh&＃61;0.7):x1 &＃61; dets[:,0]y1 &＃61; dets[:,1]x2 &＃61; dets[:,2]y2 &＃61; dets[:,3]scores &＃61; dets[:,4]areas &＃61; (x2 - x1 &＃43; 1)*(y2 - y1 &＃43; 1) # 检测框box的面积index &＃61; scores.argsort()[::-1] #将每个box的置信度由高到低排序&＃xff0c;并返回其在原列表中的索引keep &＃61; [] # 保留经nms后的box的索引while index.size > 0: i &＃61; index[0]keep.append(i)# 求检测框之间的交集的面积x11 &＃61; np.maximum(x1[i], x1[index[1:]])y11 &＃61; np.maximum(y1[i], y1[index[1:]])x22 &＃61; np.minimum(x2[i], x2[index[1:]])y22 &＃61; np.minimum(y2[i], y2[index[1:]])w &＃61; np.maximum(0, x22-x11&＃43;1)h &＃61; np.maximum(0, y22-y11&＃43;1)overlaps &＃61; w*hious &＃61; overlaps/(areas[i] &＃43; areas[index[1:]] - overlaps) # 检测框的交并比idx &＃61; np.where(ious

2、Soft-NMS

论文&＃xff1a;http://cn.arxiv.org/abs/1704.04503

github&＃xff1a;https://github.com/bharatsingh430/soft-nms

问题探究&＃xff1a;

该图像有两个马的检测的置信度(红色和绿色显示)&＃xff0c;其得分分别为0.95和0.8。绿色检测框与红色检测框有明显的重叠。最好是完全压制绿色框&＃xff0c;并将其赋值为0&＃xff0c;还是稍低一点&＃xff0c;为0.4比较好&＃xff1f;

绝大部分目标检测方法&＃xff0c;最后都要用到 NMS-非极大值抑制进行后处理。 通常的做法是将检测框按得分排序&＃xff0c;然后保留得分最高的框&＃xff0c;同时删除与该框重叠面积大于一定比例的其它框。

这种贪心式方法存在如上图所示的问题&＃xff1a; 红色框和绿色框是当前的检测结果&＃xff0c;二者的得分分别是0.95和0.80。如果按照传统的NMS进行处理&＃xff0c;首先选中得分最高的红色框&＃xff0c;然后绿色框就会因为与之重叠面积过大而被删掉。

另一方面&＃xff0c;NMS的阈值也不太容易确定&＃xff0c;设小了会出现下图的情况&＃xff08;绿色框因为和红色框重叠面积较大而被删掉&＃xff09;&＃xff0c;设置过高又容易增大误检。

解决方法&＃xff1a;不要粗鲁地删除所有IOU大于阈值的框&＃xff0c;而是降低其置信度。

传统NMS&＃xff1a;

改进的NMS&＃xff08;soft-NMS&＃xff09;&＃xff1a;

线性函数

高斯函数

分析上面的两种改进形式&＃xff0c;思想都是&＃xff1a;M为当前得分最高框&＃xff0c;b i 为待处理框&＃xff0c;b i 和M的IOU越大&＃xff0c;b i 的得分s i 就下降的越厉害。
soft-NMS python 实现代码&＃xff1a;

def cpu_soft_nms(dets, sigma &＃61; 0.5, Nt &＃61; 0.7, method &＃61; 0, weight &＃61; 0, thresh &＃61; 0.2 ):box_len &＃61; len(dets) # box的个数for i in range(box_len):max_scores &＃61; dets[i, 4]tmpx1 &＃61; dets[i,0]tmpy1 &＃61; dets[i,1]tmpx2 &＃61; dets[i,2]tmpy2 &＃61; dets[i,3]ts &＃61; dets[i,4]max_pos &＃61; ipos &＃61; i&＃43;1while pos 0 and ih >0:overlaps &＃61; iw * ihious &＃61; overlaps/((tmpx2 - tmpx1 &＃43; 1) * (tmpy2 - tmpy1 &＃43; 1) &＃43; area - overlaps)if method&＃61;&＃61;1: # 线性if ious > Nt:weight &＃61; 1 - iouselse:weight &＃61; 1elif method&＃61;&＃61;2: # gaussianweight &＃61; np.exp(-(ious**2)/sigma)else: # original NMSif ious > Nt:weight &＃61; 0else:weight &＃61; 1# 赋予该box新的置信度dets[pos, 4] &＃61; weight*dets[pos, 4]# print(dets[pos, 4])# 如果box得分低于阈值thresh&＃xff0c;则通过与最后一个框交换来丢弃该框if dets[pos,4]

3、DIoUNMS

该NMS在DIoUloss一文中提出&＃xff0c;在nms过程中采用DIoU的计算方式替换了IoU&＃xff0c;由于DIoU的计算考虑到了两框中心点位置的信息&＃xff0c;故使用DIoU进行评判的nms效果更符合实际&＃xff0c;效果更优。