UNet详细解读（一）论文技术要点归纳

摘要

2015年诞生&＃xff0c;获得当年的ISBI细胞追踪挑战比赛第一名&＃xff0c;在GPU上推理512x512的图像不到1秒钟&＃xff0c;开创图像分割的先河。

简介

在当时&＃xff0c;卷积神经网络是主流&＃xff0c;但是仅限于图像分类任务&＃xff0c;并且需要大量的数据集。对于医学图像&＃xff0c;数据集的量很少。

2012年 Ciresan提出的网络虽然获得了EM的第一名&＃xff0c;但是有缺陷&＃xff0c;因此作者提出了UNet&＃xff0c;解决了这些问题。并且远远超出了之前的所有分割网络。

Over-tile策略

对图中黄色部分像素点进行预测的时候&＃xff0c;需要用到蓝色部分的上下文信息,但是这么做会出现两个问题。

1.边界问题&＃xff1a;进行镜像扩充。

2.重叠问题&＃xff1a;在卷积时只使用有效部分&＃xff0c;在卷积的时候会使用到蓝色部分&＃xff0c;但是传入到下一层的只有黄色部分。

网络架构

左侧为收缩路径&＃xff0c;由3X3卷积、Relu、最大池化组成&＃xff0c;每次下采样后通道数量加倍&＃xff0c;用于获取上下文信息。

右侧为扩展路径&＃xff0c;由3X3卷积、Relu、2X2上采样组成&＃xff0c;每次下采样后通道数量减半&＃xff0c;用于精确定位。

• 输入是572x572的&＃xff0c;但是输出变成了388x388&＃xff0c;这说明经过网络以后&＃xff0c;输出的结果和原图不是完全对应的&＃xff0c;这在计算loss和输出结果都可以得到体现.

• 蓝色箭头代表3x3的卷积操作&＃xff0c;并且步长是1,不进行padding&＃xff0c;因此&＃xff0c;每个该操作以后&＃xff0c;featuremap的大小会减2.

• 红色箭头代表2x2的最大池化操作.如果池化之前特征向量的大小是奇数&＃xff0c;那么就会损失一些信息 。输入的大小最好满足一个条件&＃xff0c;就是可以让每一层池化操作前的特征向量的大小是偶数&＃xff0c;这样就不会损失一些信息&＃xff0c;并且crop的时候不会产生误差.

• 绿色箭头代表2x2的反卷积操作.何为反卷积会在后面进行记录

• 灰色箭头表示复制和剪切操作.

• 输出的最后一层&＃xff0c;使用了1x1的卷积层做了分类

• 前半部分也就是图中左边部分的作用是特征提取&＃xff0c;后半部分也就是图中的右边部分是上采样&＃xff0c;也叫 encoder-deconder结构

训练

采用SGD优化器&＃xff0c;动量设置为0.99&＃xff0c;使用单张图片训练&＃xff0c;使用了加权重的softmax损失函数&＃xff0c;使得每个像素有自己的权重&＃xff0c;也就是做了w*h个softmax。

数据增强

主要使用了旋转平移不变性、弹性形变和dropout。

小结

Unet是一个分割网络&＃xff0c;主要提出了两个策略&＃xff1a;

第一个是overlap-tile策略&＃xff0c;解决了边缘区域没有上下文的问题&＃xff1b;

第二个是使用了加权损失以使得网络更加重视边缘像素的学习。