[论文理解]对抗性例子可用于改善图像识别AdversarialExamplesImproveImageRecognition

1.几个问题

1.1 基本信息

CVPR 2020

1.2 做了什么

提出了AdvProp

1.3 实现方法 & 创新性

对抗性例子用auxiliary BN处理&＃xff0c;干净例子用main BN进行处理。解决二者混合导致的数据分布失真。

1.4 代码链接

Github

2.数学部分 & 模型构建

2.1 现有问题 & 解决方法

现有问题

1. 以往的研究表明&＃xff0c;对抗性样本训练可以提高模型的泛化能力&＃xff0c;但仅限于某些情况&＃xff0c;这种改进要么在完全监督的情况下对小数据集&＃xff08;如MNIST&＃xff09;进行&＃xff0c;要么在较大的数据集&＃xff08;但在半监督环境下&＃xff09;上观察到。
2. 在大数据集下&＃xff0c;采用对抗性训练还会减低对清洁数据识别的准确率。
3. 现有的对抗性训练的模型本质上没有区别&＃xff0c;因为我们假设清洁示例和对抗性示例之间的分布是不匹配的&＃xff08;distribution mismatch&＃xff09;。

解决方法
对对抗性例子和干净例子进行处理&＃xff0c;让二者分布接近。

2.2 对抗性训练的目标函数

传统CNN

对抗性CNN&＃xff08;Madry’s adversarial training framework&＃xff09;

其中$D$是潜在的数据分布&＃xff0c;$L$是损失函数&＃xff0c;$\theta$是网络参数&＃xff0c;$x$是带有真实标签$y$的数据&＃xff0c;$\epsilon$是加性对抗扰动&＃xff0c;$S$是允许的扰动范围。

改进后的对抗性训练CNN

然而&＃xff0c;Madry优化函数具有一定的约束。Madry的对抗性训练min的对象只有max L&＃xff0c;而max L对应的只是负面例子带来的损失&＃xff0c;且max L不能反映L的全局&＃xff0c;比较片面。加上L之后&＃xff0c;既能改善max的片面性&＃xff0c;又能考虑到原本对正面例子的损失&＃xff0c;因此更加全面。

虽然理论上改进后的模型能同时从对抗性和干净样本中获得好处。然而可能由于而这两个数据分布不匹配&＃xff0c;上式中的模型效果并没有特别好。

2.3 借助Auxiliary BN进行解纠缠学习

Batch Normalization 可以对每个batch中的数据进行归一化处理&＃xff0c;使之分布更加一致&＃xff0c;从而提高学习效率&＃xff0c;这和本文中要改善对抗性数据和干净样本数据的分布的目标是一致的。

使用BN的一个内在假设是&＃xff0c;输入特征应该来自单个或类似的分布&＃xff0c;否则会出大问题。

论文作者认为&＃xff0c;对抗性的例子和干净的图像有不同的潜在分布&＃xff0c;并且等式&＃xff08;3&＃xff09;中的对抗性训练框架本质上是一个两成分混合分布。如果采取图3中传统CNN的结构&＃xff0c;把对抗性数据和干净数据同时输入一个BN&＃xff0c;由于二者的分布不同&＃xff0c;BN的输出会导致虚假的分布。然而&＃xff0c;如果采用两个BN分别对两种分布不同的数据分别进行处理&＃xff0c;最后的结果就会好很多。