可视化自编码器训练结果稀疏自编码器符号一览表

训练完&＃xff08;稀疏&＃xff09;自编码器&＃xff0c;我们还想把这自编码器学习到的函数可视化出来&＃xff0c;好弄明白它到底学到了什么。我们以在10×10图像&＃xff08;即n&＃61;100&＃xff09;上训练自编码器为例。在该自编码器中&＃xff0c;每个隐藏单元i对如下关于输入的函数进行计算&＃xff1a;

我们将要可视化的函数&＃xff0c;就是上面这个以2D图像为输入&＃xff0c;并由隐藏单元i计算出来的函数。它是依赖于参数的&＃xff08;暂时忽略偏置项b_i&＃xff09;。需要注意的是&＃xff0c;可看作输入的非线性特征。不过还有个问题&＃xff1a;什么样的输入图像x可以让可让得到最大程度的激励&＃xff1f;&＃xff08;通俗一点说&＃xff0c;隐藏单元要找个什么样的特征&＃xff1f;&＃xff09;。这里我们必须给x加个约束&＃xff0c;否则会得到平凡解。若假设输入有范数约束&＃xff0c;则可证。令隐藏单元i得到最大激励的输入应该由下面公式计算的像素给出&＃xff08;共需计算100个像素&＃xff0c;j&＃61;1,...,100&＃xff09;:

当我们用上式算出各像素的值、把它们组成一幅图像、并将图像呈现在我们面前之时&＃xff0c;隐藏单元i所追寻特征的真正含义也渐渐明朗起来&＃xff1f;&＃xff1f;&＃xff1f;。

假如我们训练的自编码器有100个隐藏单元&＃xff0c;可视化结果就会包含100幅这样的图像——每个隐藏单元都对应一幅图像。审视这100幅图像&＃xff0c;我们可以试着体会这些隐藏单元学出来的整体效果是什么样的。

当我们对稀疏自编码器&＃xff08;100个隐藏单元&＃xff0c;在10X10像素的输入上训练 &＃xff09;进行上述可视化处理之后&＃xff0c;结果如下所示&＃xff1a;

上图的每一个小方块都给出可一个&＃xff08;带有有界范数的&＃xff09;输入图像x&＃xff0c;它可以使这100个隐藏单元中的某一个获得最大激励。我们可以看到&＃xff0c;不同的隐藏单元学会了在图像的不同位置和方向进行边缘检测。

显而易见&＃xff0c;这些特征对物体识别等计算视觉任务是十分有用的。若将其用于其他输入域&＃xff08;如音频&＃xff09;&＃xff0c;该算法也可学到对这些输入域有用的表示或特征。

稀疏自编码器符号一览表

下面是我们在推导sparse autoencoder时使用的符号一览表&＃xff1a;

符号	含义
	训练样本的输入特征&＃xff0c;.
	输出值/目标值. 这里  可以是向量. 在autoencoder中&＃xff0c;.
	第  个训练样本
	输入为  时的假设输出&＃xff0c;其中包含参数. 该输出应当与目标值  具有相同的维数.
	连接第  层  单元和第  层  单元的参数.
	第  层  单元的偏置项. 也可以看作是连接第  层偏置单元和第  层 单元的参数.
	参数向量. 可以认为该向量是通过将参数 组合展开为一个长的列向量而得到.
	网络中第  层  单元的激活&＃xff08;输出&＃xff09;值. 另外&＃xff0c;由于  层是输入层&＃xff0c;所以 .
	激活函数. 本文中我们使用 .
	第  层  单元所有输入的加权和. 因此有 .
	学习率
	第  层的单元数目&＃xff08;不包含偏置单元&＃xff09;.
	网络中的层数. 通常  层是输入层&＃xff0c; 层是输出层.
	权重衰减系数.
	对于一个autoencoder&＃xff0c;该符号表示其输出值&＃xff1b;亦即输入值  的重构值. 与  含义相同.
	稀疏值&＃xff0c;可以用它指定我们所需的稀疏程度
	&＃xff08;sparse autoencoder中&＃xff09;隐藏单元 的平均激活值.
	&＃xff08;sparse autoencoder目标函数中&＃xff09;稀疏值惩罚项的权重.