cs231nLecture3线性分类笔记（一）

内容列表

• 线性分类器简介
• 线性评分函数
• 阐明线性分类器
• 损失函数
  • 多类SVM
  • Softmax分类器
  • SVM和Softmax的比较
• 基于Web的可交互线性分类器原型
• 小结

注&＃xff1a;中文翻译出自知乎专栏“智能单元”&＃xff0c;在其基础上增加了个人批注

上一篇笔记介绍了图像分类问题。图像分类的任务&＃xff0c;就是从已有的固定分类标签集合中选择一个并分配给一张图像。我们还介绍了k-Nearest Neighbor &＃xff08;k-NN&＃xff09;分类器&＃xff0c;该分类器的基本思想是通过将测试图像与训练集带标签的图像进行比较&＃xff0c;来给测试图像打上分类标签。k-Nearest Neighbor分类器存在以下不足&＃xff1a;

• 分类器必须记住所有训练数据并将其存储起来&＃xff0c;以便于未来测试数据用于比较。这在存储空间上是低效的&＃xff0c;数据集的大小很容易就以GB计。
• 对一个测试图像进行分类需要和所有训练图像作比较&＃xff0c;算法计算资源耗费高。

概述&＃xff1a;我们将要实现一种更强大的方法来解决图像分类问题&＃xff0c;该方法可以自然地延伸到神经网络和卷积神经网络上。这种方法主要有两部分组成&＃xff1a;一个是评分函数&＃xff08;score function&＃xff09;&＃xff0c;它是原始图像数据到类别分值的映射。另一个是损失函数&＃xff08;loss function&＃xff09;&＃xff0c;它是用来量化预测分类标签的得分与真实标签之间一致性的。该方法可转化为一个最优化问题&＃xff0c;在最优化过程中&＃xff0c;将通过更新评分函数的参数来最小化损失函数值。

从图像到标签分值的参数化映射

该方法的第一部分就是定义一个评分函数&＃xff0c;这个函数将图像的像素值映射为各个分类类别的得分&＃xff0c;得分高低代表图像属于该类别的可能性高低。下面会利用一个具体例子来展示该方法。现在假设有一个包含很多图像的训练集 x_i∈R^D&＃xff0c;每个图像都有一个对应的分类标签y_i。这里i&＃61;1,2…N并且 y_i∈1…K。这就是说&＃xff0c;我们有N个图像样例&＃xff0c;每个图像的维度是D&＃xff0c;共有K种不同的分类。举例来说&＃xff0c;在CIFAR-10中&＃xff0c;我们有一个N&＃61;50000的训练集&＃xff0c;每个图像有D&＃61;32 x 32 x 3&＃61;3072个像素&＃xff0c;而K&＃61;10&＃xff0c;这是因为图片被分为10个不同的类别&＃xff08;狗&＃xff0c;猫&＃xff0c;汽车等&＃xff09;。我们现在定义评分函数为&＃xff1a;f:R^D↦R^k&＃xff0c;该函数是原始图像像素到分类分值的映射。

线性分类器&＃xff1a;在本模型中&＃xff0c;我们从最简单的概率函数开始&＃xff0c;一个线性映射&＃xff1a;

f(xi,W,b)&＃61;Wxi&＃43;bf(x_i,W,b)&＃61;Wx_i&＃43;bf(xi​,W,b)&＃61;Wxi​&＃43;b

在上面的公式中&＃xff0c;假设每个图像数据x_i都被拉长为一个长度为D的列向量&＃xff0c;向量的shape为[D x 1]。其中大小为[K x D]的矩阵W和大小为[K x 1]列向量b为该函数的参数&＃xff08;parameters&＃xff09;。还是以CIFAR-10为例&＃xff0c;x_i就包含了第i个图像的所有像素信息&＃xff0c;这些信息被拉成为一个[3072 x 1]的列向量&＃xff0c;W大小为[10x3072]&＃xff0c;b的大小为[10x1]。因此&＃xff0c;3072个数字&＃xff08;原始像素数值&＃xff09;输入函数&＃xff0c;函数输出10个数字&＃xff08;不同分类得到的分值&＃xff09;。参数W被称为权重&＃xff08;weights&＃xff09;。b被称为偏差向量&＃xff08;bias vector&＃xff09;&＃xff0c;这是因为它影响输出数值&＃xff0c;但是并不和原始数据x_i产生关联。在实际情况中&＃xff0c;人们常常混淆权重&＃xff08;weights&＃xff09;和参数(parameters)这两个术语。

需要注意的几点&＃xff1a;

• 首先&＃xff0c;一个单独的矩阵乘法W_xi就高效地并行评估10个不同的分类器&＃xff08;每个分类器针对一个分类&＃xff09;&＃xff0c;其中每个类的分类器就是W的一个行向量。

• 注意我们认为输入数据(x_i, y_i)是给定且不可改变的&＃xff0c;但参数W和b是可控制改变的。我们的目标就是通过设置这些参数&＃xff0c;使得计算出来的分类分值情况和训练集的图像数据的真实类别标签相符。在接下来的课程中&＃xff0c;我们将详细介绍如何做到这一点&＃xff0c;但是目前只需要直观地让正确分类的分值比错误分类的分值高即可。

• 该方法的一个优势是训练数据是用来学习到参数W和b的&＃xff0c;一旦训练完成&＃xff0c;训练数据就可以丢弃&＃xff0c;留下学习到的参数即可。这是因为一个测试图像可以简单地输入函数&＃xff0c;并基于计算出的分类分值来进行分类。

• 最后&＃xff0c;注意只需要做一个矩阵乘法和一个矩阵加法就能对一个测试数据分类&＃xff0c;这比k-NN中将测试图像和所有训练数据做比较的方法快多了。

  预告&＃xff1a;卷积神经网络映射图像像素值到分类分值的方法和上面一样&＃xff0c;但是映射(f)就要复杂多了&＃xff0c;其包含的参数也更多。

理解线性分类器

线性分类器计算图像中3个颜色通道中所有像素的值与权重的矩阵乘&＃xff0c;从而得到分类分值。根据我们对权重设置的值&＃xff0c;对于图像中的某些位置的某些颜色&＃xff0c;函数表现出喜好或者厌恶&＃xff08;根据每个权重的符号而定&＃xff09;。举个例子&＃xff0c;可以想象“船”分类就是被大量的蓝色所包围&＃xff08;对应的就是水&＃xff09;。那么“船”分类器在蓝色通道上的权重就有很多的正权重&＃xff08;它们的出现提高了“船”分类的分值&＃xff09;&＃xff0c;而在红/绿通道上的权重为负的就比较多&＃xff08;它们的出现降低了“船”分类的分值&＃xff09;。

一个将图像映射到分类分值的例子。为了便于可视化&＃xff0c;假设图像只有4个像素&＃xff08;都是黑白像素&＃xff0c;这里不考虑RGB通道&＃xff09;&＃xff0c;有3个分类&＃xff08;红色代表猫&＃xff0c;绿色代表狗&＃xff0c;蓝色代表船&＃xff0c;注意&＃xff0c;这里的红、绿和蓝3种颜色仅代表分类&＃xff0c;和RGB通道没有关系&＃xff09;。首先将图像像素拉伸为一个列向量&＃xff0c;与W进行矩阵乘&＃xff0c;然后得到各个分类的分值。需要注意的是&＃xff0c;这个W一点也不好&＃xff1a;猫分类的分值非常低。从上图来看&＃xff0c;算法倒是觉得这个图像是一只狗。

(批注&＃xff1a;为什么觉得像狗&＃xff1f;是因为我们计算出来的打分结果&＃xff0c;狗是最高的&＃xff0c;分值越高我们认为概率越大&＃xff0c;其实准确的说应该是分值越接近分类的标签值才认为是某一类)

将图像看做高维度的点&＃xff1a;既然图像被伸展成为了一个高维度的列向量&＃xff0c;那么我们可以把图像看做这个高维度空间中的一个点&＃xff08;即每张图像是3072维空间中的一个点&＃xff09;。整个数据集就是一个点的集合&＃xff0c;每个点都带有1个分类标签。

既然定义每个分类类别的分值是权重和图像像素值的矩阵乘&＃xff08;即公式中的Wx_i&＃xff09;&＃xff0c;那么每个分类类别的分数就是这个空间中的一个线性函数的函数值。我们没办法可视化3072维空间中的线性函数&＃xff0c;但假设把这些维度挤压到二维&＃xff0c;那么就可以看看这些分类器在做什么了&＃xff1a;

从上面可以看到&＃xff0c;W***的每一行都是一个分类类别的分类器。对于这些数字的几何解释是&＃xff1a;如果改变其中一行的数字&＃xff0c;会看见分类器在空间中对应的直线开始向着不同方向旋转。而偏差***b&＃xff0c;则允许分类器对应的直线平移。需要注意的是&＃xff0c;如果没有偏差&＃xff0c;无论权重如何&＃xff0c;在 x_i &＃61; 0 时分类分值始终为0。这样所有分类器的线都不得不穿过原点。

将线性分类器看做模板匹配&＃xff1a;关于权重**W的另一个解释是它的每一行对应着一个分类的模板&＃xff08;template 有时候也叫作 prototype 原型&＃xff09;。一张图像对应不同分类的得分&＃xff0c;是通过使用内积inner product&＃xff08;也叫点积dot product&＃xff09;来比较图像和模板&＃xff0c;然后找到和哪个模板最相似。从这个角度来看&＃xff0c;线性分类器就是在利用学习到的模板&＃xff0c;针对图像做模板匹配。从另一个角度来看&＃xff0c;可以认为还是在高效地使用k-NN&＃xff0c;不同的是我们没有使用所有的训练集的图像来比较&＃xff0c;而是每个类别只用了一张图片&＃xff08;这张图片是我们学习到的&＃xff0c;而不是训练集中的某一张&＃xff09;&＃xff0c;而且我们会使用&＃xff08;负&＃xff09;内积来计算向量间的距离&＃xff0c;而不是使用L1或者L2距离。

(批注&＃xff1a;矩阵的点积就是对应元素的乘积之和&＃xff0c;如两个向量a &＃61; [a1, a2,…, an]和b &＃61; [b1, b2,…, bn]的点积定义为&＃xff1a;a·b&＃61;a1b1&＃43;a2b2&＃43;……&＃43;anbn。也可以写作a·b&＃61;a^T*b)

可以看到马的模板看起来似乎是两个头的马&＃xff0c;这是因为训练集中的马的图像中马头朝向各有左右造成的。线性分类器将这两种情况融合到一起了。类似的&＃xff0c;汽车的模板看起来也是将几个不同的模型融合到了一个模板中&＃xff0c;并以此来分辨不同方向不同颜色的汽车。这个模板上的车是红色的&＃xff0c;这是因为CIFAR-10中训练集的车大多是红色的。线性分类器对于不同颜色的车的分类能力是很弱的&＃xff0c;但是后面可以看到神经网络是可以完成这一任务的。神经网络可以在它的隐藏层中实现中间神经元来探测不同种类的车&＃xff08;比如绿色车头向左&＃xff0c;蓝色车头向前等&＃xff09;。而下一层的神经元通过计算不同的汽车探测器的权重和&＃xff0c;将这些合并为一个更精确的汽车分类分值。

偏差和权重的合并技巧&＃xff1a;在进一步学习前&＃xff0c;要提一下这个经常使用的技巧。它能够将我们常用的参数***W***和***b***合二为一。回忆一下&＃xff0c;分类评分函数定义为&＃xff1a;
f(xi,W,b)&＃61;Wxi&＃43;bf(x_i,W,b)&＃61;Wx_i&＃43;b f(xi​,W,b)&＃61;Wxi​&＃43;b

分开处理这两个参数&＃xff08;权重参数***W**和偏差参数b***&＃xff09;有点笨拙&＃xff0c;一般常用的方法是把两个参数放到同一个矩阵中&＃xff0c;同时 x_i 向量就要增加一个维度&＃xff0c;这个维度的数值是常量1&＃xff0c;这就是默认的偏差维度。这样新的公式就简化成下面这样&＃xff1a;

f(xi,W)&＃61;Wxif(x_i,W)&＃61;Wx_i f(xi​,W)&＃61;Wxi​

还是以CIFAR-10为例&＃xff0c;那么x_i的大小就变成[3073x1]&＃xff0c;而不是[3072x1]了&＃xff0c;多出了包含常量1的1个维度&＃xff09;。***W***大小就是[10x3073]了。W***中多出来的这一列对应的就是偏差值***b&＃xff0c;具体见下图&＃xff1a;

偏差技巧的示意图。左边是先做矩阵乘法然后做加法&＃xff0c;右边是将所有输入向量的维度增加1个含常量1的维度&＃xff0c;并且在权重矩阵中增加一个偏差列&＃xff0c;最后做一个矩阵乘法即可。左右是等价的。通过右边这样做&＃xff0c;我们就只需要学习一个权重矩阵&＃xff0c;而不用去学习两个分别装着权重和偏差的矩阵了。

(批注&＃xff1a;我记得原视频中确实有学生提问&＃xff0c;为什么这里要增加一维&＃xff0c;上面那部分解释的很清楚了&＃xff0c;实际上&＃xff0c;我们在tensorflow中使用API&＃xff1a;

tf.nn.bias_add(output, bias)


就可以直接计算出打分值)

图像数据预处理&＃xff1a;在上面的例子中&＃xff0c;所有图像都是使用的原始像素值&＃xff08;从0到255&＃xff09;。在机器学习中&＃xff0c;对于输入的特征做归一化&＃xff08;normalization&＃xff09;处理是常见的套路&＃xff08;而在图像分类的例子中&＃xff0c;图像上的每个像素可以看做一个特征&＃xff09;。在实践中&＃xff0c;对每个特征减去平均值来中心化数据&＃xff08;center your data&＃xff09;是非常重要的。在这些图片的例子中&＃xff0c;该步骤意味着根据训练集中所有的图像计算出一个平均图像值&＃xff08;mean image&＃xff09;&＃xff0c;然后每个图像都减去这个平均值&＃xff0c;这样图像的像素值就大约分布在[-127, 127]之间了。下一个常见步骤是&＃xff0c;让所有数值分布的区间变为[-1, 1]。零均值的中心化是很重要的&＃xff0c;等我们理解了梯度下降后再来详细解释。