Python学习教程：初级算法第七题：加一最简单的深度学习算法——感知器的前世今生

写在前面&＃xff1a;

各位小伙伴们&＃xff0c;又到了喜闻乐见的更新时间&＃xff0c;最近猛料不断&＃xff0c;先有Boston动力的“仁义”机器人反恐演习&＃xff0c;紧接着MIT的狗狗们在实验室的绿茵场上集体卖萌&＃xff0c;让我们感慨强人工智能离我们也许不远了。

作为快要秃头的我们&＃xff0c;又该怎么看待这个快速变化的世界呢&＃xff1f;在知识更新越来越快的现在&＃xff0c;想要专注于当下似乎都变得艰难。其实柳猫想要告诉大家&＃xff0c;作为一个普通人&＃xff0c;对各种信息越是了解的多&＃xff0c;认识的越是浅薄&＃xff0c;为了增强自己的不可替代性&＃xff0c;必须增加自己专业的深度&＃xff0c;从一而终。

今天&＃xff0c;想跟大家分享一下最早也是最简单的一个机器学习模型&＃xff1a;感知器~

感知器的诞生——从样本中学习

神经网络的AI先驱们一直依靠着神经元的绘图以及它们相互连接的方式&＃xff0c;进行着艰难的摸索。康奈尔大学的弗兰克·罗森布拉特是最早模仿人体自动图案识别视觉系统架构的人之一。

他发明了一种看似简单的网络感知器&＃xff08;perceptron&＃xff09;&＃xff0c;这种学习算法可以学习如何将图案进行分类&＃xff0c;例如识别字母表中的不同字母。**算法是为了实现特定目标而按步骤执行的过程&＃xff0c;**就像烘焙蛋糕的食谱一样。

如果我们了解了感知器如何学习图案识别的基本原则&＃xff0c;那么在理解深度学习工作原理的路上已经成功了一半。感知器的目标是确定输入的图案是否属于图像中的某一类别&＃xff08;比如猫&＃xff09;。

上图解释了感知器的输入如何通过一组权重&＃xff0c;来实现输入单元到输出单元的转换。权重是对每一次输入对输出单元做出的最终决定所产生影响的度量&＃xff0c;但是我们如何找到一组可以将输入进行正确分类的权重呢&＃xff1f;

解决这个问题的传统方法&＃xff0c;是根据分析或特定程序来手动设定权重。这需要耗费大量人力&＃xff0c;而且往往依赖于直觉和工程方法。另一种方法则是使用一种从样本中学习的自动过程&＃xff0c;和我们认识世界上的对象的方法一样。需要很多样本来训练感知器&＃xff0c;包括不属于该类别的反面样本&＃xff0c;特别是和目标特征相似的&＃xff0c;例如&＃xff0c;如果识别目标是猫&＃xff0c;那么狗就是一个相似的反面样本。这些样本被逐个传递给感知器&＃xff0c;如果出现分类错误&＃xff0c;算法就会自动对权重进行校正。

感知器具体算法

这种感知器学习算法的美妙之处在于&＃xff0c;如果已经存在这样一组权重&＃xff0c;并且有足够数量的样本&＃xff0c;那么它肯定能自动地找到一组合适的权重。在提供了训练集中的每个样本&＃xff0c;并且将输出与正确答案进行比较后&＃xff0c;感知器会进行递进式的学习。如果答案是正确的&＃xff0c;那么权重就不会发生变化。但如果答案不正确&＃xff08;0被误判成了1&＃xff0c;或1被误判成了0&＃xff09;&＃xff0c;权重就会被略微调整&＃xff0c;以便下一次收到相同的输入时&＃xff0c;它会更接近正确答。这种渐进的变化很重要&＃xff0c;这样一来&＃xff0c;权重就能接收来自所有训练样本的影响&＃xff0c;而不仅仅是最后一个。

感知器是具有单一人造神经元的神经网络&＃xff0c;它有一个输入层&＃xff0c;和将输入单元和输出单元相连的一组连接。感知器的目标是对提供给输入单元的图案进行分类。输出单元执行的基本操作是&＃xff0c;把每个输入&＃xff08;xn&＃xff09;与其连接强度或权重&＃xff08;wn&＃xff09;相乘&＃xff0c;并将乘积的总和传递给输出单元。上图中&＃xff0c;输入的加权和&＃xff08;∑i&＃61;1,…,n wi xi&＃xff09;与阈值θ进行比较后的结果被传递给阶跃函数。如果总和超过阈值&＃xff0c;则阶跃函数输出“1”&＃xff0c;否则输出“0”。例如&＃xff0c;输入可以是图像中像素的强度&＃xff0c;或者更常见的情况是&＃xff0c;从原始图像中提取的特征&＃xff0c;例如图像中对象的轮廓。每次输入一个图像&＃xff0c;感知器会判定该图像是否为某类别的成员&＃xff0c;例如猫类。输出只能是两种状态之一&＃xff0c;如果图像处于类别中&＃xff0c;则为“开”&＃xff0c;否则为“关”。“开”和“关”分别对应二进制值中的1和0。

感知器学习算法可以表达为&＃xff1a;

感知器如何区分两个对象类别的几何解释

如果对感知器学习的这种解释还不够清楚&＃xff0c;我们还可以通过另一种更简洁的几何方法&＃xff0c;来理解感知器如何学习对输入进行分类。对于只有两个输入单元的特殊情况&＃xff0c;可以在二维图上用点来表示输入样本。每个输入都是图中的一个点&＃xff0c;而网络中的两个权重则确定了一条直线。感知器学习的目标是移动这条线&＃xff0c;以便清楚地区分正负样本。对于有三个输入单元的情况&＃xff0c;输入空间是三维的&＃xff0c;感知器会指定一个平面来分隔正负训练样本。在一般的情况下&＃xff0c;即使输入空间的维度可能相当高且无法可视化&＃xff0c;同样的原则依然成立。

这些对象有两个特征&＃xff0c;例如尺寸和亮度&＃xff0c;它们依据各自的坐标值&＃xff08;x&＃xff0c;y&＃xff09;被绘制在每张图上。左边图中的两种对象&＃xff08;加号和正方形&＃xff09;可以通过它们之间的直线分隔开&＃xff1b;感知器能够学习如何进行这种区分。其他两个图中的两种对象不能用直线隔开&＃xff0c;但在中间的图中&＃xff0c;两种对象可以用曲线分开。而右侧图中的对象必须舍弃一些样本才能分隔成两种类型。如果有足够的训练数据&＃xff0c;深度学习网络就能够学习如何对这三个图中的类型进行区分。

最终&＃xff0c;如果解决方案是可行的&＃xff0c;权重将不再变化&＃xff0c;这意味着感知器已经正确地将训练集中的所有样本进行了分类。

但是&＃xff0c;在所谓的“过度拟合”&＃xff08;overfitting&＃xff09;中&＃xff0c;也可能没有足够的样本&＃xff0c;网络仅仅记住了特定的样本&＃xff0c;而不能将结论推广到新的样本。为了避免过度拟合&＃xff0c;关键是要有另一套样本&＃xff0c;称为“测试集”&＃xff08;test set&＃xff09;&＃xff0c;它没有被用于训练网络。训练结束时&＃xff0c;在测试集上的分类表现&＃xff0c;就是对感知器是否能够推广到类别未知的新样本的真实度量。泛化&＃xff08;generalization&＃xff09;是这里的关键概念。在现实生活中&＃xff0c;我们几乎不会在同样的视角看到同一个对象&＃xff0c;或者反复遇到同样的场景&＃xff0c;但如果我们能够将以前的经验泛化到新的视角或场景中&＃xff0c;我们就可以处理更多现实世界的问题。

利用感知器区分性别

举一个用感知器解决现实世界问题的例子。想想如果去掉头发、首饰和第二性征&＃xff0c;比如男性比女性更为突起的喉结&＃xff0c;该如何区分男性和女性的面部。

这张脸属于男性还是女性&＃xff1f;人们通过训练感知器来辨别男性和女性的面孔。来自面部图像&＃xff08;上图&＃xff09;的像素乘以相应的权重&＃xff08;下图&＃xff09;&＃xff0c;并将该乘积的总和与阈值进行比较。每个权重的大小被描绘为不同颜色像素的面积。正值的权重&＃xff08;白色&＃xff09;表现为男性&＃xff0c;负值的权重&＃xff08;黑色&＃xff09;倾向于女性。鼻子宽度&＃xff0c;鼻子和嘴之间区域的大小&＃xff0c;以及眼睛区域周围的图像强度对于区分男性很重要&＃xff0c;而嘴和颧骨周围的图像强度对于区分女性更重要。

区分男性与女性面部的工作有趣的一点是&＃xff0c;虽然我们很擅长做这种区分&＃xff0c;却无法确切地表述男女面部之间的差异。由于没有单一特征是决定性的&＃xff0c;因此这种模式识别问题要依赖于将大量低级特征的证据结合起来。感知器的优点在于&＃xff0c;权重提供了对性别区分最有帮助的面部的线索。令人惊讶的是&＃xff0c;人中&＃xff08;即鼻子和嘴唇之间的部分&＃xff09;是最显著的特征&＃xff0c;大多数男性人中的面积更大。眼睛周围的区域&＃xff08;男性较大&＃xff09;和上颊&＃xff08;女性较大&＃xff09;对于性别分类也有着很高的信息价值。感知器会权衡来自所有这些位置的证据来做出决定&＃xff0c;我们也是这样来做判定的&＃xff0c;尽管我们可能无法描述出到底是怎么做到的。

感知器的扩展

感知器激发了对高维空间中模式分离的美妙的数学分析。当那些点存在于有数千个维度的空间中时&＃xff0c;我们就无法依赖在生活的三维空间里对点和点之间距离的直觉。俄罗斯数学家弗拉基米尔·瓦普尼克&＃xff08;Vladimir Vapnik&＃xff09;在这种分析的基础上引入了一个分类器&＃xff0c;称为“支持向量机”&＃xff08;Support Vector Machine&＃xff09;。

它将感知器泛化&＃xff0c;并被大量用于机器学习。他找到了一种自动寻找平面的方法&＃xff0c;能够最大限度地将两个类别的点分开&＃xff08;线性&＃xff09;。这让泛化对空间中数据点的测量误差容忍度更大&＃xff0c;再结合作为非线性扩充的“内核技巧”&＃xff08;kernel trick&＃xff09;&＃xff0c;支持向量机算法就成了机器学习中的重要支柱。

总结——并非万能的感知器

在感知器中&＃xff0c;每个输入都独立地向输出单元提供证据。但是&＃xff0c;如果需要依靠多个输入的组合来做决定&＃xff0c;那会怎样呢&＃xff1f;这就是感知器无法区分螺旋结构是否相连的原因&＃xff1a;单个像素并不能提供它是在内部还是外部的位置信息。尽管在多层前馈神经网络中&＃xff0c;可以在输入和输出单元之间的中间层中形成多个输入的组合&＃xff0c;但是在20世纪60年代&＃xff0c;还没有人知道如何训练简单到中间只有一层“隐藏单元”&＃xff08;hiddenunits&＃xff09;的神经网络。