深度学习入门极简教程（一）

深度学习入门极简教程&＃xff08;一&＃xff09;

摘要&＃xff1a; 当你和女朋友在路边手拉手一起约会的时候&＃xff0c;你可曾想&＃xff0c;你们之间早已碰撞出了一种神秘的智慧–深度学习。恋爱容易&＃xff0c;相处不易&＃xff0c;不断磨合&＃xff0c;打造你们的默契&＃xff0c;最终才能决定你们是否在一起。深度学习也一样&＃xff0c;输入各种不同的参数&＃xff0c;进行训练拟合&＃xff0c;最后输出拟合结果。 恋爱又不易&＃xff0c;且学且珍惜&＃xff01;

导言&＃xff1a; 目前人工智能非常火爆&＃xff0c;而深度学习则是引领这一火爆现场的“火箭”。于是&＃xff0c;有关“深度学习”的论文、书籍和网络博客汗牛充栋&＃xff0c;但大多数这类文章都具备“高不成低不就”的特征。对于高手来说&＃xff0c;自然是没有问题&＃xff0c;他们本身已经具备非常“深度”的学习能力&＃xff0c;如果他们想学习有关深度学习的技术&＃xff0c;直接找来最新的研究论文阅读就好了。但是&＃xff0c;对于低手&＃xff08;初学者&＃xff09;而言&＃xff0c;就没有那么容易了&＃xff0c;因为他们基础相对薄弱&＃xff0c;通常看不太懂。
于是&＃xff0c;我们推出深度学习的入门系列。在这个系列文章中&＃xff0c;我们力图用最为通俗易懂、图文并茂的方式&＃xff0c;带你入门深度学习。我们都知道&＃xff0c;高手从来都是自学出来的。所以&＃xff0c;这个深度学习的入门系列&＃xff0c;能带给你的是“从入门到精通”&＃xff0c;还是“从入门到放弃”&＃xff0c;一切都取决你个人的认知。成就你自己的&＃xff0c;永远都是你自己&＃xff0c;是吧&＃xff1f;
好了&＃xff0c;言归正传&＃xff0c;下面开始我们的正题。

1. 什么是学习&＃xff1f;

说到深度学习&＃xff0c;我们首先需要知道&＃xff0c;什么是学习。
著名学者赫伯特·西蒙教授&＃xff08;Herbert Simon&＃xff0c;1975年图灵奖获得者、1978年诺贝尔经济学奖获得者&＃xff09;曾对“学习”给了一个定义&＃xff1a;“如果一个系统&＃xff0c;能够通过执行某个过程&＃xff0c;就此改进了它的性能&＃xff0c;那么这个过程就是学习”。
大牛就是大牛&＃xff0c;永远都是那么言简意赅&＃xff0c;一针见血。从西蒙教授的观点可以看出&＃xff0c;学习的核心目的&＃xff0c;就是改善性能。
其实对于人而言&＃xff0c;这个定义也是适用的。比如&＃xff0c;我们现在正在学习“深度学习”的知识&＃xff0c;其本质目的就是为了“提升”自己在机器学习上的认知水平。如果我们仅仅是低层次的重复性学习&＃xff0c;而没有达到认知升级的目的&＃xff0c;那么即使表面看起来非常勤奋&＃xff0c;其实我们也仅仅是个“伪学习者”, 因为我们没有改善性能。

2. 什么是机器学习&＃xff1f;

遵循西蒙教授的观点&＃xff0c;对于计算机系统而言&＃xff0c;通过运用数据及某种特定的方法&＃xff08;比如统计的方法或推理的方法&＃xff09;&＃xff0c;来提升机器系统的性能&＃xff0c;就是机器学习。
英雄所见略同。卡内基梅隆大学的Tom Mitchell教授&＃xff0c;在他的名作《机器学习》一书中&＃xff0c;也给出了更为具体&＃xff08;其实也很抽象&＃xff09;的定义&＃xff1a;

对于某类任务&＃xff08;Task&＃xff0c;简称T&＃xff09;和某项性能评价准则&＃xff08;Performance&＃xff0c;简称P&＃xff09;&＃xff0c;如果一个计算机程序在T上&＃xff0c;以P作为性能的度量&＃xff0c;随着很多经验&＃xff08;Experience&＃xff0c;简称E&＃xff09;不断自我完善&＃xff0c;那么我们称这个计算机程序在从经验E中学习了。

比如说&＃xff0c;对于学习围棋的程序AlphaGo&＃xff0c;它可以通过和自己下棋获取经验&＃xff0c;那么它的任务T就是“参与围棋对弈”&＃xff1b;它的性能P就是用“赢得比赛的百分比”来度量。“类似地&＃xff0c;学生的任务T就是“上课看书写作业”&＃xff1b;它的性能P就是用“期末成绩”来度量”
因此&＃xff0c;Mitchell教授认为&＃xff0c;对于一个学习问题&＃xff0c;我们需要明确三个特征&＃xff1a;任务的类型&＃xff0c;衡量任务性能提升的标准以及获取经验的来源。

3. 学习的4个象限

在前面的文章中&＃xff0c;我们已提到&＃xff0c;一般说来&＃xff0c;人类的知识在两个维度上可分成四类。即从可统计与否上来看&＃xff0c;可分为&＃xff1a;可统计的和不可统计的。从能否推理上看&＃xff0c;可分为:可推理的和不可推理的。

在横向方向上&＃xff0c;对于可推理的&＃xff0c;我们都可以通过机器学习的方法&＃xff0c;最终可以完成这个推理。传统的机器学习方法&＃xff0c;就是试图找到可举一反三的方法&＃xff0c;向可推理但不可统计的象限进发&＃xff08;象限Ⅱ&＃xff09;。目前看来&＃xff0c;这个象限的研究工作&＃xff08;即基于推理的机器学习&＃xff09;陷入了不温不火的境地&＃xff0c;能不能峰回路转&＃xff0c;还有待时间的检验。
而在纵向上&＃xff0c;对于可统计的、但不可推理的&＃xff08;即象限Ⅲ&＃xff09;&＃xff0c;可通过神经网络这种特定的机器学习方法&＃xff0c;以期望达到性能提升的目的。目前&＃xff0c;基于深度学习的棋类博弈&＃xff08;阿尔法狗&＃xff09;、计算机视觉&＃xff08;猫狗识别&＃xff09;、自动驾驶等等&＃xff0c;其实都是在这个象限做出了了不起的成就。
从图可知&＃xff0c;深度学习属于统计学习的范畴。用李航博士的话来说&＃xff0c;统计机器学习的对象&＃xff0c;其实就是数据。这是因为&＃xff0c;对于计算机系统而言&＃xff0c;所有的“经验”都是以数据的形式存在的。作为学习的对象&＃xff0c;数据的类型是多样的&＃xff0c;可以是各种数字、文字、图像、音频、视频&＃xff0c;也可以是它们的各种组合。
统计机器学习&＃xff0c;就是从数据出发&＃xff0c;提取数据的特征&＃xff08;由谁来提取&＃xff0c;是个大是大非问题&＃xff0c;下面将给予介绍&＃xff09;&＃xff0c;抽象出数据的模型&＃xff0c;发现数据中的知识&＃xff0c;最后又回到数据的分析与预测当中去。

4. 机器学习的方法论

这里稍早说明的一点的是&＃xff0c;在深度学习中&＃xff0c;经常有“end-to-end&＃xff08;端到端&＃xff09;”学习的提法&＃xff0c;与之相对应的传统机器学习是“Divide and Conquer&＃xff08;分而治之&＃xff09;”。这些都是什么意思呢&＃xff1f;
“end-to-end”&＃xff08;端到端&＃xff09;说的是&＃xff0c;输入的是原始数据&＃xff08;始端&＃xff09;&＃xff0c;然后输出的直接就是最终目标&＃xff08;末端&＃xff09;&＃xff0c;中间过程不可知&＃xff0c;因此也难以知。比如说&＃xff0c;基于深度学习的图像识别系统&＃xff0c;输入端是图片的像素数据&＃xff0c;而输出端直接就是或猫或狗的判定。这个端到端就是&＃xff1a;像素–>判定。
再比如说&＃xff0c;“end-to-end”的自动驾驶系统&＃xff0c;输入的是前置摄像头的视频信号&＃xff08;其实也就是像素&＃xff09;&＃xff0c;而输出的直接就是控制车辆行驶指令&＃xff08;方向盘的旋转角度&＃xff09;。这个端到端就是&＃xff1a;像素–>指令。
就此&＃xff0c;有人批评深度学习就是一个黑箱&＃xff08;Black Box&＃xff09;系统&＃xff0c;其性能很好&＃xff0c;却不知道为何而好&＃xff0c;也就是说&＃xff0c;缺乏解释性。其实&＃xff0c;这是由于深度学习所处的知识象限决定的。从图1可以看出&＃xff0c;深度学习&＃xff0c;在本质上&＃xff0c;属于可统计不可推理的范畴。“可统计”是很容易理解的&＃xff0c;就是说&＃xff0c;对于同类数据&＃xff0c;它具有一定的统计规律&＃xff0c;这是一切统计学习的基本假设。那“不可推理”又是什么概念&＃xff1f;其实就是“剪不断、理还乱”的非线性状态了。

在哲学上讲&＃xff0c;这种非线性状态&＃xff0c;是具备了整体性的“复杂系统”&＃xff0c;属于复杂性科学范畴。复杂性科学认为&＃xff0c;构成复杂系统的各个要素&＃xff0c;自成体系&＃xff0c;但阡陌纵横&＃xff0c;其内部结构难以分割。简单来说&＃xff0c;对于复杂系统&＃xff0c;1&＃43;1≠2&＃xff0c;也就是说&＃xff0c;一个简单系统&＃xff0c;加上另外一个简单系统&＃xff0c;其效果绝不是两个系统的简单累加效应&＃xff0c;而可能是大于部分之和。因此&＃xff0c;我们必须从整体上认识这样的复杂系统。于是&＃xff0c;在认知上&＃xff0c;就有了从一个系统或状态&＃xff08;end&＃xff09;直接整体变迁到另外一个系统或状态&＃xff08;end&＃xff09;的形态。这就是深度学习背后的方法论。
与之对应的是“Divide and Conquer&＃xff08;分而治之&＃xff09;”&＃xff0c;其理念正好相反&＃xff0c;在哲学它属于“还原主义&＃xff08;reductionism&＃xff0c;或称还原论&＃xff09;”。在这种方法论中&＃xff0c;有一种“追本溯源”的蕴意包含其内&＃xff0c;即一个系统&＃xff08;或理论&＃xff09;无论多复杂&＃xff0c;都可以分解、分解、再分解&＃xff0c;直到能够还原到逻辑原点。
在意象上&＃xff0c;还原主义就是“1&＃43;1&＃61;2”&＃xff0c;也就是说&＃xff0c;一个复杂的系统&＃xff0c;都可以由简单的系统简单叠加而成&＃xff08;可以理解为线性系统&＃xff09;&＃xff0c;如果各个简单系统的问题解决了&＃xff0c;那么整体的问题也就得以解决。比如说&＃xff0c;很多的经典力学问题&＃xff0c;不论形式有多复杂&＃xff0c;通过不断的分解和还原&＃xff0c;最后都可以通过牛顿的三大定律得以解决。
经典机器学习&＃xff08;位于第Ⅱ象限&＃xff09;&＃xff0c;在哲学上&＃xff0c;在某种程度上&＃xff0c;就可归属于还原主义。传统的机器学习方式&＃xff0c;通常是用人类的先验知识&＃xff0c;把原始数据预处理成各种特征&＃xff08;feature&＃xff09;&＃xff0c;然后对特征进行分类。
然而&＃xff0c;这种分类的效果&＃xff0c;高度取决于特征选取的好坏。传统的机器学习专家们&＃xff0c;把大部分时间都花在如何寻找更加合适的特征上。因此&＃xff0c;早期的机器学习专家们非常苦逼&＃xff0c;故此&＃xff0c;传统的机器学习&＃xff0c;其实可以有个更合适的称呼——特征工程&＃xff08;feature engineering&＃xff09;。
但这种苦逼&＃xff0c;也是有好处的。这是因为&＃xff0c;这些特征是由人找出来的&＃xff0c;自然也就为人所能理解&＃xff0c;性能好坏&＃xff0c;机器学习专家们可以“冷暖自知”&＃xff0c;灵活调整。

5. 什么是深度学习

再后来&＃xff0c;机器学习的专家们发现&＃xff0c;可以让神经网络自己学习如何抓取数据的特征&＃xff0c;这种学习的方式&＃xff0c;效果更佳。于是兴起了特征表示学习&＃xff08;feature representation learning&＃xff09;的风潮。这种学习方式&＃xff0c;对数据的拟合也更加的灵活好用。于是&＃xff0c;人们终于从自寻“特征”的苦逼生活中解脱出来。
但这种解脱也付出了代价&＃xff0c;那就是机器自己学习出来的特征&＃xff0c;它们存在于机器空间&＃xff0c;完全超越了人类理解的范畴&＃xff0c;对人而言&＃xff0c;这就是一个黑盒世界。为了让神经网络的学习性能&＃xff0c;表现得更好一些&＃xff0c;人们只能依据经验&＃xff0c;不断地尝试性地进行大量重复的网络参数调整&＃xff0c;同样是“苦不堪言”。于是&＃xff0c;“人工智能”领域就有这样的调侃&＃xff1a;“有多少人工&＃xff0c;就有多少智能”。
因此&＃xff0c;你可以看到&＃xff0c;在这个世界上&＃xff0c;存在着一个“麻烦守恒定律”&＃xff1a;麻烦不会减少&＃xff0c;只会转移。
再后来&＃xff0c;网络进一步加深&＃xff0c;出现了多层次的“表示学习”&＃xff0c;它把学习的性能提升到另一个高度。这种学习的层次多了&＃xff0c;其实也就是套路“深了”。于是&＃xff0c;人们就给它取了个特别的名称——Deep Learning&＃xff08;深度学习&＃xff09;。
深度学习的学习对象同样是数据。与传统机器学习所不同的是&＃xff0c;它需要大量的数据&＃xff0c;也就是“大数据&＃xff08;Big Data&＃xff09;”。
有一个观点&＃xff0c;在工业界一度很流行&＃xff0c;那就是在大数据条件下&＃xff0c;简单的学习模型会比复杂模型更加有效。而简单的模型&＃xff0c;最后会趋向于无模型&＃xff0c;也就是无理论。例如&＃xff0c;早在2008年&＃xff0c;美国 《连线》&＃xff08;Wired&＃xff09;杂志主编克里斯﹒安德森&＃xff08;Chris Anderson&＃xff09;就曾发出“理论的终结&＃xff08;The End of Theory&＃xff09;”的惊人断言&＃xff1a;“海量数据已经让科学方法成为过去时&＃xff08;The Data Deluge Makes the Scientific Method Obsolete&＃xff09;”。
但地平线机器人创始人&＃xff08;前百度深度学习研究院副院长&＃xff09;余凯先生认为&＃xff0c;深度学习的惊人进展&＃xff0c;是时候促使我们要重新思考这个观点了。也就是说&＃xff0c;他认为“大数据&＃43;复杂模型”或许能更好地提升学习系统的性能。

6. “恋爱”中的深度学习

法国科技哲学家伯纳德﹒斯蒂格勒&＃xff08;Bernard Stiegler&＃xff09;认为&＃xff0c;人们以自己的技术和各种物化的工具&＃xff0c;作为自己“额外”的器官&＃xff0c;不断的成就自己。按照这个观点&＃xff0c;其实&＃xff0c;在很多场景下&＃xff0c;计算机都是人类思维的一种物化形式。换句话说&＃xff0c;计算机的思维&＃xff08;比如说各种电子算法&＃xff09;&＃xff0c;都能找到人类生活实践的影子。
比如说&＃xff0c;现在火热的深度学习&＃xff0c;与人们的恋爱过程也有相通之处。在知乎上&＃xff0c;就有人&＃xff08;jacky yang&＃xff09;以恋爱为例来说明深度学习的思想&＃xff0c;倒也非常传神。我们知道&＃xff0c;男女恋爱大致可分为三个阶段&＃xff1a;
第一阶段初恋期&＃xff0c;相当于深度学习的输入层。妹子吸引你&＃xff0c;肯定是有很多因素&＃xff0c;比如说脸蛋、身高、身材、性格、学历等等&＃xff0c;这些都是输入层的参数。对不同喜好的人&＃xff0c;他们对输出结果的期望是不同的&＃xff0c;自然他们对这些参数设置的权重也是不一样的。比如&＃xff0c;有些人是奔着结婚去的&＃xff0c;那么他们对妹子的性格可能给予更高的权重。否则&＃xff0c;脸蛋的权重可能会更高。

第二阶段热恋期&＃xff0c;对应于深度学习的隐藏层。在这个期间&＃xff0c;恋爱双方都要经历各种历练和磨合。清朝湖南湘潭人张灿写了一首七绝&＃xff1a;
书画琴棋诗酒花&＃xff0c;当年件件不离他。 而今七事都更变&＃xff0c;柴米油盐酱醋茶。

这首诗说的就是&＃xff0c;在过日子的洗礼中&＃xff0c;各种生活琐事的变迁。恋爱是过日子的一部分&＃xff0c;其实也是如此&＃xff0c;也需要双方不断磨合。这种磨合中的权重取舍平衡&＃xff0c;就相等于深度学习中隐藏层的参数调整&＃xff0c;它们需要不断地训练和修正&＃xff01;恋爱双方相处&＃xff0c;磨合是非常重要的。要怎么磨合呢&＃xff1f;光说“520&＃xff08;我爱你&＃xff09;”&＃xff0c;是廉价的。这就给我们程序猿&＃xff08;媛&＃xff09;提个醒&＃xff0c;爱她&＃xff08;他&＃xff09;&＃xff0c;就要多陪陪她&＃xff08;他&＃xff09;。陪陪她&＃xff08;他&＃xff09;&＃xff0c;就增加了参数调整的机会。参数调整得好&＃xff0c;输出的结果才能是你想要的。
第三阶段稳定期&＃xff0c;自然相当于深度学习的输出层。输出结果是否合适&＃xff0c;是否达到预期&＃xff0c;高度取决于“隐藏层”的参数 “磨合”得怎么样。

7. 小结

在本小节&＃xff0c;我们回顾了“机器学习”的核心要素&＃xff0c;那就是通过对数据运用&＃xff0c;依据统计或推理的方法&＃xff0c;让计算机系统的性能得到提升。而深度学习&＃xff0c;则是把由人工选取对象特征&＃xff0c;变更为通过神经网络自己选取特征&＃xff0c;为了提升学习的性能&＃xff0c;神经网络的表示学习的层次较多&＃xff08;较深&＃xff09;。
以上仅仅给出机器学习和深度学习的概念性描述&＃xff0c;在下一个小结中&＃xff0c;我们将给出机器学习的形式化表示&＃xff0c;传统机器学习和深度学习的不同之处在哪里&＃xff0c;以及到底什么是神经网络等。

8. 请你思考

• 在大数据时代&＃xff0c;你是赞同科技编辑出生的克里斯﹒安德森的观点呢&＃xff08;仅需简单模型甚至无模型&＃xff09;&＃xff0c;还是更认可工业界大神余凯先生的观点呢&＃xff08;还是需要复杂模型&＃xff09;&＃xff1f;为什么&＃xff1f;
• 你认为用“恋爱”的例子比拟“深度学习”贴切吗&＃xff1f;为什么&＃xff1f;
• 为什么非要用“深度”学习&＃xff0c;“浅度”不行吗&＃xff1f;