人工神经网络&＃xff08;Artificial Neural Network&＃xff0c;即ANN &＃xff09;是从信息处理角度对人脑神经元网络进行抽象&＃xff0c;是20世纪80年代以来人工智能领域兴起的研究热点&＃xff0c;其本质是一种运算模型&＃xff0c;由大量的节点&＃xff08;或称神经元&＃xff09;之间相互联接构成&＃xff0c;在模式识别、智能机器人、自动控制、生物、医学、经济等领域已成功地解决了许多现代计算机难以解决的实际问题&＃xff0c;表现出了良好的智能特性。
人工神经网络是由大量处理单元互联组成的非线性、自适应信息处理系统&＃xff0c;它是在现代 神经科学研究成果的基础上提出的&＃xff0c;试图通过模拟大脑神经网络处理、记忆信息的方式进行信息处理。人工神经网络具有四个基本特征&＃xff1a;
&＃xff08;1&＃xff09;非线性– 非线性关系是自然界的普遍特性&＃xff0c;人工神经元处于激活或抑制二种不同的状态&＃xff0c;这种行为在数学上表现为一种非线性。
人工神经网络
关系。具有阈值的神经元构成的网络具有更好的性能&＃xff0c;可以提高容错性和存储容量。
&＃xff08;2&＃xff09;非局限性– 一个 神经网络通常由多个神经元广泛连接而成。一个系统的整体行为不仅取决于单个神经元的特征&＃xff0c;而且可能主要由单元之间的相互作用、相互连接所决定。通过单元之间的大量连接模拟大脑的非局限性。联想 记忆是非局限性的典型例子。
&＃xff08;3&＃xff09;非常定性 –人工神经网络具有自适应、自组织、自学习能力。神经网络不但处理的信息可以有各种变化&＃xff0c;而且在处理信息的同时&＃xff0c;非线性动力系统本身也在不断变化。经常采用迭代过程描写动力系统的演化过程。
&＃xff08;4&＃xff09;非凸性–一个系统的演化方向&＃xff0c;在一定条件下将取决于某个特定的状态函数。例如 能量函数&＃xff0c;它的极值相应于系统比较稳定的状态。非凸性是指这种函数有多个极值&＃xff0c;故系统具有多个较稳定的平衡态&＃xff0c;这将导致系统演化的多样性。
人工神经网络中&＃xff0c;神经元处理单元可表示不同的对象&＃xff0c;例如特征、字母、概念&＃xff0c;或者一些有意义的抽象模式。网络中处理单元的类型分为三类&＃xff1a;输入单元、输出单元和隐单元。输入单元接受外部 世界的信号与数据&＃xff1b;输出单元实现系统处理结果的输出&＃xff1b;隐单元是处在输入和输出单元之间&＃xff0c;不能
人工神经网络
由系统外部观察的单元。神经元间的连接权值反映了单元间的连接强度&＃xff0c;信息的表示和处理体现在网络处理单元的连接关系中。
总结:人工神经网络是一种非程序化、 适应性、大脑风格的信息处理 &＃xff0c;其本质是通过网络的变换和动力学行为得到一种并行分布式的信息处理功能&＃xff0c;并在不同程度和层次上模仿人脑神经系统的信息处理功能。
深度学习&＃xff08;人工神经网络的研究的概念&＃xff09;
深度学习(DL, Deep Learning)是机器学习(ML, Machine Learning)领域中一个新的研究方向&＃xff0c;它被引入机器学习使其更接近于最初的目标——人工智能(AI, Artificial Intelligence)人工神经网络概念深度学习。
深度学习是学习样本数据的内在规律和表示层次&＃xff0c;这些学习过程中获得的信息对诸如文字&＃xff0c;图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力&＃xff0c;能够识别文字、图像和声音等数据。 深度学习是一个复杂的机器学习算法&＃xff0c;在语音和图像识别方面取得的效果&＃xff0c;远远超过先前相关技术。
深度学习在搜索技术&＃xff0c;数据挖掘&＃xff0c;机器学习&＃xff0c;机器翻译&＃xff0c;自然语言处理&＃xff0c;多媒体学习&＃xff0c;语音&＃xff0c;推荐和个性化技术&＃xff0c;以及其他相关领域都取得了很多成果。深度学习使机器模仿视听和思考等人类的活动&＃xff0c;解决了很多复杂的模式识别难题&＃xff0c;使得人工智能相关技术取得了很大进步。
这两个概念实际上是互相交叉的&＃xff0c;例如&＃xff0c;卷积神经网络&＃xff08;Convolutional neural networks&＃xff0c;简称CNNs&＃xff09;就是一种深度的监督学习下的机器学习模型&＃xff0c;而深度置信网&＃xff08;Deep Belief Nets&＃xff0c;简称DBNs&＃xff09;就是一种无监督学习下的机器学习模型。
深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征&＃xff0c;以发现数据的分布式特征表示。
深度学习的概念由Hinton等人于2006年提出。基于深信度网(DBN)提出非监督贪心逐层训练算法&＃xff0c;为解决深层结构相关的优化难题带来希望&＃xff0c;随后提出多层自动编码器深层结构。此外Lecun等人提出的卷积神经网络是第一个真正多层结构学习算法&＃xff0c;它利用空间相对关系减少参数数目以提高训练性能。
找深度学习和神经网络的不同点&＃xff0c;其实主要的就是&＃xff1a;
原来多层神经网络做的步骤是&＃xff1a;特征映射到值。特征是人工挑选。
深度学习做的步骤是 信号->特征->值。 特征是由网络自己选择。
另外&＃xff0c;深度学习作为机器学习的领域中一个新的研究方向&＃xff0c;在被引进机器学习后&＃xff0c;让机器学习可以更加的接近最初的目标&＃xff0c;也就是人工智能。
深度学习主要就是对样本数据的内在规律还有表示层次的学习&＃xff0c;这些学习过程中获得的信息对诸如文字&＃xff0c;图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力&＃xff0c;能够识别文字、图像和声音等数据。 深度学习是一个复杂的机器学习算法&＃xff0c;在语音和图像识别方面取得的效果&＃xff0c;远远超过先前相关技术。
深度学习在搜索技术&＃xff0c;数据挖掘&＃xff0c;机器学习&＃xff0c;机器翻译&＃xff0c;自然语言处理&＃xff0c;多媒体学习&＃xff0c;语音&＃xff0c;推荐和个性化技术&＃xff0c;以及其他相关领域都取得了很多成果。深度学习使机器模仿视听和思考等人类的活动&＃xff0c;解决了很多复杂的模式识别难题&＃xff0c;使得人工智能相关技术取得了很大进步。
而神经网络则是可以分为两种&＃xff0c;一种是生物神经网络&＃xff0c;而另一种则是人工神经网络。
生物神经网络就是生物的大脑神经元、主要是由细胞以及触点组成的&＃xff0c;主要的作用就是让生物产生意识&＃xff0c;或者是帮助生物实现思考还有行动的目的。
神经网络可以指向两种&＃xff0c;一个是生物神经网络&＃xff0c;一个是人工神经网络。
人工神经网络&＃xff08;Artificial Neural Networks&＃xff0c;简写为ANNs&＃xff09;也简称为神经网络&＃xff08;NNs&＃xff09;或称作连接模型&＃xff08;Connection Model&＃xff09;&＃xff0c;它是一种模仿动物神经网络行为特征&＃xff0c;进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度&＃xff0c;通过调整内部大量节点之间相互连接的关系&＃xff0c;从而达到处理信息的目的。
人工神经网络&＃xff1a;是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。在工程与学术界也常直接简称为“神经网络”或类神经网络。
深度学习是一类机器学习方法&＃xff0c;可实例化为深度学习器&＃xff0c;所对应的设计、训练和使用方法集合称为深度学习。
深度学习器由若干处理层组成&＃xff0c;每层包含至少一个处理单元&＃xff0c;每层输出为数据的一种表征&＃xff0c;且表征层次随处理层次增加而提高。
深度的定义是相对的。针对某具体场景和学习任务&＃xff0c;若学习器的处理单元总数和层数分别为M和N&＃xff0c;学习器所保留的信息量或任务性能超过任意层数小于N且单元总数为M的学习器&＃xff0c;则该学习器为严格的或狭义的深度学习器&＃xff0c;其对应的设计、训练和使用方法集合为严格的或狭义的深度学习。
广义的深度学习器及对应的深度学习方法可依据经验和局部最优化设计&＃xff0c;不进行上述严格的遍历比较。
我们最近和中科院专家联合推出了AI深度学习课程&＃xff0c;感兴趣的可以了解一下。
深度学习又称之为人工神经网络训练。
深度学习是指多层的人工神经网络和训练它的方法。一层神经网络会把大量矩阵数字作为输入&＃xff0c;通过非线性激活方法取权重&＃xff0c;再产生另一个数据集合作为输出。
这就像生物神经大脑的工作机理一样&＃xff0c;通过合适的矩阵数量&＃xff0c;多层组织链接一起&＃xff0c;形成神经网络“大脑”进行精准复杂的处理。
深度学习定义
深度学习的提出&＃xff0c;在于实现立德树人的根本目的&＃xff0c;培养和发展学生核心素养根本促进学生的全面发展。鼓励教师深入探讨教学规律&＃xff0c;研究学生的学习规律&＃xff0c;从而真正去帮助学生学习与成长。苏霍姆林斯基曾说&＃xff0c;学习如果具有思想、感情、创造、美和游戏的鲜艳色彩&＃xff0c;那它就能成为孩子们深感兴趣和富有吸引力的事情。
深度学习是师生共同经历的一场智慧之旅&＃xff0c;是让师生能够积极、充分、灵活的运用这些知识去理解世界、解决问题、学以致用&＃xff0c;并获得人格的健全和精神的成长&＃xff0c;成为新时代的社会主义建设者和接班人。
深度学习与神经网络关系
2017-01-10
最近开始学习深度学习&＃xff0c;基本上都是zouxy09博主的文章&＃xff0c;写的蛮好&＃xff0c;很全面&＃xff0c;也会根据自己的思路&＃xff0c;做下删减&＃xff0c;细化。
五、Deep Learning的基本思想
假设我们有一个系统S&＃xff0c;它有n层&＃xff08;S1,…Sn&＃xff09;&＃xff0c;它的输入是I&＃xff0c;输出是O&＃xff0c;形象地表示为&＃xff1a; I &＃61;>S1&＃61;>S2&＃61;>…..&＃61;>Sn &＃61;> O&＃xff0c;如果输出O等于输入I&＃xff0c;即输入I经过这个系统变化之后没有任何的信息损失&＃xff08;呵呵&＃xff0c;大牛说&＃xff0c;这是不可能的。信息论中有个“信息逐层丢失”的说法&＃xff08;信息处理不等式&＃xff09;&＃xff0c;设处理a信息得到b&＃xff0c;再对b处理得到c&＃xff0c;那么可以证明&＃xff1a;a和c的互信息不会超过a和b的互信息。这表明信息处理不会增加信息&＃xff0c;大部分处理会丢失信息。当然了&＃xff0c;如果丢掉的是没用的信息那多好啊&＃xff09;&＃xff0c;保持了不变&＃xff0c;这意味着输入I经过每一层Si都没有任何的信息损失&＃xff0c;即在任何一层Si&＃xff0c;它都是原有信息&＃xff08;即输入I&＃xff09;的另外一种表示。现在回到我们的主题Deep Learning&＃xff0c;我们需要自动地学习特征&＃xff0c;假设我们有一堆输入I&＃xff08;如一堆图像或者文本&＃xff09;&＃xff0c;假设我们设计了一个系统S&＃xff08;有n层&＃xff09;&＃xff0c;我们通过调整系统中参数&＃xff0c;使得它的输出仍然是输入I&＃xff0c;那么我们就可以自动地获取得到输入I的一系列层次特征&＃xff0c;即S1&＃xff0c;…, Sn。
对于深度学习来说&＃xff0c;其思想就是对堆叠多个层&＃xff0c;也就是说这一层的输出作为下一层的输入。通过这种方式&＃xff0c;就可以实现对输入信息进行分级表达了。
另外&＃xff0c;前面是假设输出严格地等于输入&＃xff0c;这个限制太严格&＃xff0c;我们可以略微地放松这个限制&＃xff0c;例如我们只要使得输入与输出的差别尽可能地小即可&＃xff0c;这个放松会导致另外一类不同的Deep Learning方法。上述就是Deep Learning的基本思想。
六、浅层学习&＃xff08;Shallow Learning&＃xff09;和深度学习&＃xff08;Deep Learning&＃xff09;
浅层学习是机器学习的第一次浪潮。
20世纪80年代末期&＃xff0c;用于人工神经网络的反向传播算法&＃xff08;也叫Back Propagation算法或者BP算法&＃xff09;的发明&＃xff0c;给机器学习带来了希望&＃xff0c;掀起了基于统计模型的机器学习热潮。这个热潮一直持续到今天。人们发现&＃xff0c;利用BP算法可以让一个人工神经网络模型从大量训练样本中学习统计规律&＃xff0c;从而对未知事件做预测。这种基于统计的机器学习方法比起过去基于人工规则的系统&＃xff0c;在很多方面显出优越性。这个时候的人工神经网络&＃xff0c;虽也被称作多层感知机&＃xff08;Multi-layer Perceptron&＃xff09;&＃xff0c;但实际是种只含有一层隐层节点的浅层模型。
20世纪90年代&＃xff0c;各种各样的浅层机器学习模型相继被提出&＃xff0c;例如支撑向量机&＃xff08;SVM&＃xff0c;Support Vector Machines&＃xff09;、 Boosting、最大熵方法&＃xff08;如LR&＃xff0c;Logistic Regression&＃xff09;等。这些模型的结构基本上可以看成带有一层隐层节点&＃xff08;如SVM、Boosting&＃xff09;&＃xff0c;或没有隐层节点&＃xff08;如LR&＃xff09;。这些模型无论是在理论分析还是应用中都获得了巨大的成功。相比之下&＃xff0c;由于理论分析的难度大&＃xff0c;训练方法又需要很多经验和技巧&＃xff0c;这个时期浅层人工神经网络反而相对沉寂。
深度学习是机器学习的第二次浪潮。
2006年&＃xff0c;加拿大多伦多大学教授、机器学习领域的泰斗Geoffrey Hinton和他的学生RuslanSalakhutdinov在《科学》上发表了一篇文章&＃xff0c;开启了深度学习在学术界和工业界的浪潮。这篇文章有两个主要观点&＃xff1a;1&＃xff09;多隐层的人工神经网络具有优异的特征学习能力&＃xff0c;学习得到的特征对数据有更本质的刻画&＃xff0c;从而有利于可视化或分类&＃xff1b;2&＃xff09;深度神经网络在训练上的难度&＃xff0c;可以通过“逐层初始化”&＃xff08;layer-wise pre-training&＃xff09;来有效克服&＃xff0c;在这篇文章中&＃xff0c;逐层初始化是通过无监督学习实现的。
当前多数分类、回归等学习方法为浅层结构算法&＃xff0c;其局限性在于有限样本和计算单元情况下对复杂函数的表示能力有限&＃xff0c;针对复杂分类问题其泛化能力受到一定制约。深度学习可通过学习一种深层非线性网络结构&＃xff0c;实现复杂函数逼近&＃xff0c;表征输入数据分布式表示&＃xff0c;并展现了强大的从少数样本集中学习数据集本质特征的能力。&＃xff08;多层的好处是可以用较少的参数表示复杂的函数&＃xff09;
深度学习的实质&＃xff0c;是通过构建具有很多隐层的机器学习模型和海量的训练数据&＃xff0c;来学习更有用的特征&＃xff0c;从而最终提升分类或预测的准确性。因此&＃xff0c;“深度模型”是手段&＃xff0c;“特征学习”是目的。区别于传统的浅层学习&＃xff0c;深度学习的不同在于&＃xff1a;1&＃xff09;强调了模型结构的深度&＃xff0c;通常有5层、6层&＃xff0c;甚至10多层的隐层节点&＃xff1b;2&＃xff09;明确突出了特征学习的重要性&＃xff0c;也就是说&＃xff0c;通过逐层特征变换&＃xff0c;将样本在原空间的特征表示变换到一个新特征空间&＃xff0c;从而使分类或预测更加容易。与人工规则构造特征的方法相比&＃xff0c;利用大数据来学习特征&＃xff0c;更能够刻画数据的丰富内在信息。
七、Deep learning与Neural Network
深度学习是机器学习研究中的一个新的领域&＃xff0c;其动机在于建立、模拟人脑进行分析学习的神经网络&＃xff0c;它模仿人脑的机制来解释数据&＃xff0c;例如图像&＃xff0c;声音和文本。深度学习是无监督学习的一种。
深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征&＃xff0c;以发现数据的分布式特征表示。
Deep learning本身算是machine learning的一个分支&＃xff0c;简单可以理解为neural network的发展。大约二三十年前&＃xff0c;neural network曾经是ML领域特别火热的一个方向&＃xff0c;但是后来确慢慢淡出了&＃xff0c;原因包括以下几个方面&＃xff1a;
1&＃xff09;比较容易过拟合&＃xff0c;参数比较难tune&＃xff0c;而且需要不少trick&＃xff1b;
2&＃xff09;训练速度比较慢&＃xff0c;在层次比较少&＃xff08;小于等于3&＃xff09;的情况下效果并不比其它方法更优&＃xff1b;
所以中间有大约20多年的时间&＃xff0c;神经网络被关注很少&＃xff0c;这段时间基本上是SVM和boosting算法的天下。但是&＃xff0c;一个痴心的老先生Hinton&＃xff0c;他坚持了下来&＃xff0c;并最终&＃xff08;和其它人一起Bengio、Yann.lecun等&＃xff09;提成了一个实际可行的deep learning框架。
Deep learning与传统的神经网络之间有相同的地方也有很多不同。
二者的相同在于deep learning采用了神经网络相似的分层结构&＃xff0c;系统由包括输入层、隐层&＃xff08;多层&＃xff09;、输出层组成的多层网络&＃xff0c;只有相邻层节点之间有连接&＃xff0c;同一层以及跨层节点之间相互无连接&＃xff0c;每一层可以看作是一个logistic regression模型&＃xff1b;这种分层结构&＃xff0c;是比较接近人类大脑的结构的。
而为了克服神经网络训练中的问题&＃xff0c;DL采用了与神经网络很不同的训练机制。传统神经网络&＃xff08;这里作者主要指前向神经网络&＃xff09;中&＃xff0c;采用的是back propagation的方式进行&＃xff0c;简单来讲就是采用迭代的算法来训练整个网络&＃xff0c;随机设定初值&＃xff0c;计算当前网络的输出&＃xff0c;然后根据当前输出和label之间的差去改变前面各层的参数&＃xff0c;直到收敛&＃xff08;整体是一个梯度下降法&＃xff09;。而deep learning整体上是一个layer-wise的训练机制。这样做的原因是因为&＃xff0c;如果采用back propagation的机制&＃xff0c;对于一个deep network&＃xff08;7层以上&＃xff09;&＃xff0c;残差传播到最前面的层已经变得太小&＃xff0c;出现所谓的gradient diffusion&＃xff08;梯度扩散&＃xff09;。这个问题我们接下来讨论。
八、Deep learning训练过程
8.1、传统神经网络的训练方法为什么不能用在深度神经网络
BP算法作为传统训练多层网络的典型算法&＃xff0c;实际上对仅含几层网络&＃xff0c;该训练方法就已经很不理想。深度结构&＃xff08;涉及多个非线性处理单元层&＃xff09;非凸目标代价函数中普遍存在的局部最小是训练困难的主要来源。
BP算法存在的问题&＃xff1a;
&＃xff08;1&＃xff09;梯度越来越稀疏&＃xff1a;从顶层越往下&＃xff0c;误差校正信号越来越小&＃xff1b;
&＃xff08;2&＃xff09;收敛到局部最小值&＃xff1a;尤其是从远离最优区域开始的时候&＃xff08;随机值初始化会导致这种情况的发生&＃xff09;&＃xff1b;
&＃xff08;3&＃xff09;一般&＃xff0c;我们只能用有标签的数据来训练&＃xff1a;但大部分的数据是没标签的&＃xff0c;而大脑可以从没有标签的的数据中学习&＃xff1b;
8.2、deep learning训练过程
如果对所有层同时训练&＃xff0c;时间复杂度会太高&＃xff1b;如果每次训练一层&＃xff0c;偏差就会逐层传递。这会面临跟上面监督学习中相反的问题&＃xff0c;会严重欠拟合&＃xff08;因为深度网络的神经元和参数太多了&＃xff09;。
2006年&＃xff0c;hinton提出了在非监督数据上建立多层神经网络的一个有效方法&＃xff0c;简单的说&＃xff0c;分为两步&＃xff0c;一是每次训练一层网络&＃xff0c;二是调优&＃xff0c;使原始表示x向上生成的高级表示r和该高级表示r向下生成的x&＃39;尽可能一致。方法是&＃xff1a;
1&＃xff09;首先逐层构建单层神经元&＃xff0c;这样每次都是训练一个单层网络。
2&＃xff09;当所有层训练完后&＃xff0c;Hinton使用wake-sleep算法进行调优。
将除最顶层的其它层间的权重变为双向的&＃xff0c;这样最顶层仍然是一个单层神经网络&＃xff0c;而其它层则变为了图模型。向上的权重用于“认知”&＃xff0c;向下的权重用于“生成”。然后使用Wake-Sleep算法调整所有的权重。让认知和生成达成一致&＃xff0c;也就是保证生成的最顶层表示能够尽可能正确的复原底层的结点。比如顶层的一个结点表示人脸&＃xff0c;那么所有人脸的图像应该激活这个结点&＃xff0c;并且这个结果向下生成的图像应该能够表现为一个大概的人脸图像。Wake-Sleep算法分为醒&＃xff08;wake&＃xff09;和睡&＃xff08;sleep&＃xff09;两个部分。
1&＃xff09;wake阶段&＃xff1a;认知过程&＃xff0c;通过外界的特征和向上的权重&＃xff08;认知权重&＃xff09;产生每一层的抽象表示&＃xff08;结点状态&＃xff09;&＃xff0c;并且使用梯度下降修改层间的下行权重&＃xff08;生成权重&＃xff09;。也就是“如果现实跟我想象的不一样&＃xff0c;改变我的权重使得我想象的东西就是这样的”。
2&＃xff09;sleep阶段&＃xff1a;生成过程&＃xff0c;通过顶层表示&＃xff08;醒时学得的概念&＃xff09;和向下权重&＃xff0c;生成底层的状态&＃xff0c;同时修改层间向上的权重。也就是“如果梦中的景象不是我脑中的相应概念&＃xff0c;改变我的认知权重使得这种景象在我看来就是这个概念”。
deep learning训练过程具体如下&＃xff1a;
1&＃xff09;使用自下上升非监督学习&＃xff08;就是从底层开始&＃xff0c;一层一层的往顶层训练&＃xff09;&＃xff1a;
采用无标定数据&＃xff08;有标定数据也可&＃xff09;分层训练各层参数&＃xff0c;这一步可以看作是一个无监督训练过程&＃xff0c;是和传统神经网络区别最大的部分&＃xff08;这个过程可以看作是feature learning过程&＃xff09;&＃xff1a;
具体的&＃xff0c;先用无标定数据训练第一层&＃xff0c;训练时先学习第一层的参数&＃xff08;这一层可以看作是得到一个使得输出和输入差别最小的三层神经网络的隐层&＃xff09;&＃xff0c;由于模型capacity的限制以及稀疏性约束&＃xff0c;使得得到的模型能够学习到数据本身的结构&＃xff0c;从而得到比输入更具有表示能力的特征&＃xff1b;在学习得到第n-1层后&＃xff0c;将n-1层的输出作为第n层的输入&＃xff0c;训练第n层&＃xff0c;由此分别得到各层的参数&＃xff1b;
2&＃xff09;自顶向下的监督学习&＃xff08;就是通过带标签的数据去训练&＃xff0c;误差自顶向下传输&＃xff0c;对网络进行微调&＃xff09;&＃xff1a;
基于第一步得到的各层参数进一步fine-tune整个多层模型的参数&＃xff0c;这一步是一个有监督训练过程&＃xff1b;第一步类似神经网络的随机初始化初值过程&＃xff0c;由于DL的第一步不是随机初始化&＃xff0c;而是通过学习输入数据的结构得到的&＃xff0c;因而这个初值更接近全局最优&＃xff0c;从而能够取得更好的效果&＃xff1b;所以deep learning效果好很大程度上归功于第一步的feature learning过程。
人工智能&＃xff08;AI&＃xff09;、机器学习&＃xff08;machinelearning&＃xff09;和深度学习&＃xff08;deeplearning&＃xff09;都用上了。这三者在AlphaGo击败李世乭的过程中都起了作用&＃xff0c;但它们说的并不是一回事。
今天我们就用最简单的方法——同心圆&＃xff0c;可视化地展现出它们三者的关系和应用。
如下图&＃xff0c;人工智能是最早出现的&＃xff0c;也是最大、最外侧的同心圆&＃xff1b;其次是机器学习&＃xff0c;稍晚一点&＃xff1b;最内侧&＃xff0c;是深度学习&＃xff0c;当今人工智能大爆炸的核心驱动。
五十年代&＃xff0c;人工智能曾一度被极为看好。之后&＃xff0c;人工智能的一些较小的子集发展了起来。先是机器学习&＃xff0c;然后是深度学习。深度学习又是机器学习的子集。深度学习造成了前所未有的巨大的影响。
从概念的提出到走向繁荣
1956年&＃xff0c;几个计算机科学家相聚在达特茅斯会议&＃xff08;DartmouthConferences&＃xff09;&＃xff0c;提出了“人工智能”的概念。其后&＃xff0c;人工智能就一直萦绕于人们的脑海之中&＃xff0c;并在科研实验室中慢慢孵化。之后的几十年&＃xff0c;人工智能一直在两极反转&＃xff0c;或被称作人类文明耀眼未来的预言&＃xff1b;或者被当成技术疯子的狂想扔到垃圾堆里。坦白说&＃xff0c;直到2012年之前&＃xff0c;这两种声音还在同时存在。
过去几年&＃xff0c;尤其是2015年以来&＃xff0c;人工智能开始大爆发。很大一部分是由于GPU的广泛应用&＃xff0c;使得并行计算变得更快、更便宜、更有效。当然&＃xff0c;无限拓展的存储能力和骤然爆发的数据洪流&＃xff08;大数据&＃xff09;的组合拳&＃xff0c;也使得图像数据、文本数据、交易数据、映射数据全面海量爆发。
让我们慢慢梳理一下计算机科学家们是如何将人工智能从最早的一点点苗头&＃xff0c;发展到能够支撑那些每天被数亿用户使用的应用的。
人工智能&＃xff08;ArtificialIntelligence&＃xff09;——为机器赋予人的智能
成王&＃xff08;Kingme&＃xff09;:能下国际跳棋的程序是早期人工智能的一个典型应用&＃xff0c;在二十世纪五十年代曾掀起一阵风潮。&＃xff08;译者注&＃xff1a;国际跳棋棋子到达底线位置后&＃xff0c;可以成王&＃xff0c;成王棋子可以向后移动&＃xff09;。
早在1956年夏天那次会议&＃xff0c;人工智能的先驱们就梦想着用当时刚刚出现的计算机来构造复杂的、拥有与人类智慧同样本质特性的机器。这就是我们现在所说的“强人工智能”&＃xff08;GeneralAI&＃xff09;。这个无所不能的机器&＃xff0c;它有着我们所有的感知&＃xff08;甚至比人更多&＃xff09;&＃xff0c;我们所有的理性&＃xff0c;可以像我们一样思考。
人们在电影里也总是看到这样的机器&＃xff1a;友好的&＃xff0c;像星球大战中的C-3PO&＃xff1b;邪恶的&＃xff0c;如终结者。强人工智能现在还只存在于电影和科幻小说中&＃xff0c;原因不难理解&＃xff0c;我们还没法实现它们&＃xff0c;至少目前还不行。
我们目前能实现的&＃xff0c;一般被称为“弱人工智能”&＃xff08;NarrowAI&＃xff09;。弱人工智能是能够与人一样&＃xff0c;甚至比人更好地执行特定任务的技术。例如&＃xff0c;Pinterest上的图像分类&＃xff1b;或者Facebook的人脸识别。
这些是弱人工智能在实践中的例子。这些技术实现的是人类智能的一些具体的局部。但它们是如何实现的&＃xff1f;这种智能是从何而来&＃xff1f;这就带我们来到同心圆的里面一层&＃xff0c;机器学习。
机器学习——一种实现人工智能的方法
健康食谱&＃xff08;Spamfreediet&＃xff09;&＃xff1a;机器学习能够帮你过滤电子信箱里的&＃xff08;大部分&＃xff09;垃圾邮件。&＃xff08;译者注&＃xff1a;英文中垃圾邮件的单词spam来源于二战中美国曾大量援助英国的午餐肉品牌SPAM。直到六十年代&＃xff0c;英国的农业一直没有从二战的损失中恢复&＃xff0c;因而从美国大量进口了这种廉价的罐头肉制品。据传闻不甚好吃且充斥市场。&＃xff09;
机器学习最基本的做法&＃xff0c;是使用算法来解析数据、从中学习&＃xff0c;然后对真实世界中的事件做出决策和预测。与传统的为解决特定任务、硬编码的软件程序不同&＃xff0c;机器学习是用大量的数据来“训练”&＃xff0c;通过各种算法从数据中学习如何完成任务。
机器学习直接来源于早期的人工智能领域。传统算法包括决策树学习、推导逻辑规划、聚类、强化学习和贝叶斯网络等等。众所周知&＃xff0c;我们还没有实现强人工智能。早期机器学习方法甚至都无法实现弱人工智能。
机器学习最成功的应用领域是计算机视觉&＃xff0c;虽然也还是需要大量的手工编码来完成工作。人们需要手工编写分类器、边缘检测滤波器&＃xff0c;以便让程序能识别物体从哪里开始&＃xff0c;到哪里结束&＃xff1b;写形状检测程序来判断检测对象是不是有八条边&＃xff1b;写分类器来识别字母“ST-O-P”。使用以上这些手工编写的分类器&＃xff0c;人们总算可以开发算法来感知图像&＃xff0c;判断图像是不是一个停止标志牌。
这个结果还算不错&＃xff0c;但并不是那种能让人为之一振的成功。特别是遇到云雾天&＃xff0c;标志牌变得不是那么清晰可见&＃xff0c;又或者被树遮挡一部分&＃xff0c;算法就难以成功了。这就是为什么前一段时间&＃xff0c;计算机视觉的性能一直无法接近到人的能力。它太僵化&＃xff0c;太容易受环境条件的干扰。
随着时间的推进&＃xff0c;学习算法的发展改变了一切。
深度学习——一种实现机器学习的技术
放猫&＃xff08;HerdingCats&＃xff09;:从YouTube视频里面寻找猫的图片是深度学习杰出性能的首次展现。&＃xff08;译者注&＃xff1a;herdingcats是英语习语&＃xff0c;照顾一群喜欢自由&＃xff0c;不喜欢驯服的猫&＃xff0c;用来形容局面混乱&＃xff0c;任务难以完成。&＃xff09;
人工神经网络&＃xff08;ArtificialNeuralNetworks&＃xff09;是早期机器学习中的一个重要的算法&＃xff0c;历经数十年风风雨雨。神经网络的原理是受我们大脑的生理结构——互相交叉相连的神经元启发。但与大脑中一个神经元可以连接一定距离内的任意神经元不同&＃xff0c;人工神经网络具有离散的层、连接和数据传播的方向。
例如&＃xff0c;我们可以把一幅图像切分成图像块&＃xff0c;输入到神经网络的第一层。在第一层的每一个神经元都把数据传递到第二层。第二层的神经元也是完成类似的工作&＃xff0c;把数据传递到第三层&＃xff0c;以此类推&＃xff0c;直到最后一层&＃xff0c;然后生成结果。
每一个神经元都为它的输入分配权重&＃xff0c;这个权重的正确与否与其执行的任务直接相关。最终的输出由这些权重加总来决定。
我们仍以停止&＃xff08;Stop&＃xff09;标志牌为例。将一个停止标志牌图像的所有元素都打碎&＃xff0c;然后用神经元进行“检查”&＃xff1a;八边形的外形、救火车般的红颜色、鲜明突出的字母、交通标志的典型尺寸和静止不动运动特性等等。神经网络的任务就是给出结论&＃xff0c;它到底是不是一个停止标志牌。神经网络会根据所有权重&＃xff0c;给出一个经过深思熟虑的猜测——“概率向量”。
深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征&＃xff0c;以发现数据的分布式特征表示。
多层神经网络是指单计算层感知器只能解决线性可分问题&＃xff0c;而大量的分类问题是线性不可分的。克服单计算层感知器这一局限性的有效办法是&＃xff0c;在输入层与输出层之间引入隐层&＃xff08;隐层个数可以大于或等于1&＃xff09;作为输入模式“的内部表示” &＃xff0c;单计算层感知器变成多&＃xff08;计算&＃xff09;层感知器。
补充&＃xff1a;
深度学习的概念由Hinton等人于2006年提出。基于深信度网(DBN)提出非监督贪心逐层训练算法&＃xff0c;为解决深层结构相关的优化难题带来希望&＃xff0c;随后提出多层自动编码器深层结构。此外Lecun等人提出的卷积神经网络是第一个真正多层结构学习算法&＃xff0c;它利用空间相对关系减少参数数目以提高训练性能。
深度学习是机器学习研究中的一个新的领域&＃xff0c;其动机在于建立、模拟人脑进行分析学习的神经网络&＃xff0c;它模仿人脑的机制来解释数据&＃xff0c;例如图像&＃xff0c;声音和文本。
京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有