机器学习深度学习简介

深度学习(DL, Deep Learning)是机器学习领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能(AI, Artificial Intelligence)。

• 深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。 至今已有数种深度学习框架，如深度神经网络、卷积神经网络和深度置信网络（英语：Deep belief network）和循环神经网络已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并取得了极好的效果。
• 深度学习是机器学习中一种基于对数据进行表征学习的算法。观测值（例如一幅图像）可以使用多种方式来表示，如每个像素强度值的向量，或者更抽象地表示成一系列边、特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务（例如，人脸识别或面部表情识别[6]）。深度学习的好处是用非监督式或半监督式（英语：Semi-supervised learning）的特征学习和分层特征提取高效算法来替代手工获取特征。

深度学习框架

深度神经网络（Convolutional Neural Networks, CNN）

• 深度神经网络是一种具备至少一个隐层的神经网络。与浅层神经网络类似，深度神经网络也能够为复杂非线性系统提供建模，但多出的层次为模型提供了更高的抽象层次，因而提高了模型的能力。
• 深度神经网络很容易产生过拟合现象，因为增加的抽象层使得模型能够对训练数据中较为罕见的依赖关系进行建模。

深度置信网络（deep belief networks，DBN）

• 深度置信网络是一种包含多层隐单元的概率生成模型，可被视为多层简单学习模型组合而成的复合模型。
• 深度置信网络可以作为深度神经网络的预训练部分，并为网络提供初始权重，再使用反向传播或者其它判定算法作为调优的手段。这在训练数据较为缺乏时很有价值，因为不恰当的初始化权重会显著影响最终模型的性能，而预训练获得的权重在权值空间中比随机权重更接近最优的权重。这不仅提升了模型的性能，也加快了调优阶段的收敛速度。
• 深度置信网络中的每一层都是典型的受限玻尔兹曼机（restricted Boltzmann machine，RBM），可以使用高效的无监督逐层训练方法进行训练。
• 

卷积神经网络（convolutional neural networks，CNN）

• 卷积神经网络由一个或多个卷积层和顶端的全连通层（对应经典的神经网络）组成，同时也包括关联权重和池化层（pooling layer）。

• 详情见卷积神经网络

卷积深度置信网络（convolutional deep belief networks，CDBN）

• 卷积深度置信网络是深度学习领域较新的分支。在结构上，卷积深度置信网络与卷积神经网络在结构上相似。因此，与卷积神经网络类似，卷积深度置信网络也具备利用图像二维结构的能力，与此同时，卷积深度信念网络也拥有深度置信网络的预训练优势。

应用

• 语音识别

• 图像分类

相关书籍

深度学习四大神

• 这几位大师互相之间有着很深的渊源。
  
  

1 神经网络之父 Geoffrey Hinton 杰弗里·辛顿

• Geoffrey Hinton，被称为“神经网络之父”、“深度学习鼻祖”，他曾获得爱丁堡大学人工智能的博士学位，并且为多伦多大学的特聘教授。
  

2 卷积网络之父 Yann LeCun（杨立昆，延恩·勒昆）

• Yann LeCun，自称中文名“杨立昆”，计算机科学家，被誉为“卷积网络之父”，为卷积神经网络（CNN，Convolutional Neural Networks）和图像识别领域做出了重要贡献，以手写字体识别、图像压缩和人工智能硬件等主题发表过 190 多份论文，研发了很多关于深度学习的项目，并且拥有14项相关的美国专利。
  

3 Yoshua Bengio 约书亚·本吉奥

• Yoshua Bengio 是蒙特利尔大学的教授，他的 A neural probabilistic language model” 这篇论文开创了神经网络做 language model 的先河。里面的思路影响、启发了之后的很多基于神经网络做 NLP的文章。机器学习开源框架Theano的开发者之一。
  

4 Andrew Ng（吴恩达）

• 吴恩达是美籍华人，曾经是斯坦福大学计算机科学系和电气工程系的副教授，斯坦福人工智能实验室主任。他还与Daphne Koller一起创建了在线教育平台Coursera。
  

深度学习库

• Torch（英语：Torch (machine learning)）
• TensorFlow