深度学习与神经网络的异同

1 相同点：
二者均采用分层结构，系统包括输入层，隐藏层（多层），输出层组成的多层网络，只有相邻层节点之间有连接，同一层以及跨层节点之间相互无连接，每一层都可以看作是一个logistic回归模型。
2 不同点：
（1）神经网络：特征映射到值，特征是人工挑选的。
输入层->多层隐藏层->输出层 其输出层的维度与输入层一样
（a）采用BP算法调整参数，即采用迭代式算法来训练整个网络。随机设定初值，计算当前网络的输出，然后根据当前输出和样本真实标签之间的差去改变前面各层的参数，直到收敛；

（b）比较容易过拟合，参数比较难调整，而且需要不少的技巧。

（c）训练速度比较慢。在成熟比较少（小于等于3）的情况下效果并不比其他方法更优；

（2）深度学习： 信号->特征->值。 特征是由网络自己选择。
输入层 - 卷积层 -降维层（采样层） -卷积层 - 降维层 – … – 隐藏层 -输出层 输出层的维度要比输入层的维度小很多（卷积降维）
从广义上说深度学习的网络结构也是多层神经网络的一种。传统意义上的多层神经网络是只有输入层、隐藏层、输出层。其中隐藏层的层数根据需要而定，没有明确的理论推导来说明到底多少层合适。
而深度学习中最著名的卷积神经网络CNN（由手工设计卷积核变成自动卷积核）。在原来多层神经网络的基础上，加入了特征学习部分，这部分是模仿人脑对信号处理上的分级的。具体操作就是在原来的全连接的层前面加入了部分连接的卷积层与降维层（采样层）。其中卷积层和降维层是对输入信号的加工，连接层（隐藏层）是实现与输出目标之间的映射。每个卷积层都包含多个特征映射，因此可以将深度学习理解为特征学习或表示学习。特征学习通过机器学习技术自身来产生好特征，这使得机器学习向“全自动数据分析”又前进了一步。