吴恩达课程随笔

1.为什么用更用深的神经网络&＃xff1f;
类似于人脑&＃xff0c;第一层负责找细节比如边缘&＃xff0c;第二层负责找特征比如鼻子、眼睛&＃xff0c;第
三层负责找更大的特征比如人脸&＃xff0c;所以网络越深&＃xff0c;从细节到宏观的特征查找更仔
细。
神经元少但深的网络与神经元多但浅的网络能达到差不多的效果&＃xff0c;但是神经元的增
长比深度的增长要快很多&＃xff0c;所以采用增加深度的方法能减少神经元的使用减少网络
的复杂度提升算法的计算时间。

2.常用的正则化方法&＃xff1f;
L2&＃xff0c;L1正则化&＃xff0c;限制w的大小从而降低网络的复杂度。另一种解释是&＃xff0c;L2正则化
能够将w限制在一个小的范围类&＃xff0c;然后对于sigmoid和tanh激活函数而言&＃xff0c;当w很小
的时候z&＃61;w*x&＃43;b也会在一个较小的范围内&＃xff0c;这时激活函数相当于线型函数&＃xff0c;从而达
到正则化的目的。
dropout正则化&＃xff0c;将神经元进行随机失活&＃xff0c;但是由于最后的网络要用到所有神经元
所以最后需要对结果进行缩小。
增加训练数据&＃xff0c;常用的方法为将已有数据进行变形获得更多的数据。
easy stop&＃xff0c;将训练过程在错误率较小时停下来。