【吴恩达深度学习】L1W1学习笔记

1.2 什么是神经网络

卷积神经网络（CNN）——图像

循环神经网络（RNN）,全称是长短期记忆网络（LSTM）——自然语言处理（NLP）

ReLU 函数

线性整流函数（Linear rectification function），又称修正线性单元，是一种人工神经网络中常用的激活函数（activation function），通常指代以斜坡函数及其变种为代表的非线性函数。

通常意义下，线性整流函数指代数学中的斜坡函数，即\(f(x)=max(0,x)\)

在深度学习中，我们将机器学习中预测的参数称为特征，也就是对特征参数进行一系列数学运算，来得到预测结果。对于一个房子价格来说，它的大小，卧室数量，邮政编码（位置），富裕程度都可以成为影响其房价的特征。

在图上每一个画的小圆圈都可以是 ReLU 的一部分，也就是指修正线性单元，或者其 它稍微非线性的函数。基于房屋面积和卧室数量，可以估算家庭人口，基于邮编，可以估 测步行化程度或者学校的质量。

而像这样的，就是一个简单的神经网络，而对于这个来说，神经网络有三层，蓝框有数据的那一层成为“输入层”，中间三个圆圈成为“隐藏层”，最后则为输出层。

1.3 用神经网络进行监督学习

https://zhuanlan.zhihu.com/p/159305118

1.4 为什么深度学习会兴起？

神经网络方面的一个巨大突破是从 sigmoid 函数转换到一个 ReLU 函数

在负值区域，sigmoid函数的梯度会接近0，学习的速度慢（梯度下降参数更新慢）

sigmoid的导数只有在0附近的时候有比较好的激活性，在正负饱和区的梯度都接近于0，所以这会造成梯度弥散，而relu函数在大于0的部分梯度为常数，所以不会产生梯度弥散现象。第二，relu函数在负半区的导数为0 ，所以一旦神经元激活值进入负半区，那么梯度就会为0，也就是说这个神经元不会经历训练，即所谓的稀疏性。第三，relu函数的导数计算更快，程序实现就是一个if-else语句，而sigmoid函数要进行浮点四则运算。