[NeuralNetwork]——基础介绍

 人工神经网络&＃xff08;Artificial Neural Network&＃xff0c;ANN&＃xff09;&＃xff0c;简称神经网络&＃xff08;Neural Network&＃xff09;或类神经网络&＃xff0c;是一种模仿生物网络&＃xff08;动物的中枢神经系统&＃xff0c;特别是大脑&＃xff09;&＃xff0c;的结构和功能的数学模型&＃xff0c;用于对函数进行估计和近似。

和其他机器学习方法一样&＃xff0c;神经网络已经被用于解决各种各样的问题&＃xff0c;例如&＃xff1a;机器视觉和语音识别&＃xff0c;这些问题都是很难被传基于规则的编程所解决的。

1、神经元

在生物神经网络中&＃xff0c;每个神经元与其他神经元相连&＃xff0c;当他兴奋时&＃xff0c;就会向相连的神经元发送化学物质&＃xff0c;从而改变这些神经元内的电位&＃xff1b;如果某神经元的点位超过了一个“阈值”&＃xff0c;那么他就会被激活&＃xff0c;即“兴奋”起来&＃xff0c;向其他神经元发送化学物质。

• 神经元是神经网络中的基础单元&＃xff0c;相互连接组成神经网络

2、单层神经网络

是最基本的神经元网络形式&＃xff0c;由有限个神经元构成&＃xff0c;所有神经元的输入向量都是同一个向量。由于每个神经元都会产生一个标量结果&＃xff0c;所以单层神经元的输出是一个向量&＃xff0c;向量的维数等于神经元的数目。

3、感知机

最常见的神经网络是两层的神经网络。是一个简单的二分类模型&＃xff08;给定阈值&＃xff0c;判断数据属于哪一部分&＃xff09;。

感知机是由两层神经网络组成&＃xff0c;输入层接收外界输入信号后传递给输出层&＃xff08;输出&＃43;1正例&＃xff0c;-1反例&＃xff09;&＃xff0c;输出层是M-P神经元。

4、多层神经网络

&＃xff08;1&＃xff09;全连接层

全连接层&＃xff1a;当前一层和前一层每个神经元相互连接&＃xff0c;我们称之为当前这一层的全连接层

下图中&＃xff1a;N-1和N层之间有 m*n 个参数w。也即全连接层就是在前一层的基础上进行一次 Y &＃61; Wx &＃43; b的变化&＃xff08;不考虑激活函数的情况下就是一次线性变化&＃xff09;。

5、激活函数

激活函数很重要的一个作用就是&＃xff1a;增加模型的非线性分割能力。

&＃xff08;1&＃xff09;线性关系&＃xff1a;无法满足复杂的需求&＃xff08;曲线&＃xff09;

线性关系中&＃xff0c;系统&＃xff1a;函数f&＃xff0c;模型f(x) &＃61; y&＃xff0c;需要满足如下关系&＃xff1a;

• f(x1 &＃43; x2) &＃61; y1 &＃43; y2
• f(kx1) &＃61; ky1

&＃xff08;2&＃xff09;常见的激活函数

&＃xff08;3&＃xff09;激活函数的作用

1. 增加模型的非线性分割能力
2. 提高模型的鲁棒性&＃xff08;稳健性&＃xff09;&＃xff0c;为了更好地拟合数据
3. 缓解梯度消失问题
4. 加速模型收敛问题&＃xff0c;也即让模型训练快一些