作者：kkkkkkkkkkkk1982_799 | 来源：互联网 | 2023-10-12 18:51
文章目录
- 感知机（Perceptron）
- 神经网络（Neural Network）
- 附录
- 神经网络代码
- 感知机结构图代码
- 神经网络结构图代码
- 矩阵求导公式
感知机（Perceptron）
一种简单的感知机结构如下图所示，由三个输入节点和一个输出节点构成，三个输入节点x1，x2，x3分别代表一个输入样本x的三个特征值；w1，w2，w3分别代表三个特征值对应的权重；b为偏置项；输出节点中的z和o分别代表线性变换后的输出值和非线性变换后的输出值。
{z=x1∗w1+x2∗w3+x3∗w3+bo=f(z)(1)
其中映射函数f为激活函数，下面列几个常见的激活函数：
| 函数名 |
函数表达式 |
导数 |
|---|
| sigmoid |
f(z)=1+e−z1 |
f(z)[1−f(z)] |
| tanh |
f(z)=ez+e−zez−e−z |
1−f(z)2 |
| softmax |
f(z)=∑j=0nezjezi |
经常用其构成的
损失函数的导数:
f(zi)−t(i) |
神经网络（Neural Network）
神经网络基本结构
神经网络与感知机类似，但是它的节点更加复杂，下图是一个含有1层隐藏层的神经网络，也是一种最简单的神经网络，我们可以看到这个神经网络的输入层有2个节点，隐藏层有3个节点，输出层有1个节点。我们可以认为神经网络由多个感知机构成。我们以下图所示结构为例，实现一个可以进行数据分类的神经网络。
假设我们有N个样本，对于每一个样本来说，都有两个特征值，对于这样的每一个样本x(x1,x2)都满足公式2，公式中带小括号的上标代表神经网络的层数，wij为相邻两层两个节点之间的权重系数，其中的i代表前一层的第i个节点，j代表后一层的第j个节点。
⎩⎪⎪⎪⎪⎨⎪⎪⎪⎪⎧z1(1)=x1∗w11(1)+x2∗w21(1)+b1(1), h1=f(z1(1))z2(1)=x1∗w22(1)+x2∗w22(1)+b2(1), h2=f(z2(1))z3(1)=x1∗w13(1)+x2∗w23(1)+b3(1), h3=f(z31)z(2)=h1∗w1(2)+h2∗w2(2)+
京公网安备 11010802041100号