[人工智能深度学习10]：神经网络基础二元逻辑分类的神经元模型

　1.1 神经元 &＃43; 激活函数模型

　　在本章&＃xff0c;这里的激活函数是sigmoid函数&＃xff0c;在其他场合&＃xff0c;可以使用其他激活函数。

　　1.2 神经元的多输入的几何意义

　　2.1 sigmoid函数的数学表达式

　　2.2 sigmoid函数的几何图形

　　sigmoid是单调变化&＃xff1a;变化后的输出序列的顺序关系与输入序列的顺序关系一致sigmoid是压缩变换&＃xff1a;变化后的空间被压缩到了【0,1】区间其导函数有导数为0的值&＃xff0c;用于loss函数时&＃xff0c;就是loss函数最小值处。

　　2.3 sigmoid函数的几何意义

　　&＃xff08;1&＃xff09;输入值X的作用

　　是【-无穷&＃xff0c; &＃43;无穷数】 值空间的任意值&＃xff0c;它代表了输入数据的一个特征值。

　　&＃xff08;2&＃xff09;神经元WX&＃43;B的作用

　　对输入数据进行线性变换&＃xff1a;即放大或缩小&＃xff08;由w决定&＃xff09;&＃xff0c;或平移&＃xff08;有b决定&＃xff09;线性变化后&＃xff0c;输出数据Ui&＃61;WXi &＃43; Bi依然落在【-无穷&＃xff0c; &＃43;无穷】数值空间中线性变化得到的输出序列Ui&＃xff0c;并没有改变输入数据序列Xi的顺序关系&＃xff0c;即单调性关系。

　　&＃xff08;3&＃xff09;Sigmoid函数作用

　　数据(-无穷&＃xff0c; &＃43;无穷) 的数值空间压缩成了【0,1】的数值空间&＃xff0c;因此是一种压缩变换。压缩后得到的输出序列Yi&＃xff0c;并没有改变输入序列Ui的顺序关系&＃xff0c;即单调性关系。

　　&＃xff08;4&＃xff09;总体变化的作用

　　输入序列Xi经过神经元线性变化和sigmoid的压缩变换&＃xff0c;由【-无穷&＃xff0c; &＃43;无穷】到了【0,1】空间。变化前后&＃xff0c;输出序列与输入序列具有一致的顺序&＃xff08;排序&＃xff09;关系。

　　2.4 sigmod实现二元逻辑分类的思想

　　备注&＃xff1a;

　　二元逻辑分类的样本标签是数值1或0&＃xff0c;而不是任意值。

　　1&＃xff1a;表示是指定的分类类型0&＃xff1a;表示不是指定的分类类型线性神经的输出Z的数值空间为【-无穷&＃xff0c;&＃43;无穷】&＃xff0c;经过sigmoid变换后&＃xff0c;转换成了【0,1】区间。由于sigmoid函数是指数变换&＃xff0c;当Y接近1时&＃xff0c;Z不需要接近&＃43;无穷。当Y接近0时&＃xff0c;Z不需要接近-无穷。sigmoid函数的输出&＃xff0c;反应了对输入数据的预测值越接近于该样本数据的标签编码值1&＃xff0c;表示与样本标签越接近&＃xff0c;相似度越高&＃xff0c;这是sigmoid函数一个及其重要的特性&＃xff0c;因此在二分类&＃xff0c;甚至多分类中得到广泛应用的一个重要的原因。

　　2.5 sigmoid激活函数的缺点

　　&＃xff08;1&＃xff09;激活函数计算量大&＃xff0c;反向传播求误差梯度时&＃xff0c;求导涉及除法。

　　需要大量的指数运算和除法运算&＃xff0c;前向传播的计算量偏大。

　　反向传播求导时&＃xff0c;该函数本身就包含除法&＃xff0c;相比与加法和乘法&＃xff0c;运算量偏大。

　　&＃xff08;2&＃xff09;反向传播时&＃xff0c;很容易就会出现梯度消失的情况&＃xff0c;从而无法完成深层网络的训练。

　　这是有sigmoid函数本身的几何特性所决定的&＃xff0c;如下图所示。

　　sigmoid函数在&＃xff08;0,0.5&＃xff09;点为中心&＃xff0c;在0附件&＃xff0c;无论是上升到1附近的速度或下降为0的速度非常快&＃xff0c;在0出&＃xff0c;斜率最大&＃xff0c;然后快速的下降&＃xff0c;很快斜率就下降为0&＃xff0c;也就是说&＃xff0c;其梯度很快下降为0&＃xff0c;导致在训练深层网络时&＃xff0c;容易出现梯度消失的情形&＃xff0c;无法进行进一步的训练。这是sigmoid函数一个非常大的缺点。

　　————————————————

　　感谢大家的支持和喜欢&＃xff0c;小编会每天分享更多Python学习的干货知识给大家&＃xff0c;所以大家别忘了关注小编哦。

　　版权声明&＃xff1a;本文为CSDN博主「文火冰糖的硅基工坊」的原创文章&＃xff0c;遵循CC 4.0 BY-SA版权协议&＃xff0c;转载请附上原文出处链接及本声明。