人工智能tensorflow框架Softmax回归模型的理论理解07

1.    理解

　　1.1 MNIST的每一张image图都对应一个label标签数字&＃xff0c;从0到9。而softmax模型就是得到给定image图片代表每个数字的概率。　　

　　1.2 举例&＃xff1a;假设一个label标签数字9对应的image图片通过softmax模型计算出该图片代表数字9的概率是80%&＃xff0c;代表数字8的概率是5%&＃xff08;因为8和9都有上半部分的小圆&＃xff09;&＃xff0c;然后给予代表其他数字的概率更小的值。

　　1.3 softmax原理&＃xff1a;下面的图片显示一个模型学习到的图片上每个像素对于特定数字标签的权值。红色代表负数权值&＃xff0c;蓝色代表正数权值。

　　     为了获取某张图片对应特定数字的依据&＃xff0c;我们对该图片像素进行加权求和。例如MNIST的一张图片有28*28&＃61;784个像素&＃xff0c;如果其中某个像素具有很强的依据说明这张图不属于该图对应的特定数字&＃xff0c;那么该像素的权值为负数&＃xff08;图中红色&＃xff09;&＃xff0c;相反如果该像素有很强的依据说明这张图属于对应特定数字&＃xff0c;那么该像素的权值为正数&＃xff08;蓝色&＃xff09;。

　　1.4 对于给定的输入图片x所代表的数字i 的“依据”的公式&＃xff1a;

　　      公式说明&＃xff1a;  为标签特定数字 i 对应的图片的"依据"。

                                   为标签特定数字 i 对应的图片中所有像素的权值之和。

　　　　　　　　　　为代表数字i的额外的偏置量&＃xff08;bias&＃xff09;&＃xff0c;用来消除因为输入时带入的无关的干扰量的影响。

　　1.5 用softmax函数可以把"依据”转换成概率y的公式&＃xff1a;

　　      公式说明&＃xff1a;  softmax函数可以看成是一个链接&＃xff08;link&＃xff09;函数&＃xff0c;把我们定义的线性函数的输出"依据"转换成我们想要的格式&＃xff0c;也就是关于10个数字的概率分布。

　　　　                  即给定一张图片&＃xff0c;它对于每一个数字的吻合度可以被softmax函数转换成一个概率值。

 　　1.6 softmax函数对于图片x可以定义为&＃xff1a;&＃xff08;是对于每一个数字吻合度的概率分布&＃xff09;

　　1.7 softmax回归模型也可以使用下面的图来解释&＃xff1a;

　　       如果把它写成一个等式&＃xff0c;可以得到&＃xff1a;

　　　　 我们也可以用向量表示这个计算过程&＃xff1a;用矩阵乘法和向量相加。

　　　　更进一步&＃xff0c;可以写成如下公式&＃xff1a;