java写奢扣,神经网络算法java实现

神经网络的计算过程

神经网络结构如下图所示&＃xff0c;最左边的是输入层&＃xff0c;最右边的是输出层&＃xff0c;中间是多个隐含层&＃xff0c;隐含层和输出层的每个神经节点&＃xff0c;都是由上一层节点乘以其权重累加得到&＃xff0c;标上“&＃43;1”的圆圈为截距项b&＃xff0c;对输入层外每个节点&＃xff1a;Y&＃61;w0*x0&＃43;w1*x1&＃43;…&＃43;wn*xn&＃43;b&＃xff0c;由此我们可以知道神经网络相当于一个多层逻辑回归的结构。

算法计算过程&＃xff1a;输入层开始&＃xff0c;从左往右计算&＃xff0c;逐层往前直到输出层产生结果。如果结果值和目标值有差距&＃xff0c;再从右往左算&＃xff0c;逐层向后计算每个节点的误差&＃xff0c;并且调整每个节点的所有权重&＃xff0c;反向到达输入层后&＃xff0c;又重新向前计算&＃xff0c;重复迭代以上步骤&＃xff0c;直到所有权重参数收敛到一个合理值。由于计算机程序求解方程参数和数学求法不一样&＃xff0c;一般是先随机选取参数&＃xff0c;然后不断调整参数减少误差直到逼近正确值&＃xff0c;所以大部分的机器学习都是在不断迭代训练&＃xff0c;下面我们从程序上详细看看该过程实现就清楚了。

神经网络的算法程序代码实现

神经网络的算法程序实现分为初始化、向前计算结果&＃xff0c;反向修改权重三个过程。

1. 初始化过程

由于是n层神经网络&＃xff0c;我们用二维数组layer记录节点值&＃xff0c;第一维为层数&＃xff0c;第二维为该层节点位置&＃xff0c;数组的值为节点值&＃xff1b;同样&＃xff0c;节点误差值layerErr也是相似方式记录。用三维数组layer_weight记录各节点权重&＃xff0c;第一维为层数&＃xff0c;第二维为该层节点位置&＃xff0c;第三维为下层节点位置&＃xff0c;数组的值为某节点到达下层某节点的权重值&＃xff0c;初始值为0-1之间的随机数。为了优化收敛速度&＃xff0c;这里采用动量法权值调整&＃xff0c;需要记录上一次权值调整量&＃xff0c;用三维数组layer_weight_delta来记录&＃xff0c;截距项处理&＃xff1a;程序里将截距的值设置为1&＃xff0c;这样只需要计算它的权重就可以了&＃xff0c;

2. 向前计算结果

采用S函数1/(1&＃43;Math.exp(-z))将每个节点的值统一到0-1之间&＃xff0c;再逐层向前计算直到输出层&＃xff0c;对于输出层&＃xff0c;实际上是不需要再用S函数的&＃xff0c;我们这里将输出结果视为0到1之间的概率值&＃xff0c;所以也采用了S函数&＃xff0c;这样也有利于程序实现的统一性。

3. 反向修改权重

神经网络如何计算误差&＃xff0c;一般采用平方型误差函数E&＃xff0c;如下&＃xff1a;

也就是将多个输出项和对应目标值的误差的平方累加起来&＃xff0c;再除以2。实际上逻辑回归的误差函数也是这个&＃xff0c;至于为什么要用这个函数来计算误差&＃xff0c;它从数学上的合理性是什么&＃xff0c;怎么得来的&＃xff0c;这个我建议程序员们不想当数学家的话&＃xff0c;先不去深究了&＃xff0c;现在我们要做的是如何把这个函数E误差取它的最小值&＃xff0c;需要对其进行求导&＃xff0c;如果有些求导数学基础的话&＃xff0c;倒可以尝试去推导下如何从函数E对权重求导得到下面这个公式的&＃xff1a;

不会推导也没有关系&＃xff0c;我们只需要运用结果公式就可以了&＃xff0c;在我们的程序里用layerErr记录了E对权重求导后的最小化误差&＃xff0c;再根据最小化误差去调整权重。

注意这里采用动量法调整&＃xff0c;将上一次调整的经验考虑进来&＃xff0c;避免陷入局部最小值&＃xff0c;下面的k代表迭代次数&＃xff0c;mobp为动量项&＃xff0c;rate为学习步长&＃xff1a;

也有很多使用下面的公式&＃xff0c;效果上的差别不是太大&＃xff1a;

为了提升性能&＃xff0c;注意程序实现是在一个while里面同时计算误差和调整权重&＃xff0c;先将位置定位到倒数第二层(也就是最后一层隐含层)上&＃xff0c;然后逐层反向调整&＃xff0c;根据L&＃43;1层算好的误差来调整L层的权重&＃xff0c;同时计算好L层的误差&＃xff0c;用于下一次循环到L-1层时计算权重&＃xff0c;以此循环下去直到倒数第一层(输入层)结束。

小结

在整个计算过程中&＃xff0c;节点的值是每次计算都在变化的&＃xff0c;不需要保存&＃xff0c;而权重参数和误差参数是需要保存的&＃xff0c;需要为下一次迭代提供支持&＃xff0c;因此&＃xff0c;如果我们构思一个分布式的多机并行计算方案&＃xff0c;就能理解其他框架中为什么会有一个Parameter Server的概念。

多层神经网络完整程序实现