用tensorflow2神经网络拟合二维函数曲面4/(3*x)+1/y

我们采用神经网络拟合43x1&＃43;1x2我们采用神经网络拟合\space\space\frac4{3x_1}&＃43;\frac1{x_2} 我们采用神经网络拟合  3x1​4​&＃43;x2​1​
实验记录&＃xff1a;
无论改变网络层数&＃xff0c;还是改变网络的激活函数&＃xff0c;当随机取点的范围由0.1-0.5变为0.001到0.5时&＃xff0c;误差总会迅速增大&＃xff0c;直到0-0.5时彻底跑飞。
原因很明显&＃xff0c;函数在x1,x2趋近0时值会变成无穷大&＃xff0c;那么怎么解决这一问题呢&＃xff1f;
答案非常简单&＃xff0c;替换损失函数——由mse换为msle.
整体的代码可以参考我的github项目。
在进一步的实验又发现了许多有趣的现象&＃xff0c;记录如下&＃xff1a;
1.使用shuffle之后&＃xff0c;训练效果变差&＃xff0c;卡在8.多左右&＃xff1b;
2.将第二个隐藏层的参数由2xsize变为3xsize之后&＃xff0c;效果也变差了&＃xff0c;也是误差下不去&＃xff1b;
以上两点都是在换成msle后出现的问题。
此外&＃xff0c;msle在拟合平面上效果也不错。&＃xff08;val集误差仅10-3量级&＃xff09;
至于优化算法&＃xff1a;至少在目前这两个网络结构上&＃xff0c;sgd和adam的表现差不多&＃xff1a;

(sgd)loss: 0.3602 - mean_squared_logarithmic_error: 0.3602 - val_loss: 0.5258 - val_mean_squared_logarithmic_error: 0.5258


(adam)loss: 0.3477 - mean_squared_logarithmic_error: 0.3477 - val_loss: 0.5307 - val_mean_squared_logarithmic_error: 0.5307


但是&＃xff0c;当sgd&＃43;将第二个隐藏层的参数由2xsize变为3xsize时(以下简称为“宽”()(9)&＃xff0c;效果竟然变的相当好&＃xff0c;这一下子网络变宽的性能竟然体现出来了&＃xff08;后来重新实验发现这种现象消失了&＃xff01;&＃xff01;&＃xff01;why?&＃xff09;&＃xff1a;

3125/3125 [&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;] - 1s 466us/step - loss: 0.2471 - mean_squared_logarithmic_error: 0.2471 - val_loss: 0.2247 - val_mean_squared_logarithmic_error: 0.2247


我尝试加深一层网络&＃xff0c;使用sgd和adam却都让网络变得很糟糕&＃xff0c;几乎没能拟合到什么东西&＃xff08;误差8.多下不去&＃xff0c;直接预测成平面&＃xff09;
尝试新的loss函数logcosh&＃xff1a;
我尝试了logcosh&＃43;sgd或adam在窄网络上&＃xff0c;logcosh&＃43;sgd在宽网络上&＃xff0c;结果都差不多&＃xff1a;误差一开始从80左右能降到40但之后就不行了&＃xff0c;观察图像&＃xff0c;发现他其实也差不多是平的&＃xff0c;但是好歹平移了一下:

总结&＃xff1a;下一步工作设计一个多层for循环自动调参&＃xff0c;使我看得更清楚。

为了解决当务之急&＃xff0c;我缩小了训练区域&＃xff0c;企图通过在小区域内密集训练实现更好的拟合效果&＃xff0c;但是效果仍不很明显&＃xff1a;

train0-0.3 test0-1 1331.

种群信息导出完毕。
评价次数:25000
时间已过 1.6455268859863281 秒
最优的目标函数值为:8.9836
最优的控制变量值为:
0.10010000000000001
0.4438835845159062


总会有一个差值。。。不知道怎么来的&＃xff0c;真实解是0.24-0.24

shuffle&＃61;True&＃43;1331&＃43;adam(sgd根本下不去&＃xff0c;这是强行下去了&＃xff0c;直接压成两个平面&＃xff0c;我服了这个网络的想法)&＃xff1a;
拟合平面时不使用&＃xff08;或少使用&＃xff09;relu效果更好
&＃xff1b;
有时候就是运气不好&＃xff0c;优化算法没有奏效&＃xff0c;loss下不去&＃xff0c;拟合平面时用adam&＃43;msle尤为如此&＃xff1b;改为sgd&＃43;mse似乎更好一些