如何优雅的拟合非线性曲线

这次真的和阿猪老师学到了&＃xff0c;深度学习降维打击数据拟合竟然是这么的高效&＃xff01;

某天下班&＃xff0c;小洛在微信上忽然呼叫我&＃xff1a;

我一看好家伙&＃xff0c;这不是手到擒来&＃xff1f;这也太简单了&＃xff0c;直接开整&＃xff1a;

一、curve_fit函数拟合

众所周知&＃xff0c;scipy就可以进行曲线拟合&＃xff0c;直接开整&＃xff1a;

输出效果&＃xff1a;

某位同学一头雾水&＃xff1a;我要的是非线性的函数&＃xff0c;为啥出来的是一条直线&＃xff1f;还相差这么远&＃xff1f;

二、这个表达式是合理的吗&＃xff1f;

优化的第一步&＃xff1a;可以看到函数内的-b*(x-a) 首先就可以被简化成bx&＃43;a&＃xff0c;来把参数合并掉(冷知识&＃xff0c;在这里其实无所谓参数的正负号&＃xff0c;优化方法会自动去进行拟合的)

输出&＃xff1a;

这一个简单的改动&＃xff0c;直接让mse从8e-8下降到3e-9,约20倍。

问&＃xff1a;为什么拟合的曲线还是一条直线&＃xff0c;不是小洛同学想要的那条曲线&＃xff1f;

答&＃xff1a;因为curve_fit函数使用最小二乘法对函数进行拟合&＃xff0c;适用的范围仅为使用线性参数组合的非线性函数&＃xff0c;例如&＃xff1a;

其中的a0、a1即为可以拟合的参数&＃xff0c;θ0(x)则是非线性的某些函数&＃xff0c;而小洛给出的sigmoid的函数形式并不是这样&＃xff0c;因此用curve_fit拟合出来的效果并不让人满意。

高中生涯渐渐远去&＃xff0c;相信同学们的数学知识忘得也差不多了&＃xff0c;在这里简单地提一下函数拟合中需要注意的问题&＃xff1a;

1、函数的零点、缩放参数

例如sigmoid的原始形式为&＃xff1a;

在x&＃61;0的时候y取得0.5. 如果想要在x轴上做左右平移&＃xff0c;就需要把x替换成x&＃43;a的形式&＃xff0c;成为&＃xff1a;

而在y轴上做上下平移&＃xff0c;同样地要在y替换成y&＃43;b的形式&＃xff1b;还有横向、纵向的拉伸&＃xff0c;也对应了x需要替换成c*x, y需要替换成d*y 。因为期待被拟合的参数自行决定正负&＃xff0c;所以放分子和分母都没关系&＃xff1b;经过项式调整&＃xff0c;我们形成了最终表达式&＃xff0c;对于原先sigmoid函数而言&＃xff0c;这个格式可以支持平移和缩放的形式&＃xff1a;

我们把原先公式改写为上面的公式套进去&＃xff0c;再用curve_fit优化输出&＃xff1a;

可以看到mse进一步下降到2e-9&＃xff0c;也终于有了一点点的曲线样子&＃xff0c;然鹅还有很大提升空间。

2、函数的定义域

如果所选用的函数对定义域有要求&＃xff0c;比如选用典型的对数函数log(x) &＃xff0c;y&＃61;log(ax&＃43;b)的时候。要复习一下数学知识&＃xff0c;知道对数函数的定义域&＃xff08;也就是此处ax&＃43;b的范围&＃xff09;&＃xff0c;要求是大于0的&＃xff0c;但是我们给出的这个形式并不能保证ax&＃43;b一定大于0&＃xff0c;就会超出计算范围&＃xff0c;各大计算库此时会返回nan&＃xff0c;此时可以在ax&＃43;b外面加一个绝对值。

3、函数的值域

小洛要拟合的sigmoid除了非线性的特点&＃xff0c;还要注意一个问题&＃xff1a;它的值域&＃xff0c;也就是y能够抵达的范围。这里如果我们确定定义域的范围是固定的范围内还好&＃xff0c;就可以把最终拟合的值域全部算出来。原始sigmoid的值域是0~1范围内&＃xff0c;因此就算给y加上了缩放&＃xff0c;最终也只能到达0~c的范围内

在寻常的非线性函数的拟合里&＃xff0c;如果需要继续使用curve_fit&＃xff0c;就需要将其转化为线性的形式&＃xff0c;例如指数函数&＃xff1a;

它的拟合可以取对数&＃xff0c;让其对lny~x的关系进行拟合&＃xff1a;

看来&＃xff0c;curve_fit函数并不能用来很好的拟合sigmoid函数&＃xff0c;即使表达式已经已经优化到最终格式&＃xff0c;拟合出的却还是只有微微的曲线&＃xff0c;并不是sigmoid曲线的样子。要强行用curve_fit的话只能做更复杂的变换去依靠中间表达式去间接拟合。

&＃xff08;那么&＃xff0c;能不能再给力一点&＃xff0c;这个好复杂啊不懂.jpg&＃xff09;

三、非线性函数拟合的通用解决法

当然对于很多同学们来说&＃xff0c;会发现继续用curve_fit函数&＃xff0c;把非线性函数转化为若干参数与函数的乘法逻辑过于复杂&＃xff0c;超出了自己的数学能力&＃xff0c;那能不能有一个更通用、简单的方式去解决呢&＃xff1f;

当然有&＃xff01;

作为一名工作在人工智障领域的算法工程师&＃xff0c;现在的名词“深度学习”正是为了解决超级复杂的非线性问题而产生的&＃xff0c;深度学习的模型正是非线性的典型代表。这个非线性已经叠加到了人类无法用手动去对公式进行优化的复杂度。

非线性导致深度学习在处理深层次的信息上&＃xff0c;性能非常优异&＃xff0c;在图像识别、图文理解这些领域&＃xff0c;都得到了超越人类的特性&＃xff1b;我们现在看到的各种商品、图文、短视频&＃xff0c;最终也是靠深度学习&＃xff0c;计算出这些单品的向量&＃xff0c;再和我们自身的兴趣向量做运算&＃xff0c;影响了搜索、推荐时的排序。

&＃xff08;深度学习.blingbling.jpg&＃xff09;

小洛这次仅仅只要拟合这个sigmoid非线性函数&＃xff0c;但如果下次是其他曲线的函数的话&＃xff0c;就又要经过其他的手工的表达式变化与复杂的构造&＃xff0c;这样不行&＃xff01;

在这里&＃xff0c;我们可以使用深度学习里的优化原理&＃xff0c;找到一个针对非线性模型拟合的通用解决方法&＃xff0c;这里使用torch进行优化。

首先我们对函数进行少量的改动&＃xff0c;其中包含了我们前面说的平移、缩放的内容&＃xff0c;因此带来了4个参数&＃xff1a;

所有深度学习优化的原理都是一样&＃xff0c;其中核心规则很简单&＃xff1a;

1、对计算进行求(偏)导

例如y&＃61;a&＃43;bx 我们要知道每个参数对于最终输入的y产生了多大的作用&＃xff0c;就是求参数a对于y的偏导&＃xff08;理解为此处的a的变化&＃xff0c;会带来多大的y的变化&＃xff09;

2.使用链式法则进行导数的传递

例如复合函数&＃xff1a;

是复合函数&＃xff1a;

的传递&＃xff0c;链式法则告诉我们&＃xff0c;这样的复合函数求导遵循规则&＃xff1a;

参数a对于y的导数&＃xff0c;等于复合函数g对y的导数乘以 a对函数g的导数&＃xff1b;以此类推&＃xff0c;嵌套的复合函数就这样依次传递下来即可&＃xff1b;

3.知道真值和预测值的差异

&＃xff08;小洛此处定义为mse&＃xff09;&＃xff0c;我们平常意义上也即定义为损失。可以由此计算各个参数的导数&＃xff0c;那么参数们沿着最小化损失的方向迈进&＃xff0c;就可以让损失降低。这在深度学习里通过优化器的方式来进行。

这几个规则组合到一起&＃xff0c;也就是传说中的SGD梯度下降法&＃xff1a;

当然实际的算法中使用的是改进的一个优化器Adam&＃xff0c;我们加一点点细节&＃xff0c;写出如下代码&＃xff08;其中用来优化函数参数的代码甚至也就10行&＃xff09;&＃xff1a;

输出效果非常美好&＃xff0c;完美回答了小洛的问题&＃xff1a;

四、为什么效果还差一点&＃xff1f;

虽然目前已经完美的回答了小洛的sigmoid拟合问题。但实际使用上&＃xff0c;可能大家还是会遇到一些不完美的情况。一种情况是前置没有设计好需要拟合的函数&＃xff0c;导致函数的作用域和定义域出现问题&＃xff0c;与实际的数据不匹配&＃xff1b;另一种则是代码中涉及的超参了&＃xff1b;

这里有几个比较魔法的数字&＃xff0c;我们来讲一下这些魔法的原理&＃xff1a;

1、为什么有个bigger参数

因为x和y的范围都很小&＃xff0c;尤其是y&＃xff0c;在0.01范围内&＃xff0c;这个范围假如一个函数的预测始终输出0.012&＃xff0c;最后的mse一平方&＃xff0c;会直接落到1e-7范围以内&＃xff0c;这个数字太小了&＃xff0c;以至于低于了许多计算中eps的范畴&＃xff08;一个例子是为了避免除以0&＃xff0c;除法会成为1/(x&＃43;eps)&＃xff09;&＃xff0c;这会导致函数难以进行有效的优化。

2、Learning rate为什么是0.002

这个叫做学习率的参数&＃xff0c;在实际的应用场景中也需要在一定的范围内进行调整。前面我们说到&＃xff0c;这个是优化器根据参数的梯度&＃xff0c;往前前进的步长&＃xff0c;因此这个步长跟实际的非线性函数的特点相关&＃xff1b;举个例子&＃xff1a;我们知道x^2函数的导数是x&＃xff0c;所以在x&＃61;2处导数是2&＃xff0c;步长决定了我要往最小化损失的地方迈多远&＃xff0c;比如此时如果学习率是2&＃xff0c;下一次我会迈往x&＃61;2-2*2&＃61;-2 的位置&＃xff0c;这样就很难迈向函数的最小值部分了。

3、StepLR起到一个什么作用&＃xff1f;为什么是0.8

一般来说&＃xff0c;优化到了后面&＃xff0c;需要一个更保守的步长&＃xff0c;这个可以通过观察loss的下降情况来进行调整。

比如小洛遇到的另一个案例问题&＃xff1a;&＃xff08;和上面的案例不同&＃xff0c;这次是要拟合log函数曲线&＃xff09;

她这个拟合出来的曲线就不是很棒棒。这个一来可以对上面的超参学习率进行调整。二来还可以调整下公式&＃xff0c;看看是不是在函数本身之外&＃xff0c;再加个线性的部分比如y&＃61;log(ax&＃43;b)&＃43;cx&＃43;d之类的。

聪明的小洛已经很快地学会了&＃xff0c;同学们也都可以一起用起来这个可以适用于任意数据函数拟合的万能方法啦&＃xff01;

End