用随机梯度下降来优化人生

用随机梯度下降来优化人生

>>>>

本文转自知乎

要有目标。你需要有目标。短的也好&＃xff0c;长的也好。认真定下的也好&＃xff0c;别人那里捡的也好。就跟随机梯度下降需要有个目标函数一样。

目标要大。不管是人生目标还是目标函数&＃xff0c;你最好不要知道最后可以走到哪里。如果你知道&＃xff0c;那么你的目标就太简单了&＃xff0c;可能是个凸函数。你可以在一开始的时候给自己一些小目标&＃xff0c;例如期末考个80分&＃xff0c;训练一个线性模型。但接下来得有更大的目标&＃xff0c;财富自由也好&＃xff0c;100亿参数的变形金刚也好&＃xff0c;得足够一颗赛艇。

坚持走。不管你的目标多复杂&＃xff0c;随机梯度下降都是最简单的。每一次你找一个大概还行的方向&＃xff08;梯度&＃xff09;&＃xff0c;然后迈一步&＃xff08;下降&＃xff09;。两个核心要素是方向和步子的长短。但最重要的是你得一直走下去&＃xff0c;能多走几步就多走几步。

痛苦的卷。每一步里你都在试图改变你自己或者你的模型参数。改变带来痛苦。但没有改变就没有进步。你过得很痛苦不代表在朝着目标走&＃xff0c;因为你可能走反了。但过得很舒服那一定在原地踏步。需要时刻跟自己作对。

可以躺平。你用你内心的激情来迈步子。步子太小走不动&＃xff0c;步子太长容易过早消耗掉了激情。周期性的调大调小步长效果挺好。所以你可以时不时休息休息。

四处看看。每一步走的方向是你对世界的认识。如果你探索的世界不怎么变化&＃xff0c;那么要么你的目标太简单&＃xff0c;要么你困在你的舒适区了。随机梯度下降的第一个词是随机&＃xff0c;就是你需要四处走走&＃xff0c;看过很多地方&＃xff0c;做些错误的决定&＃xff0c;这样你可以在前期迈过一些不是很好的舒适区。

快也是慢。你没有必要特意去追求找到最好的方向和最合适的步子。你身边当然会有幸运之子&＃xff0c;他们每一步都在别人前面。但经验告诉我们&＃xff0c;随机梯度下降前期进度太快&＃xff0c;后期可能乏力。就是说你过早的找到一个舒适区&＃xff0c;忘了世界有多大。所以你不要急&＃xff0c;前面徘徊一段时间不是坏事。成名无需太早。

赢在起点。起点当然重要。如果你在终点附近起步&＃xff0c;可以少走很多路。而且终点附近的路都比较平&＃xff0c;走着舒服。当你发现别人不如你的时候&＃xff0c;看看自己站在哪里。可能你就是运气很好&＃xff0c;赢在了起跑线。如果你跟别人在同一起跑线&＃xff0c;不见得你能做更好。

很远也能到达。如果你是在随机起点&＃xff0c;那么做好准备前面的路会非常不平坦。越远离终点&＃xff0c;越人迹罕见。四处都是悬崖。但随机梯度下降告诉我们&＃xff0c;不管起点在哪里&＃xff0c;最后得到的解都差不多。当然这个前提是你得一直按照梯度的方向走下去。如果中间梯度炸掉了&＃xff0c;那么你随机一个起点&＃xff0c;调整步子节奏&＃xff0c;重新来。

独一无二。也许大家有着差不多的目标&＃xff0c;在差不多的时间毕业买房结婚生娃。但每一步里&＃xff0c;每个人内心中看到的世界都不一样&＃xff0c;导致走的路不一样。你如果跑多次随机梯度下降&＃xff0c;在各个时间点的目标函数值可能都差不多&＃xff0c;但每次的参数千差万别。不会有人关心你每次训练出来的模型里面参数具体是什么值&＃xff0c;除了你自己。

简单最好 。当然有比随机梯度下降更复杂的算法。他们想每一步看想更远更准&＃xff0c;想步子迈最大。但如果你的目标很复杂&＃xff0c;简单的随机梯度下降反而效果最好。深度学习里大家都用它。关注当前&＃xff0c;每次抬头瞄一眼世界&＃xff0c;快速做个决定&＃xff0c;然后迈一小步。小步快跑。只要你有目标&＃xff0c;不要停&＃xff0c;就能到达。

—版权声明—

来源&＃xff1a;图灵人工智能&＃xff0c;编辑&＃xff1a;nhyilin

仅用于学术分享&＃xff0c;版权属于原作者。

若有侵权&＃xff0c;请联系微信号:Eternalhui或nhyilin删除或修改&＃xff01;

—THE END—

文章推荐

☞成为年薪50W&＃43;的NLP工程师&＃xff0c;需要哪些技能&＃xff1f;

☞正态分布的前世今生&＃xff08;1&＃xff09;

☞代数发展简史

☞数字被修改了吗&＃xff1f;

☞15 位健在的牛叉程序员&＃xff0c;你知道哪几位&＃xff1f;

☞如何衡量一个算法的快慢