我把自己写过的所有激活函数相关的知识都整理到这里吧!
(2)神经网络梯度消失和梯度爆炸及解决办法
该文章详细描述了梯度消失和梯度爆炸出现的原因,以及用改进的激活函数解决梯度消失的问题。并且,详细介绍了多种激活函数的优缺点。
---------------------------------------------------------------------------------------
当然,关于激活函数的内容,我同时也更新在了我的个人微信公众号里面:
(2)神经网络梯度消失和梯度爆炸及解决办法