已经看到的有20多种激励函数,继续研究下去有必要吗?
我来提出另一个激励函数:
f(x)=ax3+bx2+cx+d
这个函数的特点是,存在待定参数,把这些参数同那些w,b一起训练,结果会如何?
已知的网络模型,都是所有神经元使用相同的激励函数,本文尝试让它们使用不同的。
选择三次方程是因为,它会拐三个弯,在某个区间,看上去像ReLU。当然,这需要正确地配置参数,只能寄希望于梯度下降法了。
哪位高手能试一试,试过之后给我留言吧。
教材上写到,激励函数的作用是“压缩”,典型的sigmoid正是如此。对sigmoid进行变形,沿x轴拉伸,直到拉成直线。此时的函数图形应该是y=kx+0.5,对于y∈(0,1),求出x∈(-n,+n)。
例如,y=0.0035x+0.5,解出n=142,对于有142个输入的神经元,这个激励函数正好。
例如,n=729,解出y=0.000686x+0.5
对于不同的神经元,采用不同的激励函数。