常用的激活函数总结(Sigmoid函数、Tanh函数、ReLu函数、Softmax函数)

本篇博客主要介绍一下在神经网络中常用的激活函数：主要有以下四类，Sigmoid函数、Tanh函数、ReLu函数和Softmax函数。

下面依次介绍：
1.Sogmoid函数 (Logistic 函数)
公式： f(z)=11+e−z
将实数映射到(0,1),可用来二分类

缺点: 激活函数计算量大
反向传播时，容易出现梯度消失的情况。

2.Tanh函数 (双曲正切函数)
公式： f(z)=tanh(z)=ez−e−zez+e−z
将实数映射到[-1,1]
双曲正切函数在特征明显的时候效果会更好。

3.ReLu函数
公式： ϕ(x)=max(0,x)
优点：收敛速度快
缺点：训练时候很“脆弱”，很容易“die”

4.softmax函数 ,用于多分类问题
公式： σ(z)j=ezj∑ki=1ezi
输出每类可能出现的概率大小，和为1