激活函数介绍

1. Step function

2. Sigmoid

典型的应用是在最后一层进行二分类使用。

3 Tanh Function

通常用于隐层中.

4 ReLU Function

如果在实际应用中不知道该如何选择激活函数，可以使用Relu.

5 Leaky ReLU Function

6 Softmax