作者:媛涞汝茨 | 来源:互联网 | 2023-01-30 13:03
有人可以向我解释初始化keras lstm层时传递的激活和重复激活参数之间的区别吗?
根据我的理解,LSTM有4层.如果我没有将任何激活参数传递给LSTM构造函数,请解释每个层的默认激活函数是什么?
1> 小智..:
在代码上
1932年起的生产线
i = self.recurrent_activation(z0)
f = self.recurrent_activation(z1)
c = f * c_tm1 + i * self.activation(z2)
o = self.recurrent_activation(z3)
h = o * self.activation(c)
recurrent_activation用于激活输入/忘记/输出门。
如果单元格状态和隐藏状态激活。
2> 小智..:
除了候选隐藏状态(g)和输出隐藏状态(c)之外,LSTM单元还具有称为输入,遗忘和输出门的3个门.
LSTMCell类中的构建方法包含调用这些激活的实现(https://github.com/keras-team/keras/blob/master/keras/layers/recurrent.py#L1892).
该recurrent_activation道理也适用于输入,忘记和output门.此参数的默认值是hard-sigmoid函数.该激活道理也适用于候选隐藏状态和输出隐藏状态.此参数的默认值是双曲正切函数.