标准的LSTM网络以及公式

LSTM使用一个特殊的存储记忆单元可以改善RNN的梯度消失问题&＃xff0c;因此在许多自然语言处理任务中它比RNN有更好的性能。LSTM单元的基本结构如下图所示。

它由输入门iti_{t}it​&＃xff0c;忘记门ftf_{t}ft​&＃xff0c;输出门oto_{t}ot​&＃xff0c;以及一个记忆单元ctc_{t}ct​组成。

给定一个文本序列x&＃61;{x1,x2,…,xn},xtx&＃61;\left\{x_{1}, x_{2}, \ldots, x_{n}\right\}, x_{t}x&＃61;{x1​,x2​,…,xn​},xt​ 表示当前时间步$t$的输入&＃xff0c;ht−1h_{t-1}ht−1​表示上一步LSTM的输出。

LSTM通过门更新记忆单元状态&＃xff0c;添加或删除信息以保留与任务相关的内容。 iti_{t}it​乘以候选值utu_{t}ut​决定了添加到记忆单元的新的输入信息。ftf_{t}ft​ 乘以ht−1h_{t-1}ht−1​ 决定从记忆单元状态中移除的已有信息。输出门oto_{t}ot​决定从记忆单元状态最终的输出信息。

输入门:
it&＃61;σ(W(i)xt&＃43;U(i)ht−1&＃43;b(i))i_{t}&＃61;\sigma\left(W^{(i)} x_{t}&＃43;U^{(i)} h_{t-1}&＃43;b^{(i)}\right)it​&＃61;σ(W(i)xt​&＃43;U(i)ht−1​&＃43;b(i))
忘记门:
ft&＃61;σ(W(f)xt&＃43;U(f)ht−1&＃43;b(f))f_{t}&＃61;\sigma\left(W^{(f)} x_{t}&＃43;U^{(f)} h_{t-1}&＃43;b^{(f)}\right)ft​&＃61;σ(W(f)xt​&＃43;U(f)ht−1​&＃43;b(f))
输出门:
ot&＃61;σ(W(o)xt&＃43;U(o)ht−1&＃43;b(o))o_{t}&＃61;\sigma\left(W^{(o)} x_{t}&＃43;U^{(o)} h_{t-1}&＃43;b^{(o)}\right)ot​&＃61;σ(W(o)xt​&＃43;U(o)ht−1​&＃43;b(o))

记忆单元候选值&＃xff1a;
ut&＃61;tanh⁡(W(u)xt&＃43;U(u)ht−1&＃43;b(u))u_{t}&＃61;\tanh \left(W^{(u)} x_{t}&＃43;U^{(u)} h_{t-1}&＃43;b^{(u)}\right)ut​&＃61;tanh(W(u)xt​&＃43;U(u)ht−1​&＃43;b(u))
记忆单元状态更新:
ct&＃61;it⊙ut&＃43;ft⊙ct−1c_{t}&＃61;i_{t} \odot u_{t}&＃43;f_{t} \odot c_{t-1}ct​&＃61;it​⊙ut​&＃43;ft​⊙ct−1​
输出:
ht&＃61;ot⊙tanh⁡(ct)h_{t}&＃61;o_{t} \odot \tanh \left(c_{t}\right)ht​&＃61;ot​⊙tanh(ct​)