ANN：DNN结构演进History—LSTM_NN

前言

          语音识别和动作识别（Action、Activities）  等一些时序问题，通过微分方式可以视为模式识别方法中的变长模式识别问题。语音识别的基元为音素、音节，字母和句子模式是在时间轴上的变长序列；Action的基元为Pose，action的识别为pose的时间序列模式。

         我们跟随时间的脚步，试图解释现在、理解过去、甚至预测未来........ 在概率分析的层面，RNN通过循环结构展开处理变长问题，对不同的长度训练不同的概率模型，并以参数的形式存储在网络中，成为天生适合处理时序分析的复杂模型。

多层网络

        一部分最成功的深度学习方法涉及到对人工神经网络的运用。人工神经网络受到了1959年由诺贝尔奖得主大卫·休伯尔（David H. Hubel）和托斯坦·威泽尔（Torsten Wiesel）提出的理论启发。休伯尔和威泽尔发现，在大脑的初级视觉皮层中存在两种细胞：简单细胞和复杂细胞，这两种细胞承担不同层次的视觉感知功能。受此启发，许多神经网络模型也被设计为不同节点之间的分层模型^[12]。

        福岛邦彦提出的新认知机引入了使用无监督学习训练的卷积神经网络。燕乐存将有监督的反向传播算法应用于这一架构^[13]。事实上，从反向传播算法自20世纪70年代提出以来，不少研究者都曾试图将其应用于训练有监督的深度神经网络，但最初的尝试大都失败。赛普·霍克赖特（Sepp Hochreiter）在其博士论文中将失败的原因归结为梯度消失，这一现象同时在深度前馈神经网络和递归神经网络中出现，后者的训练过程类似深度网络。在分层训练的过程中，本应用于修正模型参数的误差随着层数的增加指数递减，这导致了模型训练的效率低下^[14][15]。

        赛普·霍克赖特和于尔根·施密德胡伯提出的长短期记忆神经网络（long short term memory，LSTM）^[16]。2009年，在ICDAR 2009举办的连笔手写识别竞赛中，在没有任何先验知识的情况下，深度多维长短期记忆神经网络取得了其中三场比赛的胜利^[17][18]。

        斯文·贝克提出了在训练时只依赖梯度符号的神经抽象金字塔模型，用以解决图像重建和人脸定位的问题^[19]。

        参考文章：DNN结构演进之RNN   ，作为预备材料。   

摘要  

       RNN通过引入神经元定向循环用于处理边变长问题，由此被称为递归网络；       再通过其他神经元（如果有自我连接则包括自身）的输入和当前值的输入，进行加权求和（logit）之后重新计算出新的行为，保存之前记忆。     通过时间轴展开成类似于FNN的新构架，因此可以使用BP算法进行网络训练；       而根据时间展开长序列会产生极深FNN，容易产生梯度的消失与爆炸问题，因此引入了LSTM-长短期记忆，保持一个常数误差流，以此保证梯度的不会爆炸消失；       用于恒稳误差，通常使用一个门单元进行误差流控制。...

        最初的RNN并没有从反传函数的角度去考虑梯度消失问题，而是从结构上引入“直连”结构，冀希望于此从概率分析的角度来缓冲深度网络的参数反传的“消失”和“爆炸”问题。

LSTM网络

       BPTT很好理解，说是RNN，其实可以理解为每层权重相同的 feed forward BP，每层都用时间点上的label来训练，每层的误差都反传，这样就还原为了标准BP网络
       

        然后就会面临BP网络的经典问题，即Exponential Error Decay，误差传4层就传没了（这是普遍的深度网络的梯度消失问题）！这个东西的具体解释见 Hochreiter,Bengio, Frasconi,(2001) Gradient flow in recurrent nets: The difficulty of learning long-term dependencies 。

        链接：http://citeseerx.ist.psu.edu/viewdoc/download;jsessiOnid=3D5F45337EDCE4B9A70877162000D39F?doi=10.1.1.24.7321&rep=rep1&type=pdf

                        

        为了解决这个问题而发明了LSTM，目的是为了将这些反传的误差保存起来（ 类似于隔层网络直连，用于传递常数误差 ），它纯粹是为了解决BPTT中的 Exponential Error Decay 的问题，也能同时降低梯度爆炸的风险。

      （摘自wikipedia：however, when error values are back-propagated from the output, the error becomes trapped in the memory portion of the block. This is referred to as an "error carousel", which continuously feeds error back to each of the gates until they become trained to cut off the value. Thus, regular backpropagation is effective at training an LSTM block to remember values for very long durations.）   

 感觉即是专门嫁接在BPTT网络中的用来存储长程（lag）误差的，由神经网络控制的存储设备.........（存储直连误差）..........

     

       一大堆LSTM可以共用一些 IN/OUT Gate

       

一个简单的例子

梯度爆炸/消失问题

      文章的第三部分简单分析了BPTT的梯度消失问题，具体细节要看他们之前的文章

      公式(1)的意思是，在时间t上的神经元u的误差，反传到时间t-q的神经元v上衰减了多少

      公式(2)是通式

从后面的分析可以看出，

      当这一坨大于1.0的时候，误差会随传播深度指数爆炸，导致神经网络权重震荡而无法收敛：

  and

     而当这一坨小于1.0的时候，误差会指数衰减，导致神经网络参数反传更新极慢：

  and

后面更细节的分析我就不看了，其实了解到这里已经够了。以上是对BPTT的分析。

———...................———我是华丽的————.................————分割线————..................————

constant error flow

以下是LSTM的解决策略，使这一坨全都固定在1，这样就会出现一个constant error flow，作者称为“90年代最伟大的发现”

and

积分得到这个：

and

因此输入输出函数必须是：f(x)=x。

虽然自己对自己的权重被封死了，但这样误差就能穿越时空往回传了，并且增加了IN和OUT两个网络来控制。
完毕..............
仅看LSTM的实施步骤是超级简单的，这些数学推倒只是告诉我们为什么要这样做......................