TreeLSTMSentimentClassification

实验室周日讨论班讲的是TreeLSTM Sentiment Classification&＃xff0c;主讲人&＃xff1a;王铭涛

本人来做一下总结。

下面的图片来自于 王铭涛的ppt

导读

我们一步一步来。先说最基础的RNN结构&＃xff1a;

公式为&＃xff1a;

就一个简单的隐层h。

但是RNN的缺点是会有梯度爆炸或者梯度消失问题。这里我就不详细解释了。下面推荐阅读有我之前的RNN&＃xff0c;LSTM详细讲解&＃xff0c;想更深一步了解的可以去看看。

因为这个致命的问题&＃xff0c;有人提出了LSTM网络&＃xff0c;改善了RNN的缺点&＃xff0c;我们来回顾下&＃xff1a;

重新添加了输入门i&＃xff0c;输出门o&＃xff0c;遗忘门f和记忆单元C&＃xff0c;外加之前的一个隐层h&＃xff08;此h非RNN的h&＃xff0c;公式可见区别&＃xff0c;但都是隐层&＃xff09;。

这种普通的LSTM都是解决线性问题的。例如常用的应用之句子分类&＃xff1a;

        每个词在随着时间序列的增加而不断地依次进入LSTM网络。

这种方法有明显的局限性&＃xff1a;当前词的输入需要依赖前一步词的输入。但是如果我当前词要进行运算&＃xff0c;而此时前一步词还没有进行计算可怎么办&＃xff1f;比如下面的基于依存树的情感分类。

TreeLSTM

比如&＃xff0c;这是一棵依存树的抽象表达&＃xff08;如果暂时不知道依存树的就把这个当成一棵树&＃xff09;&＃xff1a;

空白方框就LSTM的一个单元。文本序列为x1,x2,x4,x5,x6。&＃xff08;x3ppt中少画了&＃xff0c;谅解&＃xff09;

x是输入的序列&＃xff0c;y是每个x输入后经过LSTM一个时间片段的预测输出。我们可以看出(y5你们能看出是哪个)&＃xff0c;y4的产生依靠于x4的输入&＃xff0c;y5的产生依靠于x5的输入&＃xff0c;y6的产生依靠于x6的输入&＃xff1b;y3产生需要依赖于y4&＃xff0c;y5&＃xff0c;y6的输入&＃xff0c;y2的产生依靠于x2的输入&＃xff1b;y1的产生依靠于y2,x1,y3的输入。这个显然就不能用到普通LSTM了。这时候TreeLSTM就登场上了历史舞台&＃xff0c;开始绽放放光彩&＃xff01;

既然TreeLSTM和普通LSTM不一样了&＃xff0c;那么咱们怎么计算他们呢&＃xff1f;

虽说不一样&＃xff0c;其实也是有相同的地方。比如普通LSTM当前时间段需要的输入是在执行在本时间段以前就产生了。这样就能一个接一个的运行下去。

TreeLSTM也一样&＃xff0c;我们看图&＃xff1a;

我们先找y2,y4,y5,y6的产生依赖于的x2,x4,x5,x6都已经存在&＃xff0c;那么我们就能通过x2,x4,x5,x6分别过自己的隐层&＃xff0c;得到对应的y2,y4,y5,y6&＃xff1b;类似的&＃xff0c;y2,y3也能相继产生&＃xff1b;接着最终的y1也产生了。

计算逻辑

那这样的到底怎么个呢&＃xff1f;暂时我知道的有两种方法

前提&＃xff1a;

       如果当前节点的孩子节点有了值&＃xff08;就是有了y&＃xff09;&＃xff0c;那么我们就将该孩子节点与当前节点的度去掉。

方法一&＃xff1a;

       当前节点入度为0的时候&＃xff0c;也就是计算它的所有准备条件都有了的时候&＃xff0c;就能对它进行计算了。

所以&＃xff0c;这个方法总结就是入度为0的节点都可以计算&＃xff0c;然后更新每个节点的入度&＃xff0c;再重复该操作。

方法二&＃xff1a;

       层次遍历。最下面的从最下面的开始计算&＃xff0c;最下面的肯定是可以直接计算的。然后刷新&＃xff0c;再计算。

这两种方法在自己以后优化batch的时候很有用的。

具体TreeLSTM计算分析

我们找具体找一个分析&＃xff1a;

y1的产生依靠于y2,x1,y3的输入。那具体怎么计算的呢&＃xff1f;

这里有张计算图&＃xff0c;请看&＃xff1a;

其中h为LSTM的隐层&＃xff0c;c为LSTM的记忆单元。

公式为&＃xff08;在普通LSTM上稍微修改了下&＃xff09;&＃xff1a;

根据公式&＃xff0c;我们来梳理下上面计算图&＃xff1a;

h2,h3求和再与x1进行

得到u1。

c2,f2与c3,f3分别按位相乘再求和&＃xff0c;再加上u1&＃xff0c;i1按位相乘&＃xff0c;最后两个和相加即可&＃xff0c;得到c1。&＃xff08;i1怎么算&＃xff0c;公式里有。&＃xff09;

最后通过该公式

得到隐层h1。

计算loss

每个隐层y都要经过一个线性层&＃xff0c;映射到具体的类别上&＃xff0c;就是每个x对应一个类别&＃xff0c;公式为&＃xff1a;

最终的损失函数为&＃xff1a;

这个损失函数用的是交叉熵&＃xff0c;最后是一个正则化。我之前也讲过&＃xff0c;想了解可以查阅前面的文章。

更多精彩内容&＃xff0c;请关注 深度学习自然语言处理 公众号&＃xff0c;就是下方啦&＃xff01;跟随小博主&＃xff0c;每天进步一丢丢&＃xff01;哈哈&＃xff01;