ConvolutionalNeuralNetworksforSentenceClassification(卷积神经网络用于句子分类)

论文:Convolutional Neural Networks for Sentence Classification

代码:https://github.com/dennybritz/cnn-text-classification-tf

模型结构图：

模型思路：

• 令$x_i\in R^k$xi​∈Rk表示一个句子的第i个词的词向量；句子长度用n表示，对于长度不是n的进行相应的填充与截断；$x_{i:n}=x_1⊕x_2⊕….⊕x_n$xi:n​=x1​⊕x2​⊕….⊕xn​表示一个句子⊕是串联操作，$x_{i:i+j}$xi:i+j​就是${x_i,x_{i+1},…,x_{i+j}}$xi​,xi+1​,…,xi+j​;
• 卷积操作的过滤器用$w∈R^{hk}$w∈Rhk,它被应用到一个大小为h个词的窗口上产生一个特征$c_i$ci​，例如：$c_i=f(w*x_{i:i+h-1)+b}$ci​=f(w∗xi:i+h−1)+b​其中f是是一个非线性函数，过滤器作用到每个可能的窗口上$(x_{1:h},x_{2:h+1},…,x_{n-h+1:n})$(x1:h​,x2:h+1​,…,xn−h+1:n​)产生特征序列$c=(c_1,c_2,…,c_{n-h+1})$c=(c1​,c2​,…,cn−h+1​)再应用最大池化成到这个序列上：$\hat{c} =max⁡(c)$c^=max⁡(c)它对应于每个特定过滤器，最大池化层也使得模型可以处理变长的句子。
• 模型使用多个不同大小的过滤器来获取多个特征。这些特征组成了倒数第二层，并被传给了最后的全连接的softmax层。

模型的一个变种：

正则化：