Torch中的RNN【1】这个package包括了RNN&＃xff0c;RL&＃xff0c;通过这个package可以很容易构建RNN&＃xff0c;RL的模型。

安装&＃xff1a;

luarocks install torch
luarocks install nn
luarocks install torchx
luarocks install dataload如果有CUDA&＃xff1a;
luarocks install cutorch
luarocks install cunn记得安装&＃xff1a;
luarocks install rnn

但是如果要使用nn.Reccurent&＃xff0c;需要安装&＃xff1a;【4】

理论篇

这一次主要是讲最简单的RNN&＃xff0c;也就是Simple RNN。实现的话是根据这两篇论文&＃xff1a;【6】&＃xff0c;【7】

首先介绍一下Simple RNN的整个网络结构&＃xff0c;再说一下ρ step 的BPTT。

整个网络可以用下图来表示&＃xff1a;&＃xff08;这种网络的输入一部分是当前的输入&＃xff0c;另外一部分来自于hidden layer的上一个输出&＃xff0c;这种叫做Elman Network。另外一种网络是一部分来自于当前输入&＃xff0c;另外一部分来自于整个网络的上一个输出&＃xff09;

• 当前输入wt与上一个hidden layer的输出st−1两个vector相加&＃xff0c;得到真正输入到网络里面的东西。
  
• 接着是把输入送进一个logistic regression里面&＃xff0c;得到hidden layer&＃xff1a;st. st 一方面往输出那条路径走&＃xff0c;另外一方面往缓存或者叫做Context里面存起来&＃xff0c;称为下一个输入需要的一部分&＃xff0c;替换st−1。
  
  
• 由st输出该时刻的output&＃xff1a; yt 一个Linear加上softmax&＃xff0c;非常简单。
  
  

这样呢就把整个网络结构描述完了&＃xff0c;接下来就是如何训练得到参数了。&＃xff08;其实RNN&＃xff0c;LSTM还有很多小的trick&＃xff0c;同样的算法&＃xff0c;trick不一样&＃xff0c;结果都会千差万别&＃xff09;

在另外的论文里面把这幅图给完整画了出来&＃xff0c;显得更加清晰&＃xff1a;

了解了整个网络的以后&＃xff0c;需要定义loss&＃xff0c;在进行BP的时候&＃xff0c;首先定义loss function&＃xff0c;一般采用的是SSE&＃xff1a;dpk就是第p个sample&＃xff0c;输出的feature第k个的label。y是prediction。

对于w的更新&＃xff0c;都是采用梯度下降&＃xff1a;

对于输出output部分进行求导&＃xff1a;

再进一步输出output的linear regression部分的w进行求导&＃xff1a;

接着是hidden layer进行求导&＃xff1a;

对hidden layer的输入的input部分参数进行求导&＃xff1a;

对hidden layer的上一个hidden layer的作为input的部分进行求导&＃xff1a;

目前的loss为SSE的时候&＃xff0c;一般采用logistic function作为输出的函数&＃xff1a;

当然&＃xff0c;也可以有别的loss function&＃xff0c;对应的output function g也会做乡相应改变。

比如对于Gaussian Distribution&＃xff1a;

使用cross-entropy作为loss&＃xff1a;&＃xff08;g为logistic function&＃xff09;

对于分类问题&＃xff0c;采用multinomial dostribution&＃xff1a;
采用的是softmax作为g&＃xff0c;然后loss function为&＃xff1a;

在RNN中经常听到BPTT&＃xff0c;就是让RNN在进行后向传递的时候不仅仅是当前这个时期&＃xff0c;还有的是更多时刻&＃xff1a;τ。

比如τ &＃61; 3&＃xff0c;展开的图如下&＃xff1a;展开了三次&＃xff0c;那么进行BP的时候&＃xff0c;就把各个参数往后相乘来更新w&＃xff0c;这里需要注意vanishing gradient effect和explode gradient effect的东西&＃xff0c;一个梯度衰减比如为0&＃xff0c;一个梯度爆炸。

还有一种图可以表示梯度变化&＃xff0c;红色的表示梯度的方向&＃xff1a;

如果用公式来表示这个整个过程就是前向&＃xff1a;

后向更新梯度&＃xff1a;&＃xff08;每个时刻的梯度都会进行叠加到最后的w更新&＃xff09;

代码篇

这次描述的是Simple RNN&＃xff0c;函数为nn.Recurrent 。在nn中有两个抽象类&＃xff0c;一个是nn&＃xff0c;用来构建网络&＃xff0c;一个是Criterion【3】&＃xff0c;用来提供比如cross entropy&＃xff0c;reward。具体介绍可以看【2】&＃xff0c;还有对应的论文。

在【3】中提出了一个简单的例子&＃xff1a;目前下面的nn.Recurrent已经不在Torch的库中&＃xff0c;所以要使用的话&＃xff0c;就去安装这个人写的【4】

这里面的实现的RNN是最简单的&＃xff0c;连hidden layer都没有&＃xff0c;直接transfer就是输出了。

nn.Recurrent(start, input, feedback, [transfer, rho, merge])
-- start&＃xff1a;对初始t&＃61;0的input进行处理
-- input&＃xff1a;对t~&＃61;0的时候input进行处理
-- feedback&＃xff1a;对s(t)进行处理缓存到了s(t-1)
-- transfer&＃xff1a;对输出进行处理的函数
-- rho&＃xff1a;进行BPTT的steps的数目
-- merge&＃xff1a;对input x(t)和上一个时刻的输出s(t-1)进行融合

-- generate some dummy inputs and gradOutputs sequences
-- 生成dummy input
inputs, gradOutputs &＃61; {}, {}
for step&＃61;1,rho doinputs[step] &＃61; torch.randn(batchSize,inputSize)gradOutputs[step] &＃61; torch.randn(batchSize,inputSize)
end-- 调用RNN
-- an AbstractRecurrent instance
rnn &＃61; nn.Recurrent(hiddenSize, -- size of the input layer&＃xff08;隐层的size&＃xff09;nn.Linear(inputSize,outputSize), -- input layer&＃xff08;输入层进行linear regression&＃xff09; nn.Linear(outputSize, outputSize), -- recurrent layer 输出层的linear regressionnn.Sigmoid(), -- transfer function&＃xff0c;把输入通过linear regression之后的结果送到这个函数得到s(t)&＃xff0c;这个函数也可以改成ReLU别的激活函数rho -- maximum number of time-steps for BPTT&＃xff0c;进行BPTT时候的steps
)-- feed-forward and backpropagate through time like this :
for step&＃61;1,rho
dornn:forward(inputs[step])rnn:backward(inputs[step], gradOutputs[step])
endrnn:backwardThroughTime() -- call backward on the internal modules
gradInputs &＃61; rnn.gradInputs
rnn:updateParameters(0.1)
rnn:forget() -- resets the time-step counter

对完整的nn.Reccurent的理解&＃xff1a;【10】

assert(not nn.Recurrent, "update nnx package : luarocks install nnx")
local Recurrent, parent &＃61; torch.class(&＃39;nn.Recurrent&＃39;, &＃39;nn.AbstractRecurrent&＃39;)-- 把各个module放到RNN的对应位置
-- start是对最开始t&＃61;0输入inut做的处理
-- input是对t~&＃61;0的时刻进行input的处理
-- feedback是对s(t)进行处理缓存到s(t-1)的函数
-- transfer是对最后的输出的activation function
-- rho&＃xff1a;是进行BPTT的时间
-- merge&＃xff1a;对于输入x(t)和上一个时刻的hidden layer的输出s(t-1)的融合方法
function Recurrent:__init(start, input, feedback, transfer, rho, merge)parent.__init(self, rho)local ts &＃61; torch.type(start)if ts &＃61;&＃61; &＃39;torch.LongStorage&＃39; or ts &＃61;&＃61; &＃39;number&＃39; thenstart &＃61; nn.Add(start)elseif ts &＃61;&＃61; &＃39;table&＃39; thenstart &＃61; nn.Add(torch.LongStorage(start))elseif not torch.isTypeOf(start, &＃39;nn.Module&＃39;) thenerror"Recurrent : expecting arg 1 of type nn.Module, torch.LongStorage, number or table"endself.startModule &＃61; startself.inputModule &＃61; inputself.feedbackModule &＃61; feedbackself.transferModule &＃61; transfer or nn.Sigmoid()self.mergeModule &＃61; merge or nn.CAddTable()self.modules &＃61; {self.startModule, self.inputModule, self.feedbackModule, self.transferModule, self.mergeModule}self:buildInitialModule()self:buildRecurrentModule()self.sharedClones[2] &＃61; self.recurrentModule
end-- 对最开始t&＃61;0的时候构建模型
-- build module used for the first step (steps &＃61;&＃61; 1)
function Recurrent:buildInitialModule()self.initialModule &＃61; nn.Sequential()self.initialModule:add(self.inputModule:sharedClone())self.initialModule:add(self.startModule)self.initialModule:add(self.transferModule:sharedClone())
end-- build module used for the other steps (steps > 1)
-- 构建整个模型
function Recurrent:buildRecurrentModule()local parallelModule &＃61; nn.ParallelTable()parallelModule:add(self.inputModule)parallelModule:add(self.feedbackModule)self.recurrentModule &＃61; nn.Sequential()self.recurrentModule:add(parallelModule)self.recurrentModule:add(self.mergeModule)self.recurrentModule:add(self.transferModule)
end-- 更新输出
function Recurrent:updateOutput(input)-- output(t) &＃61; transfer(feedback(output_(t-1)) &＃43; input(input_(t)))local outputif self.step &＃61;&＃61; 1 thenoutput &＃61; self.initialModule:updateOutput(input)elseif self.train ~&＃61; false then-- set/save the output statesself:recycle()local recurrentModule &＃61; self:getStepModule(self.step)-- self.output is the previous output of this moduleoutput &＃61; recurrentModule:updateOutput{input, self.outputs[self.step-1]}else-- self.output is the previous output of this moduleoutput &＃61; self.recurrentModule:updateOutput{input, self.outputs[self.step-1]}endendself.outputs[self.step] &＃61; outputself.output &＃61; outputself.step &＃61; self.step &＃43; 1self.gradPrevOutput &＃61; nilself.updateGradInputStep &＃61; nilself.accGradParametersStep &＃61; nilreturn self.output
end-- 求解梯度&＃xff0c;没有累加
function Recurrent:_updateGradInput(input, gradOutput)assert(self.step > 1, "expecting at least one updateOutput")local step &＃61; self.updateGradInputStep - 1local gradInputif self.gradPrevOutput thenself._gradOutputs[step] &＃61; nn.rnn.recursiveCopy(self._gradOutputs[step], self.gradPrevOutput)nn.rnn.recursiveAdd(self._gradOutputs[step], gradOutput)gradOutput &＃61; self._gradOutputs[step]endlocal output &＃61; self.outputs[step-1]if step > 1 thenlocal recurrentModule &＃61; self:getStepModule(step)gradInput, self.gradPrevOutput &＃61; unpack(recurrentModule:updateGradInput({input, output}, gradOutput))elseif step &＃61;&＃61; 1 thengradInput &＃61; self.initialModule:updateGradInput(input, gradOutput)elseerror"non-positive time-step"endreturn gradInput
end-- 求解梯度&＃xff0c;但是会把t steps的梯度相加
function Recurrent:_accGradParameters(input, gradOutput, scale)local step &＃61; self.accGradParametersStep - 1local gradOutput &＃61; (step &＃61;&＃61; self.step-1) and gradOutput or self._gradOutputs[step]local output &＃61; self.outputs[step-1]if step > 1 thenlocal recurrentModule &＃61; self:getStepModule(step)recurrentModule:accGradParameters({input, output}, gradOutput, scale)elseif step &＃61;&＃61; 1 thenself.initialModule:accGradParameters(input, gradOutput, scale)elseerror"non-positive time-step"end
endfunction Recurrent:recycle()return parent.recycle(self, 1)
endfunction Recurrent:forget()return parent.forget(self, 1)
endfunction Recurrent:includingSharedClones(f)local modules &＃61; self.modulesself.modules &＃61; {}local sharedClones &＃61; self.sharedClonesself.sharedClones &＃61; nillocal initModule &＃61; self.initialModuleself.initialModule &＃61; nilfor i,modules in ipairs{modules, sharedClones, {initModule}} dofor j, module in pairs(modules) dotable.insert(self.modules, module)endendlocal r &＃61; f()self.modules &＃61; modulesself.sharedClones &＃61; sharedClonesself.initialModule &＃61; initModulereturn r
endfunction Recurrent:reinforce(reward)if torch.type(reward) &＃61;&＃61; &＃39;table&＃39; then-- multiple rewards, one per time-steplocal rewards &＃61; rewardfor step, reward in ipairs(rewards) doif step &＃61;&＃61; 1 thenself.initialModule:reinforce(reward)elselocal sm &＃61; self:getStepModule(step)sm:reinforce(reward)endendelse-- one reward broadcast to all time-stepsreturn self:includingSharedClones(function()return parent.reinforce(self, reward)end)end
endfunction Recurrent:maskZero()error("Recurrent doesn&＃39;t support maskZero as it uses a different ".."module for the first time-step. Use nn.Recurrence instead.")
endfunction Recurrent:trimZero()error("Recurrent doesn&＃39;t support trimZero as it uses a different ".."module for the first time-step. Use nn.Recurrence instead.")
end-- 把模型打印出来
-- 比如我调用的是&＃xff1a;
-- nn.Recurrent(256, nn.Identity(), nn.Linear(256, 256), nn[&＃39;ReLU&＃39;](), 99999)
-- [[[
{input(t), output(t-1)} -> (1) -> (2) -> (3) -> output(t)](1): {input(t)|&＃96;-> (t&＃61;&＃61;0): nn.Add|&＃96;-> (t~&＃61;0): nn.Identityoutput(t-1)|&＃96;-> nn.Linear(256 -> 256)}(2): nn.CAddTable(3): nn.ReLU}
---]]
function Recurrent:__tostring__()local tab &＃61; &＃39; &＃39;local line &＃61; &＃39;\n&＃39;local next &＃61; &＃39; -> &＃39;local str &＃61; torch.type(self)str &＃61; str .. &＃39; {&＃39; .. line .. tab .. &＃39;[{input(t), output(t-1)}&＃39;for i&＃61;1,3 dostr &＃61; str .. next .. &＃39;(&＃39; .. i .. &＃39;)&＃39;endstr &＃61; str .. next .. &＃39;output(t)]&＃39;local tab &＃61; &＃39; &＃39;local line &＃61; &＃39;\n &＃39;local next &＃61; &＃39; |&＃96;-> &＃39;local ext &＃61; &＃39; | &＃39;local last &＃61; &＃39; ... -> &＃39;str &＃61; str .. line .. &＃39;(1): &＃39; .. &＃39; {&＃39; .. line .. tab .. &＃39;input(t)&＃39;str &＃61; str .. line .. tab .. next .. &＃39;(t&＃61;&＃61;0): &＃39; .. tostring(self.startModule):gsub(&＃39;\n&＃39;, &＃39;\n&＃39; .. tab .. ext)str &＃61; str .. line .. tab .. next .. &＃39;(t~&＃61;0): &＃39; .. tostring(self.inputModule):gsub(&＃39;\n&＃39;, &＃39;\n&＃39; .. tab .. ext)str &＃61; str .. line .. tab .. &＃39;output(t-1)&＃39;str &＃61; str .. line .. tab .. next .. tostring(self.feedbackModule):gsub(&＃39;\n&＃39;, line .. tab .. ext)str &＃61; str .. line .. "}"local tab &＃61; &＃39; &＃39;local line &＃61; &＃39;\n&＃39;local next &＃61; &＃39; -> &＃39;str &＃61; str .. line .. tab .. &＃39;(&＃39; .. 2 .. &＃39;): &＃39; .. tostring(self.mergeModule):gsub(line, line .. tab)str &＃61; str .. line .. tab .. &＃39;(&＃39; .. 3 .. &＃39;): &＃39; .. tostring(self.transferModule):gsub(line, line .. tab)str &＃61; str .. line .. &＃39;}&＃39;return str
end

转载请注明出处&＃xff1a; http://blog.csdn.net/c602273091/article/details/78975636

参考链接&＃xff1a;
【1】RNN地址&＃xff1a; https://github.com/torch/rnn
【2】nn Package&＃xff1a; https://arxiv.org/pdf/1511.07889.pdf
【3】RNN Code&＃xff1a; https://github.com/torch/rnn/blob/master/doc/recurrent.md#rnn.Recurrence
【4】nn.Reccurent: https://github.com/Element-Research/rnn/blob/master/Recurrent.lua
【5】nn RNN&＃xff1a; https://github.com/Element-Research/rnn
【6】Recurrent neural network based language model&＃xff1a; http://www.fit.vutbr.cz/research/groups/speech/publi/2010/mikolov_interspeech2010_IS100722.pdf
【7】 A guide to recurrent neural networks and backpropagation&＃xff1a; http://citeseerx.ist.psu.edu/viewdoc/download;jsessionid&＃61;CDD081815C5FAC4835EF27B81EEA5F8C?doi&＃61;10.1.1.3.9311&rep&＃61;rep1&type&＃61;pdf
【8】STATISTICAL LANGUAGE MODELS BASED ON NEURAL NETWORKS&＃xff1a; &＃xff08;3.2~3.3&＃xff09;http://www.fit.vutbr.cz/%7Eimikolov/rnnlm/thesis.pdf
【9】TRAINING RECURRENT NEURAL NETWORKS&＃xff1a;&＃xff08;2.5~2.8&＃xff09; http://www.cs.utoronto.ca/%7Eilya/pubs/ilya_sutskever_phd_thesis.pdf
【10】nn.Reccurent: https://github.com/Element-Research/rnn/blob/master/Recurrent.lua