【PyTorch】基于自然语言处理和长短期记忆网络的“AI诗人”

长短期记忆网络 (Long Short-Term Memory, LSTM) 是循环神经网络 (Recurrent Neural Network, RNN) 的一种变体。RNN存在梯度消失 (vanishing gradient) 或梯度爆炸 (exploding gradient) 问题&＃xff0c;所以尽管很多问题对RNN是适用的&＃xff0c;但实际上并不能应用于解决这些问题。而LSTM的提出改变了这一情况。
在RNN中&＃xff0c;网络会“记住”一切&＃xff0c;但人类的大脑却并不是这样的。LSTM引入了遗忘门&＃xff0c;随着在输入链中不断深入&＃xff0c;输入链开始的部分会变得不那么重要。单元最后会成为网络层的“记忆”&＃xff0c;而输入门、输出门和遗忘门会确定数据如何经过一个网络层。
这是经典RNN的结构示意图及其结构展开示意图&＃xff1a;


这是LSTM的结构示意图&＃xff1a;

我们应该如何在一个神经网络中表示一个词&＃xff1f;最简单的方法是使用独热编码 (one-hot encoding) 。独热编码会根据词的规模创建一个张量&＃xff0c;对其中的每个词分配一个向量&＃xff0c;每个向量中有一个元素会被设置为1&＃xff0c;其余元素会被设置为0。比如我们有这样一个句子&＃xff1a;I like eating apple.&＃xff0c;则我们可以得到一个单词表["I", "like", "eating", "apple"]&＃xff0c;每个词的向量为&＃xff1a;

I -> [1 0 0 0]
like -> [0 1 0 0]
eating -> [0 0 1 0]
apple -> [0 0 0 1]


独热编码虽然简单&＃xff0c;但也有很多限制与不足。比如我们要向单词表中再增加一个词&＃xff0c;由于编码机制就要修改所有的词向量。再如&＃xff0c;有些词语之间是有一定联系的&＃xff08;比如puppy和dog&＃xff09;&＃xff0c;显然&＃xff0c;独热编码不能表示词与词之间的关系。此外&＃xff0c;独热编码的绝大部分元素都是0&＃xff0c;只有一个元素会被设置为1&＃xff0c;这也造成了内存的浪费。
嵌入矩阵解决了独热编码的这些缺陷。其实独热编码本质上也是一个嵌入矩阵&＃xff0c;但它不包含词与词之间关系的信息。嵌入矩阵的思想是压缩向量空间的维度&＃xff0c;从而充分利用这个空间。在向量空间中&＃xff0c;类似的词会被聚集在一起&＃xff0c;这样就可以通过词与词之间的“距离”来度量其接近程度。嵌入层和神经网络的其他层的训练过程没有什么区别&＃xff0c;即随机初始化向量空间&＃xff0c;在训练过程中更新参数&＃xff0c;使得类似的词的距离更加接近。
在PyTorch中使用嵌入层非常简单&＃xff1a;

import torch.nn as nn# 使用嵌入层
embed &＃61; nn.Embedding(vocab_size, dimension_size)


嵌入层包含一个随机初始化的vocab_size * dimension_size的张量&＃xff0c;单词表中的每个词会索引到这个张量中的一个元素&＃xff0c;每个元素是一个大小为dimension_size的向量。

数据集来自于GitHub上中文爱好者收集的5万多首唐诗&＃xff0c;经过数据处理后打包成为一个NumPy压缩包tang.npz&＃xff0c;加载后是一个57580 * 125的NumPy数组。
GitHub链接
tang.npz下载链接&＃xff08;提取码&＃xff1a;a5gg&＃xff09;

import osimport numpy as npdef get_data(data_path):if os.path.exists(data_path):datas &＃61; np.load(data_path, allow_pickle&＃61;True)data &＃61; datas[&＃39;data&＃39;]word2ix &＃61; datas[&＃39;word2ix&＃39;].item()ix2word &＃61; datas[&＃39;ix2word&＃39;].item()print(&＃39;The data is loaded successfully.&＃39;)return data, word2ix, ix2wordelse:print(&＃39;[ERROR]No such file was found or the specified path name doesn\&＃39;t exist.&＃39;)exit(-1)
model.py - 定义神经网络模型

import torch
import torch.nn as nn
from torch.autograd import Variableclass LSTM(nn.Module):def __init__(self, vocab_size, embedding_dim, hidden_dim):super(LSTM, self).__init__()self.hidden_dim &＃61; hidden_dimself.embedding &＃61; nn.Embedding(vocab_size, embedding_dim)self.lstm &＃61; nn.LSTM(embedding_dim, self.hidden_dim, num_layers&＃61;2, batch_first&＃61;False)self.linear &＃61; nn.Linear(self.hidden_dim, vocab_size)def forward(self, input_, hidden&＃61;None):seq_len, batch_size &＃61; input_.size()if hidden is None:h_0 &＃61; input_.data.new(2, batch_size, self.hidden_dim).fill_(0).float()c_0 &＃61; input_.data.new(2, batch_size, self.hidden_dim).fill_(0).float()h_0, c_0 &＃61; Variable(h_0), Variable(c_0)else:h_0, c_0 &＃61; hiddenembed &＃61; self.embedding(input_)output, hidden &＃61; self.lstm(embed, (h_0, c_0))output &＃61; self.linear(output.reshape(seq_len * batch_size, -1))return output, hidden
train.py - 训练神经网络

import os
import tqdmfrom sklearn.model_selection import train_test_split
import torch
from torch.autograd import Variable
import torch.nn as nn
import torch.optim as optim
from torch.utils.data import DataLoaderfrom get_data import get_data
from model import LSTMif not os.path.exists(&＃39;./model/&＃39;):os.mkdir(&＃39;./model/&＃39;)DATA_PATH &＃61; &＃39;./data/tang.npz&＃39;
BATCH_SIZE &＃61; 64
LEARNING_RATE &＃61; 1e-3
EMBEDDING_DIM &＃61; 128
HIDDEN_DIM &＃61; 256
EPOCH &＃61; 50device &＃61; torch.device(&＃39;cuda&＃39; if torch.cuda.is_available() else &＃39;cpu&＃39;)
print(&＃39;[LSTM model is being trained using the {}]&＃39;.format(&＃39;GPU&＃39; if torch.cuda.is_available() else &＃39;CPU&＃39;))data, word2ix, ix2word &＃61; get_data(DATA_PATH)
_, data_eval &＃61; train_test_split(data, train_size&＃61;0.8, random_state&＃61;1)
data_train, data_eval &＃61; torch.from_numpy(data), torch.from_numpy(data_eval)
data_loader_train &＃61; DataLoader(data_train, batch_size&＃61;BATCH_SIZE, shuffle&＃61;True)
data_loader_eval &＃61; DataLoader(data_eval, batch_size&＃61;BATCH_SIZE, shuffle&＃61;True)model &＃61; LSTM(len(word2ix), EMBEDDING_DIM, HIDDEN_DIM).to(device)
# model.load_state_dict(torch.load(&＃39;./model/LSTM.pth&＃39;, map_location&＃61;device))
optimizer &＃61; optim.Adam(model.parameters(), lr&＃61;LEARNING_RATE, betas&＃61;(0.9, 0.999), eps&＃61;1e-8)
criterion &＃61; nn.CrossEntropyLoss()for epoch in range(1, EPOCH &＃43; 1):train_loss &＃61; 0train_step &＃61; 0model.train()for i, data in tqdm.tqdm(enumerate(data_loader_train)):data &＃61; data.long().transpose(0, 1).contiguous().to(device)optimizer.zero_grad()input_, target &＃61; Variable(data[:-1, :]), Variable(data[1:, :])output, _ &＃61; model(input_)loss &＃61; criterion(output, target.view(-1))loss.backward()optimizer.step()train_loss &＃43;&＃61; loss.item()train_step &＃43;&＃61; 1eval_loss &＃61; 0eval_step &＃61; 0model.eval()for i, data in tqdm.tqdm(enumerate(data_loader_eval)):data &＃61; data.long().transpose(0, 1).contiguous().to(device)input_, target &＃61; Variable(data[:-1, :]), Variable(data[1:, :])output, _ &＃61; model(input_)loss &＃61; criterion(output, target.view(-1))eval_loss &＃43;&＃61; loss.item()eval_step &＃43;&＃61; 1print(&＃39;[{:2d}/{:2d}] Train Loss: {:6.4f} | Eval Loss: {:6.4f}&＃39;.format(epoch, EPOCH, train_loss / train_step,eval_loss / eval_step))torch.save(model.state_dict(), &＃39;./model/LSTM_epoch{}.pth&＃39;.format(epoch))
print(&＃39;Training completed.&＃39;)

上面代码中的第18-23行是网络训练的一些参数&＃xff0c;可以根据自己的实际情况手动调节。我在训练中采取的策略是每次将EPOCH设置为一个较小的数字&＃xff08;比如20或50&＃xff09;&＃xff0c;选定一个合适的LEARNING_RATE进行训练&＃xff0c;并且保存每轮训练后的模型参数。一次训练结束后&＃xff0c;可以考虑在下一次训练中加载预训练的LSTM.pth参数并且调整LEARNING_RATE进行训练。

• 里巷风尘起&＃xff0c;南山杨柳深。
• 不堪捎落叶&＃xff0c;空想抱秋心。
• 十日花落尽&＃xff0c;一朝春景浓。
• 远期千里别&＃xff0c;明日一时愁。
• 如闻北斗月&＃xff0c;又见南山泉。
• 心事不可得&＃xff0c;无心亦无疑。
• 永日无人见&＃xff0c;春风不自由。
• 远山开旧岭&＃xff0c;清净入深州。