【Pytorch神经网络实战案例】33使用BERT模型实现完形填空任务

案例：加载Transformers库中的BERT模型，并用它实现完形填空任务，即预测一个句子中缺失的单词。

2.1 代码实现：载入词表，并对输入的文本进行分词转化---BERT_MASK.py（第1部分）

import torch from transformers import BertTokenizer, BertForMaskedLM # 1.1 载入词表，并对输入的文本进行分词转化 # 加载预训练模型 tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') # 输入文本，BERT模型需要特殊词来标定句子： # [CLS]：标记一个段落的开始。一个段落可以有一个或多个句子，但是只能有一个[CLS]。[CLS]在BERT模型中还会被用作分类任务的输出特征。 # [SEP]：标记一个句子的结束。在一个段落中，可以有多个[SEP]。 text = "[CLS] Who is Li BiGor ? [SEP] Li BiGor is a programmer [SEP]" tokenized_text = tokenizer.tokenize(text) # 使用词表对输入文本进行转换。与中文分词有点类似。由于词表中不可能覆盖所有的单词，因此当输入文本中的单词不存在时，系统会使用带有通配符的单间（以“#”开头的单词）将其拆开。 print("词表转化结果：",tokenized_text) # 词表转化结果：['[CLS]','who','is','li','big','##or','?','[SEP]','li','big','##or','is','a','programmer','[SEP]']

2.2 代码实现：遮蔽单词，并将其转换为索引值---BERT_MASK.py（第2部分）

# 1.2 遮蔽单词，并将其转换为索引值，使用标记字符[MAS]代替输入文本中索引值为8的单词，对“Li”进行遮蔽，并将整个句子中的单词转换为词表中的索引值。 masked_index = 8 # 掩码一个标记，再使用'BertForMaskedLM'预测回来 tokenized_text[masked_index] = '[MASK]' # 标记字符[MASK]，是BERT模型中的特殊标识符。在BERT模型的训练过程中，会对输入文本的随机位置用[MASK]字符进行替换，并训练模型预测出[MASK]字符对应的值。 print("句子中的索引：",tokenized_text) # 句子中的索引：['[CLS]','who','is','li','big','##or','?','[SEP]','[MASK]','big','##or','is','a','programmer','[SEP]'] # 将标记转换为词汇表索引 indexed_tokens = tokenizer.convert_tokens_to_ids(tokenized_text) # 将输入转换为PyTorch张量 tokens_tensor = torch.tensor([indexed_tokens]) print("句子中的向量：",tokens_tensor) # 句子中的向量：tensor([[101,2040,2003,5622,2502,2953,1029,102,103,2502,2953,2003,1037,20273,102]])

2.3 代码实现：加载预训练模型，并对遮蔽单词进行预测---BERT_MASK.py（第3部分）

# 1.3 加载预训练模型，并对遮蔽单词进行预测 # 指定设备 device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu") print(device) # 加载预训练模型 (weights) model = BertForMaskedLM.from_pretrained('bert-base-uncased') # 用BertForMaskedLM类加载模型，该类可以对句子中的标记字符[MASK]进行预测。 model.eval() model.to(device) # 段标记索引：定义输入的BertForMaskedLM类句子指示参数，用于指示输入文本中的单词是属于第一句还是属于第二句。属于第一句的单词用0来表示（一共8个)，属于第二句的单词用1来表示（一共7个)。 segments_ids = [0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1, 1] segments_tensors = torch.tensor([segments_ids]).to(device) tokens_tensor = tokens_tensor.to(device) # 预测所有的tokens with torch.no_grad(): # 将文本和句子指示参数输入模型进行预测。 # 输出结果是一个形状为[1，15，30522]的张量。其中，1代表批次个数，15代表输入句子中的15个单词，30522是词表中单词的个数。 # 模型的结果表示词表中每个单词在句子中可能出现的概率。 outputs = model(tokens_tensor, token_type_ids=segments_tensors) predictiOns= outputs[0] # [1, 15, 30522] # 预测结果：从输出结果中取出[MASK]字符对应的预测索引值。 predicted_index = torch.argmax(predictions[0, masked_index]).item() # 将预测索引值转换为单词。 predicted_token = tokenizer.convert_ids_to_tokens([predicted_index])[0] print('预测词为:', predicted_token) # 预测词为: li 3 代码总览---BERT_MASK.py

import torch from transformers import BertTokenizer, BertForMaskedLM # 1.1 载入词表，并对输入的文本进行分词转化 # 加载预训练模型 tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') # 输入文本，BERT模型需要特殊词来标定句子： # [CLS]：标记一个段落的开始。一个段落可以有一个或多个句子，但是只能有一个[CLS]。[CLS]在BERT模型中还会被用作分类任务的输出特征。 # [SEP]：标记一个句子的结束。在一个段落中，可以有多个[SEP]。 text = "[CLS] Who is Li BiGor ? [SEP] Li BiGor is a programmer [SEP]" tokenized_text = tokenizer.tokenize(text) # 使用词表对输入文本进行转换。与中文分词有点类似。由于词表中不可能覆盖所有的单词，因此当输入文本中的单词不存在时，系统会使用带有通配符的单间（以“#”开头的单词）将其拆开。 print("词表转化结果：",tokenized_text) # 词表转化结果：['[CLS]','who','is','li','big','##or','?','[SEP]','li','big','##or','is','a','programmer','[SEP]'] # 1.2 遮蔽单词，并将其转换为索引值，使用标记字符[MAS]代替输入文本中索引值为8的单词，对“Li”进行遮蔽，并将整个句子中的单词转换为词表中的索引值。 masked_index = 8 # 掩码一个标记，再使用'BertForMaskedLM'预测回来 tokenized_text[masked_index] = '[MASK]' # 标记字符[MASK]，是BERT模型中的特殊标识符。在BERT模型的训练过程中，会对输入文本的随机位置用[MASK]字符进行替换，并训练模型预测出[MASK]字符对应的值。 print("句子中的索引：",tokenized_text) # 句子中的索引：['[CLS]','who','is','li','big','##or','?','[SEP]','[MASK]','big','##or','is','a','programmer','[SEP]'] # 将标记转换为词汇表索引 indexed_tokens = tokenizer.convert_tokens_to_ids(tokenized_text) # 将输入转换为PyTorch张量 tokens_tensor = torch.tensor([indexed_tokens]) print("句子中的向量：",tokens_tensor) # 句子中的向量：tensor([[101,2040,2003,5622,2502,2953,1029,102,103,2502,2953,2003,1037,20273,102]]) # 1.3 加载预训练模型，并对遮蔽单词进行预测 # 指定设备 device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu") print(device) # 加载预训练模型 (weights) model = BertForMaskedLM.from_pretrained('bert-base-uncased') # 用BertForMaskedLM类加载模型，该类可以对句子中的标记字符[MASK]进行预测。 model.eval() model.to(device) # 段标记索引：定义输入的BertForMaskedLM类句子指示参数，用于指示输入文本中的单词是属于第一句还是属于第二句。属于第一句的单词用0来表示（一共8个)，属于第二句的单词用1来表示（一共7个)。 segments_ids = [0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1, 1] segments_tensors = torch.tensor([segments_ids]).to(device) tokens_tensor = tokens_tensor.to(device) # 预测所有的tokens with torch.no_grad(): # 将文本和句子指示参数输入模型进行预测。 # 输出结果是一个形状为[1，15，30522]的张量。其中，1代表批次个数，15代表输入句子中的15个单词，30522是词表中单词的个数。 # 模型的结果表示词表中每个单词在句子中可能出现的概率。 outputs = model(tokens_tensor, token_type_ids=segments_tensors) predictiOns= outputs[0] # [1, 15, 30522] # 预测结果：从输出结果中取出[MASK]字符对应的预测索引值。 predicted_index = torch.argmax(predictions[0, masked_index]).item() # 将预测索引值转换为单词。 predicted_token = tokenizer.convert_ids_to_tokens([predicted_index])[0] print('预测词为:', predicted_token) # 预测词为: li