BERT模型的应用与实践

1. transformer资料

transformers&＃xff08;以前称为pytorch-transformers和pytorch-pretrained-bert&＃xff09;

提供用于自然语言理解&＃xff08;NLU&＃xff09;和自然语言生成&＃xff08;NLG&＃xff09;的BERT家族通用结构&＃xff08;BERT&＃xff0c;GPT-2&＃xff0c;RoBERTa&＃xff0c;XLM&＃xff0c;DistilBert&＃xff0c;XLNet等&＃xff09;&＃xff0c;包含超过32种、涵盖100多种语言的预训练模型

2.使用

import numpy as np
import torch

下载transformers包

!pip install transformers

下载分词器和模型

from transformers import BertTokenizer,BertModel

下载bert-base-chinese的config.josn&＃xff0c;vocab.txt&＃xff0c;pytorch_model.bin三个文件后&＃xff0c;放在bert-base- chinese文件夹下&＃xff0c;此例中该文件夹放在F:/Transformer-Bert/下#导入分词器

model_name &＃61; &＃39;bert-base-chinese&＃39;
MODEL_PATH &＃61; &＃39;F:/Transformer-Bert/bert-base-chinese/&＃39;

导入分词器

tokenizer &＃61; BertTokenizer.from_pretrained(model_name)

 导入配置文件

model_config &＃61; BertConfig.from_pretrained(model_name)

修改配置

model_config.output_hidden_states &＃61; True
model_config.output_attentions &＃61; True

通过配置和路径导入模型

bert_model &＃61; BertModel.from_pretrained(MODEL_PATH, config &＃61; model_config)

 输入文本

input_text &＃61; "我爱伟大的祖国"

# 通过tokenizer把文本变成 token_id

encode仅返回input_ids

encode_plus返回所有编码信息

    input_ids&＃xff1a;是单词在词典中的编码

    token_type_ids&＃xff1a;区分两个句子的编码&＃xff08;上句全为0&＃xff0c;下句全为1&＃xff09;

    attention_mask&＃xff1a;指定 对哪些词 进行self-Attention操作

input_ids &＃61; tokenizer.encode(input_text)
sen_code &＃61; tokenizer.encode_plus(&＃39;这个故事没有终点&＃39;, "正如星空没有彼岸")

#print(sen_code)

# {&＃39;input_ids&＃39;: [101, 6821, 702, 3125, 752, 3766, 3300, 5303, 4157, 102, 3633, 1963, 3215, 4958, 3766, 3300, 2516, 2279, 102], 

#  &＃39;token_type_ids&＃39;: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1, 1, 1, 1], 
#  &＃39;attention_mask&＃39;: [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1]}

将input_id转化回token

tokenizer.convert_ids_to_tokens(sen_code[&＃39;input_ids&＃39;])

转化为tensor

tokens_tensor &＃61; torch.tensor([sen_code[&＃39;input_ids&＃39;]]) # 添加batch维度并,转换为tensor,torch.Size([1, 19])
segments_tensors &＃61; torch.tensor(sen_code[&＃39;token_type_ids&＃39;]) # torch.Size([19])
bert_model.eval()
# 进行编码
with torch.no_grad():outputs &＃61; bert_model(tokens_tensor, token_type_ids &＃61; segments_tensors)encoded_layers &＃61; outputs # outputs类型为tupleprint(encoded_layers[0].shape, encoded_layers[1].shape, encoded_layers[2][0].shape, encoded_layers[3][0].shape)# torch.Size([1, 19, 768]) torch.Size([1, 768])# torch.Size([1, 19, 768]) torch.Size([1, 12, 19, 19])

Bert最终输出的结果维度为&＃xff1a;sequence_output, pooled_output, (hidden_states), (attentions)

以输入序列为19为例&＃xff1a;

    sequence_output&＃xff1a;torch.Size([1, 19, 768])
        输出序列

    pooled_output&＃xff1a;torch.Size([1, 768])
        对输出序列进行pool操作的结果

    (hidden_states)&＃xff1a;tuple, 13 * torch.Size([1, 19, 768])
        隐藏层状态&＃xff08;包括Embedding层&＃xff09;&＃xff0c;取决于 model_config 中的 output_hidden_states

    (attentions)&＃xff1a;tuple, 12 * torch.Size([1, 12, 19, 19])
        注意力层&＃xff0c;取决于 model_config 中的 output_attentions

2. 遮蔽语言模型 Masked Language Model

BERT以训练遮蔽语言模型&＃xff08;Masked Language Model&＃xff09;作为预训练目标。

    具体来说就是把 输入的语句中的字词 随机用 [MASK] 标签覆盖&＃xff0c;然后 训练模型 结合被覆盖的词的 左侧 和 右侧上下文进行预测。

    可以看出&＃xff0c;BERT 的做法 与 从左向右语言模型只通过左侧语句预测下一个词的做法相比&＃xff0c;遮蔽语言模型 能够生成同时融合了左、右上下文的语言表示。

    这种做法能够使 BERT 学到字词更完整的语义表示。