我所了解的bert模型整理！！

BERT是什么

• BERT是Transformer的双向编码器表示的缩写。它是由Google在2018年末开发和发布的一种新型语言模型。像BERT这样的预训练语言模型在许多自然语言处理任务中发挥着重要作用&＃xff0c;
  • 例如问答&＃xff0c;命名实体识别&＃xff0c;自然语言推理&＃xff0c;文本分类等等

语言模型

• 语言模型(Language Modeling)会根据前面单词来预测下一个单词 /NLP中最基础的模型结构(可以应用到各个NLP的应用场景中)。常 用的语言模型有&＃xff1a;N-gram、Word2Vec、ELMo、OpenAI GPT、Bert、 XLNet、ALBert&＃xff1b;

Mask机制

• Mask&＃xff1a;遮挡掩盖的意思&＃xff0c;比如&＃xff1a;把需要预测的词给挡住。主要出 现出现在OpenAI GPT和Bert中。

BERT

• bert主要的问题就是计算量非常的大&＃xff0c;参数量非常的多&＃xff0c;所以在使用的时候一定要有好的设备。并且bert是一个与训练好的模型&＃xff0c;经常应用于数据的预处理阶段。
• bert中的新特征

  • Bidirectional Transformers &＃xff08;Transformer&＃xff09;

  • Pre-training

    • Masked Language Model&＃xff08;掩蔽语言模型&＃xff09;
    • Next Sentence Predictio&＃xff08;下一个句子预测&＃xff09;

    

• Bert一共有俩个&＃xff0c;一个为小的Bert共12层&＃xff0c;大的Bert24层效果更好&＃xff0c;相对参数也多。

Bert vs Transformer

• Bert中Encoder Layers是12/24层&＃xff0c;而Transformer则是6层&＃xff1b;
• Bert中E前馈神经网络单元是768/1024维度的&＃xff0c;而Transformer则是512&＃xff1b;
• Bert中 Multi Headed Attention是12/16个&＃xff0c;而Transformer则是8&＃xff1b;
• Bert Encoder中有Mask 机制&＃xff0c;而Transformer中没有Mask 机制&＃xff1b;
• Bert词嵌入是单词&＃43;位置信息&＃43;segment&＃xff0c;而Transformer单词&＃43;位置信息&＃xff1b;
• Bert的网络输入存在占位符[CLS], Transformer没有&＃xff1b;

Bert Model Input

Bert Model Output

Bert和CNN中的VGG类似&＃xff0c;都是提取高阶特征&＃xff0c;如下图&＃xff1a;

Bert Masked Language Model

Bert Next Sentence Prediction

第一个预测值是与众不同的他是来提取整个序列的信息的。

Bert with Feature Extraction

Bert有12层&＃xff0c;每一层的输出都是高阶向量&＃xff0c;都可以自由使用。

下面用“hello”做了一个实验&＃xff0c;用于命名实体识别任务CoNLL-2003 NER&＃xff0c;效果如下图&＃xff1a;

Bert应用场景

Bert-GPT-ELMo

EMLo采用的是第一种方法。

ELMo

EMLo的俩种方式

EMLo采用的是第一种&＃xff0c;下图红色框。第二中会带来信息泄露。

GPT

• GPT在BooksCorpus(800M单词)训练&＃xff1b;BERT在BooksCorpus(800M单词)和维基百科(2,500M单词)训 练。
• GPT使用一种句子分隔符([SEP])和分类符词块([CLS])&＃xff0c;它们仅在微调时引入&＃xff1b;BERT在预训练期间 学习[SEP]&＃xff0c;[CLS]和句子A/B嵌入。
• GPT用一个批量32,000单词训练1M步&＃xff1b;BERT用一个批量128,000单词训练1M步。
• GPT对所有微调实验使用的5e-5相同学习率&＃xff1b;BERT选择特定于任务的微调学习率&＃xff0c;在开发集表现 最佳。
• GPT是12层&＃xff0c;Bert是24层。
• GTP使用的是Transformer的类似Decoder结构(单向的Transformer&＃xff0c;里面没有Encoder-Decoder Attention&＃xff0c;只有Mask Self-Attention和FFNN)&＃xff0c;Bert使用的是Encoder结构(双向Transformer)

vanilla transformer

• 属于一种语言模型的训练方式&＃xff0c;来根据之前的字符预测片段中的下一个字符&＃xff1b;论 文中采用64层模型&＃xff0c;并仅限于处理512个字符的输入&＃xff0c;因此如果序列太长会进行分 段&＃xff0c;然后每段进行学习训练。
• 论文&＃xff1a;https://arxiv.org/pdf/1808.04444.pdf
• 缺陷&＃xff1a;
  • 上下文长度受限&＃xff1a;字符之间的最大依赖距离受输入长度的限制&＃xff0c;模型看不到出现在几个句 子之前的单词。
  • 上下文碎片&＃xff1a;对于长度超过512个字符的文本&＃xff0c;都是从头开始单独训练的。段与段之间没有 上下文依赖性&＃xff0c;会让训练效率低下&＃xff0c;也会影响模型的性能。
  • 推理速度慢&＃xff1a;在测试阶段&＃xff0c;每次预测下一个单词&＃xff0c;都需要重新构建一遍上下文&＃xff0c;并从头开 始计算&＃xff0c;这样的计算速度非常慢。

Transfomer-XL(2019-01)

• RNN和Transformer都可以学习序列之间的依赖关系&＃xff0c;但是对于长时依赖 上都存在一定的局限性&＃xff0c;在vanilla Transformer的基础上&＃xff0c;Transfomer-XL语言模型引入两点创新&＃xff1a;
  • 循环机制(Recurrence Mechanism)
  • 相对位置编码(Relative Positional Encoding)
• 论文&＃xff1a;https://arxiv.org/pdf/1901.02860.pdf
• 代码&＃xff1a;https://arxiv.org/pdf/1901.02860.pdf .
• 解析&＃xff1a;https://www.lyrn.ai/2019/01/16/transformer-xl-sota-languagemodel.
  

XLNet(2019-06)

• XLNet&＃xff1a;Generalized Autoregressive Pretraining for Language Understanding
• 论文&＃xff1a; https://arxiv.org/pdf/1906.08237.pdf
• 解决BERT的问题 &＃xff08;解决&＃xff0c;Bert中Transformer是双向的&＃xff0c;即考虑前面也要考虑后面&＃xff0c;所以只能做编码结构不能做解码结构的问题&＃xff09;&＃xff1a;
  • 训练数据和测试数据的不一致&＃xff0c;训练数据中使用了Mask&＃xff0c;测试数据/预测数据中没 有使用Mask&＃xff0c;这个问题叫做&＃xff1a;pretrain-finetune discrepancy (预训练微调存在差异性,训练的时候做Mask&＃xff0c;而迁移学习是时候不加Mask)
  • BERT模型不能用来生成数据。
• 参考&＃xff1a;https://blog.csdn.net/weixin_37947156/article/details/93035607k

ALBERT

• ALBERT&＃xff1a;A Lite BERT for Self-supervised Learning of Language Representations

• 论文https://arxiv.org/pdf/1909.11942.pdf

• 解决Bert和XLNet的问题&＃xff1a;

  • 模型参数变的更少&＃xff08;因式分解&＃xff0c;在Embedding之后的全连接做&＃xff09;&＃xff1b;
  • 模型使用更少的内存&＃xff08;参数共享&＃xff09;&＃xff1b;
  • 提升模型效果&＃xff08;损失函数做了一个更新&＃xff09;&＃xff1b;

• 参考: https://github.com/brightmart/albert_zh