bert获得词向量_SemBERT:BERT的语义知识增强

点击上方“MLNLP”&＃xff0c;选择“星标”公众号

重磅干货&＃xff0c;第一时间送达

转载自公众号 | Andy的写时间

至此&＃xff0c;GLUE leaderboard 上模型基本都公布了细节&＃xff0c;上次是阿里的 ALICE&＃xff0c;这次是云从科技和上交的 SemBERT。重新看了看 Leaderboard&＃xff0c;却发现榜首已不是 RoBERTa&＃xff0c;而成了 Adv-RoBERTa(ensemble)&＃xff0c;来自微软和UMD(马里兰大学)。

Adv-RoBERTa 只公布了粗略信息

We adopt an improved adversarial training approach to fine-tune the pre-trained RoBERTa_large models on each task, using the same data and number of training iterations as RoBERTa.Results are based on ensembles of 7 models.

大概就是在 RoBERTa 下游任务中加入了对抗性训练方法&＃xff0c;结果是七个模型集成的表现&＃xff0c;单一模型表现可能还得等更详细结果放出。

回归正题&＃xff0c;关于 SemBERT&＃xff0c;其实是 NLP 发论文很通常的一条路线&＃xff0c;就是对某些通用模型&＃xff0c;将语言学的一些知识给结合进去&＃xff0c;从而获得些提高&＃xff0c;之前研究过的 linguistic-aware NMT 就是差不多思路。而 SemBERT 就是想把 Semantic Role Labeling (SRL&＃xff0c;语义角色标注) 的知识给结合进 BERT(实际不是从 BERT 模型内部)。

关于如何结合 SRL 的知识&＃xff0c;我想请大家从第一人称视角出发&＃xff0c;来思考这个问题。这样之后发文也可以参考这种思路。

获得 SRL 标注

首先对于一批语料&＃xff0c;我们怎样获得 SRL 的知识呢&＃xff1f;

• 方法一&＃xff0c;花钱请标注&＃xff1b;

• 方法二&＃xff0c;找现成的最好 SRL 标注工具&＃xff0c;自动标注。

显然方法一过于昂贵&＃xff0c;而方法二更加经济实惠&＃xff0c;而且想要多少有多少。

于是用目前最好的模型&＃xff0c;参考 Deep Semantic Role Labeling: What Works and What’s Next&＃xff0c;在英文的 OntoNotes v5.0 上训练&＃xff0c;然后获得 SRL 标注器&＃xff0c;在 CoNLL-2012 测试集上 F1 分能达到 84.6%。

融合多种语义标签(Semantic Labels)

对于同一句话&＃xff0c;语义标签有多种标法&＃xff0c;可以将这个当作从不同角度看待一句话。

于是首先就需要解决如何获得各个角度语义标签更深层次信息&＃xff0c;还有怎么将不同角度的语义标签信息结合到一起。

针对第一条获得更深层次信息&＃xff0c;我们只需要对各个标签建立向量表&＃xff0c;取向量&＃xff0c;之后简单地用一个双向 GRU(BiGRU) 模型来获得深层的全局双向信息即可。

对于第二条&＃xff0c;怎么将不同角度语义信息结合起来&＃xff0c;就更简单&＃xff0c;直接拼接起来&＃xff0c;过个全连接层。

最后就获得了需要文本对应语义标签信息。

对齐 SRL 和 BERT 的粒度

有了每个词对应的 SRL 信息向量后&＃xff0c;最简单的结合就是直接和 BERT 的输出向量拼起来。但当你准备拼的时候&＃xff0c;就突然发现问题了&＃xff0c;这特么怎么对不上&＃xff0c;就像你拿着两孔插头去插三孔插座一样。

原来 BERT 词表用了 BPE(Byte Pair Encoding)&＃xff0c;会把词分成子词(subword)。

于是需要思考一下&＃xff0c;怎样将子词向量结合成一个词向量。当然&＃xff0c;粗暴一些就直接 pooling 一下&＃xff0c;average 或 max 都随意。

要高级一些&＃xff0c;那就用 RNN 或 CNN&＃xff0c;可以像这里一样&＃xff0c;直接用 CNN 卷一下&＃xff0c;过个 ReLU&＃xff0c;再 max pooling。

于是就获得了各个词所对应的 BERT 输出向量了。

合体&＃xff01;&＃xff01;&＃xff01;

粒度对齐&＃xff0c;就到了最后一步了&＃xff0c;将 SRL 向量和 BERT 向量合体&＃xff01;

I have a Sem, I have a BERT, I have a SemBERT.

两个向量直接拼起来就行了&＃xff0c;然后喂到下游任务 finetune 什么。

推荐阅读&＃xff1a;

方程组的几何解释 [MIT线代第一课pdf下载]

常用的 Normalization 方法&＃xff1a;BN、LN、IN、GN

PaddlePaddle实战NLP经典模型 BiGRU &＃43; CRF详解