BERT句向量(一)：SentenceBERT

前言

句向量&＃xff1a;能够表征整个句子语义的向量&＃xff0c;目前效果比较好的方法还是通过bert模型结构来实现&＃xff0c;也是本文的主题。

有了句向量&＃xff0c;我们可以用来进行聚类&＃xff0c;处理大规模的文本相似度比较&＃xff0c;或者基于语义搜索的信息检索。

例如搜索系统中的输入query和匹配文档document、Q&A任务的问题和答案等等&＃xff0c;都可以转化为计算两个句子的语义相似/相关度&＃xff0c;相关度最高的n个作为模型的返回结果。

题外话

这种类似的模型一般称为passage retrieval models&＃xff0c;即段落检索&＃xff0c;有两个代表&＃xff1a;

1. sparse models&＃xff1a;BM25、TF-IDF等&＃xff1b;
2. dense models&＃xff08;DPR&＃xff0c;Dense Passage Retrieval&＃xff09;&＃xff1a;将query和doc&＃xff08;question和passage/answer&＃xff09;都转化为稠密向量&＃xff0c;然后通过faiss等工具进行相关召回。

原生Bert

原生的BERT模型在诸多句子分类和句子对的回归任务上都取得了state-of-the-art的表现&＃xff0c;它使用一种 cross-encoder的结构&＃xff1a;将两个句子拼接输入到模型&＃xff0c;经过带有self attention的transformer网络得到最终的预测值。

但这种做法不适用于大量句子对的回归任务&＃xff0c;例如给定10000个句子&＃xff0c;找出每个句子最相似的句子&＃xff0c;那么每个句子就得需要与其他所有句子进行两两组合&＃xff0c;才能得到与所有句子的相似度&＃xff0c;即需要进行n*(n-1)/2&＃61; 49995000次的推理计算&＃xff0c;这显然是不合理的。

这其实与推荐场景类似&＃xff0c;采用这种结构的话&＃xff0c;query需要与所有的doc进行分别计算&＃xff0c;才能分数相关度最高的doc&＃xff0c;这是不现实。所以这种做法一般是放在后面的排序阶段。

而在此之前&＃xff0c;一般会先经过召回阶段&＃xff0c;则是需要事先将所有doc输入到bert模型&＃xff0c;提取出句向量进行存储&＃xff0c;实际使用时&＃xff0c;实时计算query的句向量&＃xff0c;然后通过faiss等ann工具&＃xff0c;来从所有doc中召回相关度最高的n个。

因此&＃xff0c;sentence-bert此时就派上用场&＃xff0c;它使得bert模型能够提取表征句子语义的句向量。

Sentence-BERT

相关论文&＃xff1a;《Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks》

pooling strategies

其实原生bert模型本身是具备句向量提取的能力&＃xff0c;一般是以下3种方法&＃xff0c;sentence-bert也是采用相同的方法&＃xff1a;

1. CLS&＃xff1a;使用[CLS]字符最后一层的输出向量&＃xff0c;作为句向量&＃xff1b;
2. MEAN&＃xff1a;使用句子的所有字符的最后一层输出向量&＃xff0c;计算它们的均值&＃xff0c;作为句向量&＃xff1b;
3. MAX&＃xff1a;使用句子的所有字符的最后一层输出向量&＃xff0c;所有字符向量对应位置提取最大值&＃xff0c;作为句向量。

但是&＃xff0c;如果**直接使用原生bert模型来提取句向量&＃xff0c;效果十分不理想&＃xff0c;甚至不如GloVe提取的句向量。**

fine-tune

所以&＃xff0c;作者提出一种针对句向量&＃xff0c;对bert模型进行微调的方法&＃xff0c;包括无监督和监督训练。

fine-tune的三种结构&＃xff1a;

1. Classification Objective Function

如图1的分类结构&＃xff0c;句子A和句子B输入到同个bert模型&＃xff08;参数绑定&＃xff09;&＃xff0c;然后使用[CLS]向量或者所有字符的向量均值得到A的句向量u、B的句向量v&＃xff0c;然后拼接u、v和 element-wise的 |u-v|&＃xff0c;最后通过softmax做一个k分类&＃xff0c;loss为cross-entropy&＃xff1b;

2. Regression Objective Function

如图2的回归结构&＃xff0c;同样的方法得到u和v&＃xff0c; 再经过cosine函数得到u和v的相似度&＃xff0c;使用MSE&＃xff08; mean-squared-error&＃xff09;作为loss&＃xff1b;

3. Triplet Objective Function

最后一种为三元组结构&＃xff0c;如下式&＃xff0c;句子a和p为负例&＃xff0c;a和n为正例&＃xff0c;sas_asa​为句子a的句向量&＃xff0c;方法同上。这个结构是让负例句子的距离要尽量比正例的大

其中|| · ||是距离度量&＃xff0c;例如欧式距离&＃xff0c;

$\xi$为 margin &＃xff0c;控制负例和正例句子的距离差最小为$\xi$

inference

推理阶段&＃xff0c;按照上图2的做法&＃xff0c;两个句子u和v输入到Sentence-BERT结构微调后的模型&＃xff0c;选择一种pooling策略&＃xff0c;得到句子的向量&＃xff0c;然后使用cosine函数来计算两个句子的相似/相关度。

无监督训练

作者使用 SNLI(Bowman et al., 2015) 和Multi-Genre NLI(Williams et al., 2018)两个公开的数据集&＃xff0c;带有三种标签contradiction、eintailment、neutral的句子对。

使用Classifification Objective Function来对bert模型进行微调&＃xff0c;详细参数为&＃xff1a;batch_size为16、Adam optimizer、2e-5的学习率、10%的线性学习率warmup&＃xff0c;采用MEAN的pooling策略。

然后在STS数据集上进行验证&＃xff0c;由于未使用到目标数据集&＃xff0c;因此可以认为是无监督训练&＃xff0c;具体效果如下&＃xff1a;

&＃xff08; STS12-STS16:SemEval 2012-2016, STSb: STSbenchmark, SICK-R: SICK relatedness dataset&＃xff0c;这些数据集带有0-5级的相关程度&＃xff09;

明显看出微调后的sentence-bert比原生bert的句向量效果提升了许多&＃xff0c;并且使用RoBERTa可以进一步提升效果。

&＃xff08;作者也是做了实验&＃xff0c;才得出原生bert句向量甚至不如GloVe的结论&＃xff09;

监督训练

上面提到&＃xff0c;STS数据的标签是0-5级的相关程度&＃xff0c;作者使用了regression objective function的结构进行微调SBERT。

实验了两种监督训练方案&＃xff1a;

1. 仅使用STSb数据进行监督训练&＃xff1b;
2. 先在NLI数据进行训练&＃xff0c;然后再使用STSb数据

结果如下&＃xff1a;

监督训练比无监督训练效果进一步提升&＃xff0c;并且BERT的模型大小影响较大&＃xff0c;BERT-large比base提升3-4点&＃xff1b;

但使用RoBERTa未没有明显的效果提升。

代码实现

tensorflow1.x&＃xff1a;https://github.com/QunBB/DeepLearning/tree/main/NLP/sentence_bert/sbert

pytorch推荐使用&＃xff1a;Sentence-Transformers