ALBERT中文实战之文本相似度

ALBERT是一个比BERT要轻量&＃xff0c;效果更好的模型&＃xff0c;本篇实践介绍如何用ALBERT计算两个文本的相似度。

ALBERT利用词嵌入参数因式分解和隐藏层间参数共享两种手段&＃xff0c;显著减少了模型的参数量的同时&＃xff0c;基本没有损失模型的性能。笔者在下面的文章中详细介绍了ALBERT的理论&＃xff0c;感兴趣的同学可以戳进去了解&＃xff1a;《解读ALBERT》。

github地址

使用孪生ALBERT网络生成句子的嵌入表示&＃xff1a;

Pooling方法&＃xff1a;

a. CLS:直接使用CLS的输出作为Embedding

b.MEAN: 平均所有token的输出作为Embedding

c. MAX:取每一维输出向量的最大值

目标函数&＃xff1a;

       a. 分类目标函数&＃xff1a;

            其中 u 和 v 为两个句子的 Embedding&＃xff0c;Wt为变换矩阵&＃xff0c;最终的维度为3n*k&＃xff0c;该目标函数可用于预训练Sentence            Embedding

       b. 回归目标函数&＃xff1a;

           该目标函数直接计算u和v的cosine相似度&＃xff0c;将之均方误差作为loss。另外结构也是预测时候的计算方式

       c. 三胞胎目标函数&＃xff1a;

          其中Sa为句子a的Embedding&＃xff0c;Sp则为句子p&＃xff0c;句子p是跟a属于同一类型的正例句子&＃xff0c;n 则是一个反例&＃xff0c;三胞胎网络和孪生网络类似&＃xff0c;这个目标函数是为了让正例距离尽量近而反例尽量远