Ataskinasuitandatie:paraphrasegenerationwithsemanticaugmentation解读

1.该算法核心:在seq2seq模型的编码器中增加语义的frame 和 roles

2.上图为算法整个流程&＃xff1a;

1).首先输入一句话s&＃xff0c;SLING会使用frame和role label注释输入语句s&＃xff0c;然后将这些label转换成token&＃xff0c;因此会有三个对齐向量&＃xff1a;tokens,frames,roles&＃xff1b;&＃xff08;使用SLING目的&＃xff1a;预测结构语义表示&＃xff0c;生成表示输入文本含义的框架图表示frame graph representing&＃xff09;

2).每个向量会有一个独立的channel,每个channel中有一个独立的Transformer编码器&＃xff0c;每个编码器会输出一个向量&＃xff0c;一共有三个输出向量(Transformer:使用位置信息进行并行编码&＃xff0c;避免token-by-token编码&＃xff1b;编码器的构成要素是多头注意力层&＃xff0c;之后是一个前馈层&＃xff0c;其中都包含剩余的链路和层规范)

3).步骤2生成的三个向量&＃xff0c;会经过一个线性层&＃xff0c;该层接受三个向量&＃xff0c;输出一个向量&＃xff0c;是输入的线性组合&＃xff08;我理解的&＃xff09;

4).将步骤3中输出的一个向量&＃xff0c;放入解码器中&＃xff0c;最终会输出不改变s原意的一句话。