【论文泛读138】BARTScore：将生成的文本评估为文本生成

贴一下汇总贴&＃xff1a;论文阅读记录

论文链接&＃xff1a;《BARTScore: Evaluating Generated Text as Text Generation》

各种各样的 NLP 应用程序&＃xff0c;例如机器翻译、摘要和对话&＃xff0c;都涉及文本生成。这些应用程序面临的一个主要挑战是如何评估此类生成的文本是否真正流畅、准确或有效。在这项工作中&＃xff0c;我们将生成文本的评估概念化为文本生成问题&＃xff0c;使用预训练的序列到序列模型进行建模。一般的想法是&＃xff0c;当生成的文本更好时&＃xff0c;训练模型将生成的文本转换为参考输出或源文本将获得更高的分数。我们使用 BART&＃xff08;一种基于编码器-解码器的预训练模型&＃xff09;来实现这一想法&＃xff0c;并提出了一个具有多种变体的度量 BARTScore&＃xff0c;这些变体可以以无监督的方式灵活应用于从不同角度&＃xff08;例如信息量、流畅度、或事实&＃xff09;。BARTScore 在概念上很简单&＃xff0c;在经验上也很有效。它可以在 22 个测试设置中的 16 个测试设置中优于现有的最高分指标&＃xff0c;涵盖对 16 个数据集的评估&＃xff08;例如&＃xff0c;机器翻译、文本摘要&＃xff09;和 7 个不同的角度&＃xff08;例如&＃xff0c;信息量、事实性&＃xff09;。计算 BARTScore 的代码可在github&＃xff0c;并且我们在 ExplainaBoard 平台上的这个 github上发布了一个用于元评估的交互式排行榜 &＃xff0c;这使我们能够以交互方式了解每个指标的优势、劣势和互补性。

在本文中&＃xff0c;我们提出了一个度量标准BARTSCORE&＃xff0c;它将生成文本的评估作为一个文本生成任务&＃xff0c;并通过实验证明了它的有效性。在没有人工判断的监督下&＃xff0c;BARTSCORE可以从7个角度有效地评估文本&＃xff0c;并在22个设置中的16个设置上相对于现有的最高评分指标取得最佳性能。

• faithfulness
• precison
• recall
• f score