【论文泛读96】异构图神经网络的跨语言文本分类

贴一下汇总贴&＃xff1a;论文阅读记录

论文链接&＃xff1a;《Cross-lingual Text Classification with Heterogeneous Graph Neural Network》

跨语言文本分类旨在针对源语言训练分类器&＃xff0c;并将知识转移到目标语言&＃xff0c;这对于资源匮乏的语言非常有用。最近的多语言预训练语言模型&＃xff08;mPLM&＃xff09;在跨语言分类任务中取得了令人印象深刻的结果&＃xff0c;但很少考虑超出语义相似性的因素&＃xff0c;从而导致某些语言对之间的性能下降。在本文中&＃xff0c;我们提出了一种简单而有效的方法&＃xff0c;即使用图卷积网络&＃xff08;GCN&＃xff09;将异构信息纳入语言内部和语言之间&＃xff0c;以进行跨语言文本分类。特别是&＃xff0c;我们通过将文档和单词视为节点&＃xff0c;并链接具有不同关系的节点来构建异构图&＃xff0c;这些关系包括词性角色&＃xff0c;语义相似性和文档翻译。

在这项研究中&＃xff0c;我们提出了一种新的基于图的方法&＃xff0c;称为CLHG&＃xff0c;以捕捉各种信息的内部和跨语言的跨语言文本分类。大量实验表明&＃xff0c;我们的框架有效地提取和集成了多语言语料库中的异构信息&＃xff0c;这些异构关系可以增强现有模型&＃xff0c;有助于跨语言任务。可能存在一些更好的语义或句法特征以及特征的组合&＃xff0c;这有待于我们将来的工作去探索。我们还希望将基于GNN的框架扩展到未来需要知识转移和适应的不同自然语言处理任务。

CLHG&＃xff1a;首先基于语料库和所选特征构建跨语言异构图&＃xff0c;然后用多语言预训练语言模型对所有文本进行编码&＃xff0c;然后将编码后的节点传递给异构GCN&＃xff0c;每一层对由不同边缘类型分隔的不同子图进行图卷积&＃xff0c;并将信息聚合在一起。最后&＃xff0c;图形神经网络输出doc节点的预测&＃xff0c;这些预测将在训练期间与基本事实标签进行比较。

论文代码&＃xff1a;github_link

在三个不同的分类任务上评估了框架&＃xff0c;对于所有的任务&＃xff0c;只使用英语样本进行培训&＃xff0c;并对其他6种语言进行评估。