AIStudio精品项目合集|NLP领域的Transformer实践

在2017年&＃xff0c;Transformer模型由论文《Attention is all you need》提出&＃xff0c;最开始被应用于机器翻译任务上并取得了很好的效果。它摒弃了传统LSTM的串行结构&＃xff0c;使用了基于Self Attention的模型结构&＃xff0c;具有更好的并行计算能力&＃xff0c;这使得它在大规模数据模型训练方面更有优势。

后来基于Transformer结构的模型大放异彩&＃xff0c;特别是在2018年预训练模型BERT的提出&＃xff0c;其在多项NLP任务上均取得了突破性的进展&＃xff0c;具有里程碑式的意义。自此&＃xff0c;不管是学术界&＃xff0c;还是工业界均掀起了基于Transformer的预训练模型研究和应用的热潮&＃xff0c;并且逐渐从NLP延伸到CV、语音等多项领域。各种基于Transformer结构的变体模型在模型结构、运行效率和不同领域模型应用等方面纷纷被提出&＃xff0c;同时各个领域的多项任务指标更是不断被刷新&＃xff0c;深度学习领域进入了一个新的时代。

本期我们将展现Transformer类模型实现的4款NLP案例实践&＃xff0c;包括机器翻译、阅读理解、文本分类和情感分析。如果你对这些内容感兴趣&＃xff0c;赶快来一起学习吧。

Transformer在

机器翻译上的应用

机器翻译&＃xff08;machine translation, MT&＃xff09;是用计算机来实现不同语言之间翻译的技术。被翻译的语言通常称为源语言&＃xff08;source language&＃xff09;&＃xff0c;翻译成的结果语言称为目标语言&＃xff08;target language&＃xff09;。机器翻译即实现从源语言到目标语言转换的过程&＃xff0c;是自然语言处理的重要研究领域之一。一般而言&＃xff0c;机器翻译的建模方式如下图所示&＃xff0c;给定源语言&＃xff0c;期望模型能够翻译成目标语言。

本项目先带领大家解读Transformer的基本原理&＃xff0c;然后剖析Transformer在机器翻译上应用的机制&＃xff0c;最后讲解基于Transformer的机器翻译的代码实践&＃xff0c;即在中英文数据集IWSLT 2015上训练训练一个机器翻译模型。

项目维护者&＃xff1a;PaddleEdu

主要框架/模型库&＃xff1a;飞桨核心框架PaddlePaddle&＃xff0c;飞桨自然语言处理模型库PaddleNLP

项目链接&＃xff1a;

https://aistudio.baidu.com/aistudio/projectdetail/2311016

ERNIE模型在

阅读理解中的应用

机器阅读理解(Machine Reading Comprehension) 是指让机器阅读文本&＃xff0c;然后回答和阅读内容相关的问题。阅读理解是自然语言处理和人工智能领域的重要前沿课题&＃xff0c;对于提升机器的智能水平、使机器具有持续知识获取的能力等具有重要价值&＃xff0c;近年来受到学术界和工业界的广泛关注。

阅读理解的经典建模方式如下图所示&＃xff0c;给定一篇文章和一个问题&＃xff0c;期望模型能够从这篇文章中找出该问题对应的答案。

本案例使用ERNIE在DuReader_robust数据集上实现了阅读理解任务。ERNIE是百度发布一款预训练模型&＃xff0c;它通过引入三种级别的Knowledge Masking帮助模型学习语言知识&＃xff0c;并且在多项NLP任务上超越了BERT。当使用ERNIE模型进行阅读理解任务会达到什么样的效果&＃xff0c;赶快来看看吧。

项目维护者&＃xff1a;PaddleEdu

主要框架/模型库&＃xff1a;飞桨核心框架PaddlePaddle&＃xff0c;飞桨自然语言处理模型库PaddleNLP

项目链接&＃xff1a;

https://aistudio.baidu.com/aistudio/projectdetail/2333137

基于ERNIE实现

9项GLUE任务

The General Language Understanding Evaluation benchmark (GLUE) 是一个被广为使用的经典数据集合&＃xff0c;其包含多项子数据集&＃xff0c;如下图所示&＃xff0c;这些数据集经常被用来验证各项NLP模型性能。

本实验将基于ERNIE模型对以上的9项GLUE任务进行训练&＃xff0c;ERNIE在预训练过程中增加了Knowledge Masking帮助模型学习语言知识&＃xff0c;相比BERT&＃xff0c;其具有更强的语言理解能力。希望本案例能够帮助大家了解ERNIE模型在这9项任务上的实现以及相应表现。

项目维护者&＃xff1a;PaddleEdu

主要框架/模型库&＃xff1a;飞桨核心框架PaddlePaddle&＃xff0c;飞桨自然语言处理模型库PaddleNLP

项目链接&＃xff1a;

https://aistudio.baidu.com/aistudio/projectdetail/2345396

XLNet模型在

情感分析中的应用

自然语言是人类传递信息的一种载体&＃xff0c;同时它也能表达人类交流时的情感。一段对话或者一句评论都能蕴含着丰富的感情色彩&＃xff1a;比如高兴、快乐、喜欢、讨厌、忧伤等等。如下图所示&＃xff0c;利用机器自动分析这些情感倾向&＃xff0c;不但有助于帮助企业了解消费者对其产品的感受&＃xff0c;为产品改进提供依据&＃xff1b;同时还有助于企业分析商业伙伴们的态度&＃xff0c;以便更好地进行商业决策。通常情况下&＃xff0c;我们往往将情感分析任务定义为一个分类问题&＃xff0c;即使用计算机判定给定的一段文字所表达的情感属于积极情绪&＃xff0c;还是消极情绪。

本实验将使用XLNet模型在IMDB电影评论数据集上建模情感分析&＃xff0c;XLNet模型是一种能看得见双向信息的广义自回归模型&＃xff0c;并且在建模过程中引入了Segment循环机制&＃xff0c;从而保证模型能够建模更长的文本序列依赖关系。该情感分析任务有助于帮助消费者了解一部电影的质量&＃xff0c;也可用于电影的推荐。

项目维护者&＃xff1a;PaddleEdu

主要框架/模型库&＃xff1a;飞桨核心框架PaddlePaddle&＃xff0c;飞桨自然语言处理模型库PaddleNLP

项目链接&＃xff1a;

https://aistudio.baidu.com/aistudio/projectdetail/2333184

了解更多

更多Transformer类模型在NLP领域的理论及实践内容&＃xff0c;欢迎访问下方链接查看。上述案例使用过程中如有任何问题&＃xff0c;可以点击阅读原文提issue&＃xff0c;或者扫描下方二维码加入QQ群交流&＃xff0c;目前已有2100&＃43;同学一起学习。

合集地址&＃xff1a;

https://aistudio.baidu.com/aistudio/projectdetail/2277159

长按下方二维码立即

Star

更多信息&＃xff1a;

1. 飞桨官方QQ群&＃xff1a;793866180

2. 飞桨官网网址&＃xff1a;

   www.paddlepaddle.org.cn/

3. 飞桨开源框架项目地址&＃xff1a;

   GitHub:

   github.com/PaddlePaddle/Paddle 
   Gitee:

   gitee.com/paddlepaddle/Paddle

4. 欢迎在飞桨论坛讨论交流~~

   http://discuss.paddlepaddle.org.cn