整理 | 夕颜出品 | AI科技大本营&＃xff08;ID:rgznai100&＃xff09; 导读&＃xff1a;2019 年 3 月&＃xff0c;百度正式发布 NLP 模型 ERNIE&＃xff0c;其在中文任务中全面超越 BERT 一度引发业界广泛关注和探讨。今天&＃xff0c;百度发布了 ERNIE 2.0&＃xff0c;指出其在英文任务方面取得全新突破&＃xff0c;在共计 16 个中英文任务上超越了 BERT 和 XLNet&＃xff0c;取得了 SOTA 效果。目前&＃xff0c;ERNIE 2.0 代码和英文预训练模型已开源。
&＃xff08;摄于2019年7月3日百度AI开发者大会&＃xff09; 今天&＃xff0c;百度 ERNIE 再度升级&＃xff0c;发布持续学习的语义理解框架 ERNIE 2.0&＃xff0c;及基于此框架的 ERNIE 2.0 预训练模型。 目前&＃xff0c;百度 ERNIE 2.0 的Fine-tuning代码和英文预训练模型已开源。 Github 项目地址&＃xff1a;https://github.com/PaddlePaddle/ERNIE 近两年&＃xff0c;以BERT、XLNet为代表的无监督预训练技术在语言推断、语义相似度、命名实体识别、情感分析等多个自然语言处理任务上取得了技术突破。基于大规模数据的无监督预训练技术在自然语言处理领域变得至关重要。 百度发现&＃xff0c;之前的工作主要通过词或句子的共现信号&＃xff0c;构建语言模型任务进行模型预训练。例如&＃xff0c;BERT 通过掩码语言模型和下一句预测任务进行预训练。XLNet 构建了全排列的语言模型&＃xff0c;并通过自回归的方式进行预训练。 然而&＃xff0c;除了语言共现信息之外&＃xff0c;语料中还包含词法、语法、语义等更多有价值的信息。例如&＃xff0c;人名、地名、机构名等词语概念知识&＃xff0c;句子间顺序和距离关系等结构知识&＃xff0c;文本语义相似度和语言逻辑关系等语义知识。设想如果能持续地学习各类任务&＃xff0c;模型的效果能否进一步提升&＃xff1f; 
ERNIE 2.0&＃xff1a;可持续学习语义理解框架 基于此&＃xff0c;百度提出可持续学习语义理解框架 ERNIE 2.0。该框架支持增量引入词汇(lexical)、语法 (syntactic) 、语义 (semantic) 等3个层次的自定义预训练任务&＃xff0c;能够全面捕捉训练语料中的词法、语法、语义等潜在信息。这些任务通过多任务学习对模型进行训练更新&＃xff0c;每当引入新任务时&＃xff0c;该框架可在学习该任务的同时&＃xff0c;不遗忘之前学到过的信息。这也意味着&＃xff0c;该框架可以通过持续构建训练包含词法、句法、语义等预训练任务&＃xff0c;持续提升模型效果。 
新发布的 ERNIE 2.0 模型结构 依托该框架&＃xff0c;百度借助飞桨 PaddlePaddle 的多机分布式训练&＃xff0c;利用 79 亿 tokens 训练数据&＃xff08;约 1/4 的 XLNet 数据&＃xff09;和 64 张 V100 (约 1/8 的 XLNet 硬件算力)&＃xff0c;ERNIE 2.0 预训练模型不仅实现了 SOTA效果&＃xff0c;而且为开发人员定制自己的 NLP 模型提供了方案。 百度研究团队分别比较了 ERNIE 2.0 在中英文环境上的模型效果。英文环境上&＃xff0c;ERNIE 2.0 在自然语言理解数据集 GLUE 的 7 个任务上击败了 BERT 和 XLNet。中文上&＃xff0c;在包括阅读理解、情感分析、问答等不同类型的 9 个数据集上超越了 BERT 并刷新了 SOTA。
ERNIE 的工作表明&＃xff0c;在预训练过程中&＃xff0c;通过构建各层面的无监督预训练任务&＃xff0c;模型效果也会显著提升。未来&＃xff0c;研究者们可沿着该思路构建更多的任务提升效果。
自 2018 年预训练语言模型 BERT 提出之后&＃xff0c;预训练语言模型将自然语言处理的大部分任务水平提高了一个等级&＃xff0c;这个领域的研究也掀起了热潮。如今百度 ERNIE 2.0 再度为行业提供了研究思路上的方法创新&＃xff0c;可持续学习的特点亦将成为 NLP 领域发展里程中的注脚。
(*本文为 AI科技大本营整理文章&＃xff0c;转载请联系微信 1092722531)
◆
精彩推荐
◆
60&＃43;技术大咖与你相约 2019 AI ProCon&＃xff01;大会早鸟票已售罄&＃xff0c;优惠票速抢进行中......2019 AI开发者大会将于9月6日-7日在北京举行&＃xff0c;这一届AI开发者大会有哪些亮点&＃xff1f;一线公司的大牛们都在关注什么&＃xff1f;AI行业的风向是什么&＃xff1f;2019 AI开发者大会&＃xff0c;倾听大牛分享&＃xff0c;聚焦技术实践&＃xff0c;和万千开发者共成长。
推荐阅读
你点的每个“在看”&＃xff0c;我都认真当成了喜欢
京公网安备 11010802041100号