百度文心多项任务分数刷新GLUE榜单，NLP界的“MVP”再次夺冠

近日&＃xff0c;自然语言处理领域权威排行榜——GLUE&＃xff08;通用语言理解评估基准&＃xff09;新排名出炉。百度自研的语义理解技术与平台文心 ERNIE 以90.9的分数再登榜首&＃xff0c;领先微软 DeBERTa/TuringNLRv4、谷歌 T5 以及阿里巴巴、华为等研发的其他同类别技术。

GLUE 排行榜由纽约大学、华盛顿大学、谷歌 DeepMind 等机构联合推出&＃xff0c;涵盖自然语言推断、语义相似度、问答匹配、情感分析等9大不同类型的 NLP 任务。GLUE 榜单的挑战者包含了谷歌、Facebook、微软等国际顶尖科技公司以及斯坦福大学、卡耐基·梅隆大学等知名高校&＃xff0c;含金量极高。GLUE 榜单在一定程度上成为了衡量各机构自然语言处理预训练技术水平最重要的指标之一。

 首创层次化学习 

早在2019年12月&＃xff0c;百度文心 ERNIE 就曾以9个任务平均得分首次突破90大关的好成绩&＃xff0c;刷新 GLUE 榜单历史夺得榜首。此次百度文心 ERNIE 再度登顶&＃xff0c;主要源于文心 ERNIE 对模型持续学习方式的进一步升级和模型神经元数目的进一步增多&＃xff0c;使得模型能更加高效地、高质量地学习海量数据中的丰富知识。具体来说&＃xff0c;文心 ERNIE 提出了层次化 Post-LN Transformer 算法&＃xff0c;解决了大规模 Post-LN Transformer 模型训练不稳定问题&＃xff0c;保证了模型训练效果。此外&＃xff0c;文心 ERNIE 还利用了百度飞桨独创的 Hybrid Sharding 分布式算法&＃xff0c;极大地降低了模型训练时间。

▲ 文心 ERNIE 层次化 Post-LN Transformer 技术图解

 业界领先的语义理解技术与平台 ——文心 ERNIE 

自然语言处理&＃xff08;NLP&＃xff09;被称为人工智能皇冠上的一颗明珠&＃xff0c;该领域的技术突破对于机器认知智能发展至关重要。百度文心 ERNIE 则是一个取得世界级突破的语义理解技术与平台&＃xff0c;它依托于百度的深度学习平台飞桨打造&＃xff0c;将机器理解语言的水平提升到一个新的高度&＃xff0c;为计算机带来了认知智能领域的巨大跨域。此次文心 ERNIE 能够再次超越国际顶尖公司及高校荣登榜首&＃xff0c;背后是百度在 NLP 技术的长期积累。

文心 ERNIE 的核心技术优势在于&＃xff0c;它开创性地将大数据预训练与多源丰富知识相结合&＃xff0c;通过持续学习技术&＃xff0c;不断吸收海量文本数据中词汇、结构、语义等方面的新知识&＃xff0c;实现模型效果不断进化&＃xff0c;如同人类持续学习一样。这让它在16个中英文典型 NLP 任务上显著超越当时世界最好效果。

文心 ERNIE 语义理解平台集先进的预训练模型、全面的 NLP 算法集、端到端开发套件和平台化服务于一体&＃xff0c;为企业和开发者提供一站式 NLP 开发与服务。

如今&＃xff0c;百度在自然语言处理领域的深厚积累已辐射至不同领域。文心 ERNIE 已广泛地应用于百度内外多个产品和技术场景&＃xff0c;在百度搜索、小度音箱、信息流推荐等一系列产品应用中发挥了重要作用&＃xff0c;大幅提升了产品效果和用户体验&＃xff0c;并通过百度智能云形成“云智一体”的竞争优势&＃xff0c;输送到金融、通信、教育、互联网等行业&＃xff0c;助力各行各业产业智能化升级。