注意力机制神经网络_CMU神经网络NLP更新|第七讲：注意力机制

AI 研习社获得官方授权&＃xff0c;汉化翻译卡耐基梅隆大学的11-747神经网络自然语言处理(2019春季)&＃xff0c;今天上线第七讲&＃xff01;

我们先来一睹为快——

第七讲

注意力机制

上手视频约 7 分钟

翻译 | 胡瑛皓 卢嘉杰

翻译 | 代小岱 徐添阳 石乾坤

看完是不是不够过瘾&＃xff01;

请扫描下方二维码&＃xff0c;加入官方学习小组

即可观看完整视频

回复字幕君(微信&＃xff1a;leiphonefansub)

你加入该课程小组的截图

我们将你拉入微信群聊

加我时备注“11-747加群”~

↓↓↓

新课预告

好消息来啦&＃xff01;如果你关注NLP领域&＃xff0c;怎能错过这一课程&＃xff1a;《CS224n 斯坦福深度自然语言处理》&＃xff0c;不久前斯坦福大学在官方的油管频道上已经上传了最新版本的CS224n2019年课程。为此&＃xff0c;AI研习社也同样开设学习小组&＃xff0c;方便大家结伴讨论学习。

加入CS224n 斯坦福深度自然语言处理(2019年最新版)&＃xff0c;我们有计划在征求校方同意后开始翻译计划&＃xff0c;敬请期待&＃xff01;

加入小组&＃xff0c;全网首发抢先观看中英双语字幕

课程介绍

该课程是CMU语言技术学院和计算机学院联合开课&＃xff0c;主要内容是教学生如何用神经网络做自然语言处理。神经网络对于语言建模任务而言&＃xff0c;可以称得上是提供了一种强大的新工具&＃xff0c;与此同时&＃xff0c;神经网络能够改进诸多任务中的最新技术&＃xff0c;将过去不容易解决的问题变得轻松简单。

本课程将首先简要介绍神经网络&＃xff0c;然后花费大部分课程的时间&＃xff0c;向大家演示——如何将神经网络应用于自然语言问题。每次课程都将讨论到自然语言中的特定问题或现象&＃xff0c;向大家描述建模之所以很难的原因&＃xff0c;并且演示一些能够解决该问题的模型。在此过程中&＃xff0c;本课程还会涵盖的话题有——在创建神经网络模型中效果不错的各类技术&＃xff0c;包括处理可变大小和结构化的句子&＃xff0c;有效处理大数据&＃xff0c;半监督和无监督学习&＃xff0c;结构化预测等。

先修要求

学生必须了解 11-711“NLP算法”或同等学力课程知识、如果你没有学过11-711&＃xff0c;我希望你有足够的NLP背景&＃xff0c;能够完成相关任务(例如关于n-gram语言建模&＃xff0c;CKY解析和单词对齐)。

课程大纲

第一讲&＃xff1a;课程介绍 & 使用神经网络做自然语言处理的原因

第二讲&＃xff1a;简单练习 &＃xff1a;预测句子中的下一个单词

第三讲&＃xff1a;分布语义和词向量

第四讲&＃xff1a;针对语言的卷积神经网络

第五讲&＃xff1a;语句或语言建模的循环神经网络

第六讲&＃xff1a;条件生成

第七讲&＃xff1a;注意力机制

第八讲&＃xff1a;语句和上下文词语的表示

第九讲&＃xff1a;调试用于自然语言处理的神经网络

第十讲&＃xff1a;使用局部独立假设的结构化预测

第十一讲&＃xff1a;强化学习

第十二讲&＃xff1a;使用局部独立假设的结构化预测

第十三讲&＃xff1a;模型解读

第十四讲&＃xff1a;潜在随机变量

第十五讲&＃xff1a;文本的对抗方法

第十六讲&＃xff1a;基于转换的句法分析模型

第十七讲&＃xff1a;使用动态规划的句法分析

第十八讲&＃xff1a;神经语义分析

第十九讲&＃xff1a;无监督和半监督结构学习

第二十讲&＃xff1a;对话模型

第二十一讲&＃xff1a;文档级模型

第二十二讲&＃xff1a;知识图谱学习

第二十三讲&＃xff1a;使用神经网络的机器阅读

第二十四讲&＃xff1a;多任务多语言学习模型

第二十五讲&＃xff1a;高阶搜索算法

译者评价

挺好的&＃xff0c;延伸性强&＃xff0c;会讲每个知识点的应用要点&＃xff0c;并探讨最新的paper在相关问题上的进展。CMU的教授是挺生猛的&＃xff0c;需要学生的素质也高。

&＃64;孙稚昊

是一个不错的补充吧。我目前也在youtube上看&＃xff0c;感觉课程内容资源都挺丰富的。一些细节讲的也不错&＃xff0c;和之前的cs224n互相补充我觉得挺好的。

&＃64;卢嘉杰

老师讲解非常详细&＃xff0c;深入浅出&＃xff0c;NLP那个导论 我觉得授课的老师 重在让学生 通过兴趣自我驱动 结合授课完成相关的作业

&＃64;胡瑛皓

卡耐基梅隆大学出品&＃xff0c;必属精品。老师的知识面非常广&＃xff0c;同时也非常前沿。

&＃64;吴说

课件很不错&＃xff0c;覆盖面广&＃xff0c;同时也包含了很多深入研读的资料&＃xff1b;课程层次清晰&＃xff0c;不懂深度学习的学起来也不会太困难&＃xff1b;

&＃64;孙昊

课程截图

点击阅读原文&＃xff0c;观看CMU 神经网络 NLP 第七讲