飞桨博士会第六期回顾｜新时代AI课程与飞桨设计思想

飞桨博士会第六期沙龙于11月30日在百度大厦举办&＃xff0c;来自深度学习研究方向的博士齐聚西二旗进行交流。

本次沙龙首次特邀两位主讲嘉宾&＃xff0c;百度深度学习技术平台部两位主任架构师——毕然和胡晓光&＃xff0c;分别详解新时代AI课程、飞桨设计思想与编程指南。如下呈现本场主讲内容摘要&＃xff0c;可供回顾参考。

01

新时代AI课程&＃xff1a;机器学习的思考故事&零基础入门深度学习

毕然老师从“机器学习模型演进路线”和“从模型到系统到商业”两个部分对《机器学习的思考故事》课程进行概述。

机器学习模型演进路线可从框架拆解、学习理论、复杂模型和实用技巧四方面理解。毕然老师从机器学习的基本理论引入&＃xff0c;进而延伸讲解如何构造非常强大的模型。机器执行学习时&＃xff0c;需要圈定假设空间&＃xff08;包含不同参数之间的关系&＃xff09;&＃xff0c;并借助评价指标判断参数在不同取值中&＃xff0c;哪一个情况下与真实情况接近。同时&＃xff0c;毕然老师在这门课程中重点阐述具体算法在设计中更本质的原理。

在“从模型到系统到商业”部分&＃xff0c;毕然老师首先提出观点&＃xff0c;即模型建立要基于对整个系统非常深度的理解&＃xff0c;而系统如果要成为长久的生意则需要满足市场需求&＃xff0c;并且有合理的商业逻辑。机器学习的模型都需要嵌入进某个系统中&＃xff0c;而这个系统目标是实现某个商业业务。这里毕然老师以百度图像搜索应用为例&＃xff0c;由实际用户需求场景切入到技术思路&＃xff0c;并和现场博士们就技术实现是采用分类模型还是检索模型讨论。

《零基础入门深度学习》从课程设计思想、学习平台进行介绍。入门课程中将包含深度学习基础知识与层层展开的案例&＃xff0c;分为CV、NLP和推荐技术三个领域呈现。资深教程则着力通过一个完整案例介绍飞桨框架使用的方方面面。

相关资源&＃xff1a;

1. 飞桨官方深度学习集训营《零基础实践深度学习》当前正在火爆开课中&＃xff0c;欢迎学习&＃xff0c;详情可访问官网&＃xff1a;

https://aistudio.baidu.com/aistudio/course/introduce/888

2. 百度技术学院视频课程《机器学习的思考故事》

访问bit.baidu.com 即可开始学习

02

飞桨设计思想与编程指南

百度深度学习技术平台部主任架构师胡晓光主讲内容包含飞桨的设计思想、编程指南、官方模型三部分。

首先胡晓光老师对飞桨框架设计思想进行详细解读。飞桨 (PaddlePaddle)以百度多年的深度学习技术研究和业务应用为基础&＃xff0c;集深度学习核心框架、基础模型库、端到端开发套件、工具组件和服务平台于一体&＃xff0c;2016 年正式开源&＃xff0c;是全面开源开放、技术领先、功能完备的产业级深度学习平台。

飞桨核心架构采用分层设计&＃xff08;如上图&＃xff09;。前端应用层考虑灵活性&＃xff0c;采用Python实现&＃xff0c;包括了组网 API、IOAPI、Optimizer API和执行 API等完备的开发接口&＃xff1b;框架底层充分考虑性能&＃xff0c;采用C&＃43;&＃43;来实现。框架内核部分&＃xff0c;主要包含执行器、存储管理和中间表达优化&＃xff1b;内部表示方面&＃xff0c;包含网络表示&＃xff08;Program Desc&＃xff09;、数据表示&＃xff08;Variable&＃xff09;和计算表示&＃xff08;Operator&＃xff09;几个层面。框架向下对接各种芯片架构&＃xff0c;可以支持深度学习模型在不同异构设备上的高效运行。

飞桨中同时兼容命令式编程&＃xff08;动态图&＃xff09;与声明式编程&＃xff08;静态图&＃xff09;两种编程范式&＃xff0c;飞桨以程序化“Program”的形式动态描述神经网络模型计算过程&＃xff0c;并提供对顺序、分支和循环三种执行结构的支持&＃xff0c;可以组合描述任意复杂的模型&＃xff0c;并可在内部自动转化为中间表示的描述语言。“Program”的定义过程就像在写一段通用程序。

使用声明式编程时&＃xff0c;相当于将“Program”先编译再执行&＃xff0c;可类比静态图模式。首先根据网络定义代码构造“Program”&＃xff0c;然后将“Program”编译优化&＃xff0c;最后通过执行器执行“Program”&＃xff0c;具备高效性能&＃xff1b;同时由于存在静态的网络结构信息&＃xff0c;能够方便地完成模型的部署上线。

而命令式编程&＃xff0c;相当于将“Program”解释执行&＃xff0c;可视为动态图模式&＃xff0c;更加符合用户的编程习惯&＃xff0c;代码编写和调试也更加方便。飞桨后面会增强静态图模式下的调试功能&＃xff0c;方便开发调试&＃xff1b;同时提升动态图模式的运行效率&＃xff0c;加强动态图自动转静态图的能力&＃xff0c;快速完成部署上线&＃xff1b;同时更加完善接口的设计和功能&＃xff0c;整体提升框架易用性。

飞桨可提供高兼容性、高性能的多端部署能力。当前依托业界领先的底层加速库&＃xff0c;开发者可利用Paddle Lite和Paddle Serving可分别实现端侧和服务器上的部署。飞桨平台的高速推理引擎在性能上也达到业内领先水平。

同时&＃xff0c;模型压缩工具PaddleSlim可实现高精度的模型体积优化&＃xff0c;内含模型压缩工具和网络结构搜索工具。

在详解飞桨整体架构后&＃xff0c;胡晓光老师也从技术API、面向对象式API、动态执行模式、数据异步读取、Seq2Seq API、自定义C&＃43;&＃43;算子、预测API详细解读Paddle最新1.6版本特性&＃xff0c;并结合线性回归模型展示使用飞桨进行编程的过程。

相关资源

飞桨官方模型库根据应用方向分为PaddleNLP、PaddleCV、PaddleRec、PaddleSpeech四部分。了解详情可访问官网&＃xff1a;

https://github.com/paddlepaddle/models

结合前述分享内容&＃xff0c;在场博士就飞桨在百度具体业务中的应用、算法设计进行提问&＃xff0c;现场讨论氛围热烈。随后主办方为新加入飞桨博士会的成员颁发会员证书&＃xff0c;同时所有参会者均收到主办方赠送的Tesla V100 GPU算力卡&＃xff0c;现场运营同学也向各位演示激活算力卡的操作&＃xff0c;详情可参见&＃xff1a;

https://mp.weixin.qq.com/s/BKG4VTeAite_1ZLmPZ4ggA

至此&＃xff0c;本期飞桨博士会线下活动圆满落幕&＃xff0c;欢迎更多博士加入飞桨博士会。

本期飞桨博士会PPT获取链接&＃xff1a;

https://pan.baidu.com/s/1Ztwv2vckLnXLgo0VHsoWVg      

密码 : 0vae

欢迎感兴趣的博士朋友们点击阅读原文预先报名&＃xff0c;锁定入场席位。