雷锋网(公众号&＃xff1a;雷锋网)按&＃xff1a;2016年无疑是深度学习最为火热的一年&＃xff0c;深度学习在语音、图像、自然语言处理等领域取得非常突出的成果&＃xff0c;成了最引人注目的技术热点之一。雷锋网也报道过多次关于Google、Facebook、微软、百度在内的各大技术巨头都在不遗余力地推进深度学习的研发和应用。
2017年深度学习的势头依旧迅猛&＃xff0c;并以更快的速度渗透在各个行业当中&＃xff0c;对世界产生深远影响。
深度学习不但使得机器学习能够实现众多的应用&＃xff0c;而且拓展了人工智能的领域范围&＃xff0c;并使得机器辅助功能都变为可能。其应用领域正在加速渗透到很多领域&＃xff0c;也催生了深度学习与其它应用技术的加速融合。
为提升一线科研人员更加深入了解深度学习&＃xff0c;中国电子学会于2017年3月25-26日在北京举办了“2017全国深度学习技术应用大会”&＃xff0c;中国电子学会林润华副秘书长到会并讲话。大会主席王亮研究员&＃xff0c;大会副主席季向阳教授、俞俊教授主持了大会的专家报告。
会议邀请到了国内深度学习技术领域的著名专家就深度学习技术的应用和最新动态做特邀报告。与此同时&＃xff0c;中国电子学会也请到了深度学习技术相关科研单位和高新技术企业&＃xff0c;宣传展示他们在深度学习技术领域的研究成果、新产品和市场化内容。
出席此次活动的嘉宾有&＃xff08;按报告议程排序&＃xff09;&＃xff1a;中国科学技术大学计算机学院陈恩红教授、微软亚洲研究院研究员杨奎元博士、浙江大学人工智能研究院所所长吴飞教授、IBM中国研究院研究总监苏中博士、北京大学数字媒体研究所副所长王亦洲教授&＃xff0c;百度IDL技术方向负责人周杰、清华大学自动化系季向阳教授、今日头条实验室技术总监王长虎教授、苏州大学计算机学院副院长张民教授、NVIDIA中国区高性能计算及Applied Deep Learning 部门技术经理赖俊杰博士、中国科学院计算机网络信息中心副研究员赵地博士、华南理工大学二级教授金连文、格灵深瞳CTO邓亚峰、中科院自动化所模式识别国家重点实验室研究员黄凯奇博士。
以下为14位嘉宾在“2017全国深度学习技术应用大会”中所做的报告&＃xff0c;雷锋网对大会进行了全程报道&＃xff1a;
首先&＃xff0c;中国科学技术大学计算机学院陈恩红教授做了《面向自然语言处理的深度学习方法及应用》的报告&＃xff0c;这次报告回顾和讨论了深度学习在自然语言处理领域的最新研究进展&＃xff0c;然后重点介绍深度学习方法在弹幕语义表示&＃xff0c;诗歌生成&＃xff0c;实体蕴含关系识别&＃xff0c;试题难度预测的相关应用。
人工智能需要大量的人工&＃xff0c;包括标注大量训练数据&＃xff0c;设计数据表征、模型等。深度学习将数据表征融进了模型的端到端学习&＃xff0c;在大量任务中学得了远优于专家设计的数据表征&＃xff0c;释放了这部分的人工投入&＃xff0c;然而标注训练数据仍然需要大量的人工。
针对这一问题&＃xff0c;微软亚洲研究院研究员杨奎元博士发表了《基于大规模弱标注数据的深度学习》的报告&＃xff0c;杨奎元博士指出&＃xff1a;为进一步减少这一部分的人工&＃xff0c;他们团队对弱标注数据下的深度学习进行了一些探索。随着所要求监督信息的减弱&＃xff0c;可用训练数据会大量增加。同时&＃xff0c;深度模型已经具有了很好的推广能力&＃xff0c;研究员们可用深度模型代替人工对弱标注数据自动进行强标注&＃xff0c;生成更高质量的训练数据&＃xff0c;从而训练更好的模型。
近年来&＃xff0c;以数据驱动为核心的深度学习通过逐层抽象方式形成原始数据区别性表达&＃xff0c;在自然语言、语音和计算机视觉等领域取得了显著进展。但是&＃xff0c;这一任务式、刺激式的学习机制依赖于大量标注数据&＃xff0c;如何形成解释性强、数据依赖灵活和知识引导的模型和方法&＃xff0c;是人工智能下一步发展面临主要挑战之一。
浙江大学人工智能研究院所所长吴飞教授发表报告&＃xff1a;《序列学习——数据驱动与知识引导相结合的人工智能模型与方法》&＃xff0c;对这一挑战问题的若干思考以及在知识图谱构建、Q-A问答和序列学习等方面的一些研究工作。
深度学习的能力来自于带有标注信息的大数据学习样本同深层神经元网络在复杂特征空间上泛化能力这两方面的完美结合。深层神经元网络实质上是基于人们对于脑的初步认识基础上的一种仿生模拟&＃xff0c;深度学习在一些应用的突破从一个侧面展示了脑机理的研究对于智能技术发展的重要性。
IBM中国研究院研究总监苏中博士针对脑机理这一议题&＃xff0c;发表了《Computing Future:Brain Inspired and Quantum》报告&＃xff0c;苏中博士提到&＃xff0c;智能的本质来源于脑的工作机理&＃xff0c;我们对于脑不断的认识、不断的理解&＃xff0c;应用到我们的计算技术中&＃xff0c;这就是脑启发计算&＃xff0c;也是IBM认知计算中一个重要的方向。
有了深度学习之后&＃xff0c;对传统的计算机视觉研究造成了一定的冲击&＃xff0c;这之后&＃xff0c;视觉的机理和特点会是未来研究的一大方向。北京大学数字媒体研究所副所长王亦洲博士在大会中讲解了《基于自主学习的视觉搜索与导航》这一报告。
深度学习近两年的成功离不开他在工业界中的大量应用&＃xff0c;百度IDL深度学习技术方向负责人周杰根据他在工业界的经验&＃xff0c;在大会中作了以《深度学习这两三年》为主题的报告&＃xff0c;内容包括优化算法、模型设计、并行工程、语言理解、长短记忆时序模型、注意力模型、语义角色标注、机器翻译、蜂巢广告触发、卷积神经网络、时序神经网络、Image Caption和Image QA等。
随后&＃xff0c;清华大学自动化系季向阳教授在大会中做了《物体检测与分割深度学习的发展及应用》的报告&＃xff0c;季向阳教授首先介绍全卷积网络在语义分割与实例掩模研究方面的进展&＃xff0c;之后介绍面向实例关联语义分割任务的端到端全卷积网络解决方案。该网络结构具有高度的集成性和高效性&＃xff0c;可以联合执行实例预测和分类&＃xff0c;其中的卷积表示层可以被两子任务所共享&＃xff0c;从而在分割的精度和效率性能上取得良好的效果。进一步从全光函数定义出发&＃xff0c;探讨如何从传统单一维度成像拓展到多维耦合成像与解耦重建的计算摄像&＃xff0c;实现多维多尺度的传感成像方法。最后&＃xff0c;针对雷达、定位信息&＃xff08;GPS&＃xff0c;里程计&＃xff0c;惯导等&＃xff09;等具有多传感信息的自动驾驶平台&＃xff0c;介绍端到端视觉系统学习中目标&＃xff08;如红绿灯、车道线与行人等&＃xff09;的识别与检测算法以及相应的硬件实现。
系统地研究如何把一个训练好的神经网络变化成为一个新的网络&＃xff0c;并且保持原有神经网络的功能完全不变&＃xff0c;该过程定义为网络变形。
针对网络变形的主题&＃xff0c;今日头条人工智能实验室技术总监王长虎博士发表报告&＃xff1a;《网络变形&＃xff1a;一种新的神经网络学习理念》&＃xff0c;王长虎介绍到&＃xff1a;在父网络变形之后&＃xff0c;我们期望得到的子网络能够完整继承父网络的知识&＃xff0c;同时在更短的时间里继续增长为一个更强大的网络。这种网络变形的第一个要求是它能够处理各种网络变化的能力&＃xff0c;包括深度的变化&＃xff0c;宽度的变化&＃xff0c;内核大小的变化&＃xff0c;甚至是整个子网络的变化。为了满足这个要求&＃xff0c;我们首先引入网络变形方程&＃xff0c;然后为所有这些变化类型提出了变形算法。这些变形算法对于经典神经网络和卷积神经网络都适用。网络变形的第二个要求是它能够处理神经网络中非线性的能力。为此&＃xff0c;我们提出了参数激活函数族的概念&＃xff0c;以帮助任何非线性连续激活神经元函数的变形。实验结果显示&＃xff0c;我们提出的网络变形的神经网络学习理念在标准数据集和典型的神经网络上都是有效的。
自然语言理解和机器翻译被认为是人工智能的核心难题之一&＃xff0c;那么什么是自然语言理解&＃xff1f;其研究现状、挑战和未来的发展方向是什么&＃xff1f;近两三年来&＃xff0c;深度学习技术使很多人工智能问题的准确率得到显著提升&＃xff0c;那么深度学习技术为自然语言理解和机器翻译带来了哪些新的发展机遇&＃xff1f;它又是如何解决自然语言理解和机器翻译问题&＃xff1f;下一步发展方向是什么&＃xff1f;苏州大学计算机学院副院长张民教授发表报告&＃xff1a;《面向自然语言理解和机器翻译的深度学习》。
GPU作为人工智能计算的基础&＃xff0c;其核心生产商NVIDIA也自然随着人工智能的火热进入了井喷式的发展期。此次大会中&＃xff0c;NVIDIA中国区高性能计算及Applied Deep Learning部门技术经理赖俊杰博士在大会中做了《深度学习应用到视频智能处理的产品化实践》的报告。
3月25日最后的报告主题是《深度学习与医疗影像大数据分析》&＃xff0c;由中国科学院计算机网络信息中心副研究员赵地博士讲述。赵地博士说道&＃xff0c;医疗大数据主要包括电子病历&＃xff08;Electronic Health Record&＃xff09;数据&＃xff0c;医学影像数据&＃xff0c;基因信息数据等。其中&＃xff0c;医学影像数据占现阶段医疗数据的绝大部分。如何将医疗大数据运用于临床实践&＃xff1f;这是医学和计算机研究人员都很关心的问题&＃xff0c;而智能影像与深度学习提供了一个很好的答案。报告结合医学影像大数据分析的最新研究进展和本课题组在医学影像大数据分析领域的工作&＃xff0c;特别是在阿尔茨海默病的核磁共振早期诊断为例&＃xff0c;介绍了智能影像和深度学习在医疗大数据分析与疾病早期诊断领域的应用。
3月26日的第一场报告是由华南理工大学金连文教授演讲&＃xff0c;主题为《深度学习及其在文字识别中的应用实践》。在此报告中&＃xff0c;金连文简要回顾了深度学习的主要技术及其在图像识别、文字识别等方面一些最新研究进展&＃xff0c;同时介绍基于 Path Signature 及深度学习的手写文字识别新方法&＃xff0c;以及面向文字识别的DropSample、DropSegment等深度学习训练技术&＃xff0c;并展示了基于深度学习的几个应用演示系统&＃xff0c;包括在线大类别文字识别、人脸美丽颜值打分、面向特定领域的OCR在线识别应用等演示系统。
作为AI创业公司的代表之一&＃xff0c;格灵深瞳的CTO邓亚峰也在大会中发表报告《计算机视觉大规模应用的必经之路》&＃xff0c;邓亚峰首先介绍了计算机视觉的研究目标、应用趋势及面临的挑战和机遇&＃xff0c;其次&＃xff0c;就如何让深度学习和数据形成良好循环、深度学习遇到depth、让“感”和“知”互动起来、少即是多、由感知到行动等阐述自己的认识&＃xff0c;最后&＃xff0c;提出计算机视觉大规模应用的必经之路。
中科院自动化所模式识别国家重点实验室研究员黄凯奇博士在大会最后做了以《基于深度表达学习的RGB-D物体识别及场景理解》为题的报告。黄凯奇博士提到&＃xff1a;近十年来&＃xff0c;基于RGB图片的2D语义理解一直占据最主流的研究方向。由于RGB图片在物体或场景表达中很容易受到外界光线变化以及背景嘈杂的影响&＃xff0c;极大的限制了基于RGB图片的计算机算法在实际中的运用。近几年来&＃xff0c;随着深度传感技术的发展&＃xff0c;像微软的Kinect&＃xff0c;能够同时捕捉到高精度的深度图片以及RGB图片&＃xff0c;结合两者很好的弥补了传统的单一RGB图片的上述缺陷&＃xff0c;为鲁棒性好、精度高的物体识别与场景理解提供了可能性&＃xff0c;也极大的推动了基于RGB-D的物体识别及场景理解的研究与应用。报告从以下几个方面展开&＃xff1a;1&＃xff09;探讨RGB-D的特征表达与学习&＃xff0c;包括人工设计特征、无监督学习特征以及深度学习特征&＃xff1b;2&＃xff09;探讨RGB-D的模态融合&＃xff1b;3&＃xff09;介绍RGB-D在物体识别及场景理解的相关应用及进展。
深度学习时代&＃xff1a;顺势而为&＃xff0c;朝着更高远的方向出发
中国电子学会主办的“2017全国深度学习技术应用大会”在3月26日中午结束&＃xff0c;正如14位嘉宾在报告中所传达的观念一样&＃xff1a;深度学习的出现对很多传统的研究方法造成了一定的冲击&＃xff0c;这时候&＃xff0c;顺势而为地应用深度学习是符合时宜的选择。与此同时&＃xff0c;研究者们也可以把精力投入到其他更深层次的研究中去。而此次大会无疑把深度学习的应用案例以及深度学习时代的新研究方向传递给了更多人。
本文作者&＃xff1a;亚峰
本文转自雷锋网禁止二次转载&＃xff0c;原文链接
京公网安备 11010802041100号