【本周特惠课程】深度学习模型优化（剪枝量化蒸馏）核心技术理论与实战！...

前言

欢迎大家关注有三AI的视频课程系列&＃xff0c;我们的视频课程系列共分为5层境界&＃xff0c;内容和学习路线图如下&＃xff1a;

第1层&＃xff1a;掌握学习算法必要的预备知识&＃xff0c;包括Python编程&＃xff0c;深度学习基础&＃xff0c;数据使用&＃xff0c;框架使用。

第2层&＃xff1a;掌握CV算法最底层的能力&＃xff0c;包括模型设计基础&＃xff0c;图像分类&＃xff0c;模型分析。

第3层&＃xff1a;掌握CV算法最核心的方向&＃xff0c;包括图像分割&＃xff0c;目标检测&＃xff0c;图像生成&＃xff0c;视频分类。

第4层&＃xff1a;掌握CV算法最核心的应用&＃xff0c;包括人脸图像&＃xff0c;图像质量&＃xff0c;视频分析&＃xff0c;图像编辑。

第5层&＃xff1a;掌握算法落地的关键技术&＃xff0c;包括模型优化&＃xff0c;模型部署。

其中部分课程的主体内容已经更新完毕&＃xff0c;比如数据使用/模型分析/图像分类/图像分割/目标检测/图像生成/图像翻译/图像增强/视频分类/模型部署/模型优化/人脸图像检测与识别/人脸属性编辑&＃xff1b;部分课程正在重制更新中&＃xff0c;比如人脸三维重建&＃xff1b;部分课程正在计划上线中&＃xff0c;比如通用图像编辑/视觉Transformer/强化学习/半监督与无监督&＃xff0c;请大家及时关注&＃xff01;

最新的完整介绍如下&＃xff1a;【总结】最系统化的CV内容&＃xff0c;有三AI所有免费与付费的计算机视觉课程汇总&＃xff08;2022年12月&＃xff09;

2023年开始&＃xff0c;每周都会有一门课程在当周有9折特惠&＃xff0c;本周特惠课程是《深度学习之模型优化&＃xff1a;理论实践篇》&＃xff0c;特惠价格是314元&＃xff0c;本课程的目标是帮助大家掌握深度学习模型优化的核心内容。

为什么要学习这门课

好的模型结构是深度学习成功的关键因素之一&＃xff0c;不仅是非常重要的学术研究方向&＃xff0c;在工业界实践中也是模型是否能上线的关键。对各类底层深度学习模型设计和优化技术理解的深度是决定我们能否在深度学习项目中游刃有余的关键&＃xff0c;模型压缩与优化是专门针对模型进行精简的技术&＃xff0c;这是模型能够在各类嵌入式平台使用的关键技术&＃xff0c;包括紧凑模型设计&＃xff0c;模型剪枝&＃xff0c;模型量化&＃xff0c;模型蒸馏&＃xff0c;自动化模型设计等内容。

当前许多成熟的框架都支持进行模型的压缩优化&＃xff0c;比如Tensorflow、TensorRT&＃xff0c;内置了经典的模型压缩优化方法。

为了帮助大家系统性地学习深度学习模型优化的相关内容&＃xff0c;我们推出了《深度学习之模型优化》系列课程&＃xff0c;目前已完成约7个小时的理论课&＃43;4个小时的实践课&＃xff08;还在更新中&＃xff09;。

子欲学深度学习&＃xff0c;模型优化是必学进阶内容&＃xff01;我们这一门课期望帮大家彻底搞定模型优化的学习问题&＃xff01;课程的第一阶段内容已经更新完毕&＃xff0c;本课程结合实际项目&＃xff0c;将所学理论应用于实践。

深度学习之模型优化课程

课程内容介绍

本课程内容包括模型优化压缩的经典算法理论与实践&＃xff0c;目前一期已经基本更新完毕&＃xff0c;超过10个小时&＃xff0c;涵盖了深度学习模型压缩的核心领域&＃xff0c;包括模型剪枝、模型量化、知识蒸馏等&＃xff0c;既有足够的宽度&＃xff0c;也具备有足够的深度。我们会非常详细地讲解算法中的细节&＃xff0c;帮助彻底消化算法原理&＃xff1b;

下图是已有课程的大纲脑图&＃xff1a;

下面简单了解一下各部分的内容&＃xff1a;

(1) 模型剪枝基础&＃xff0c;包括模型剪枝的基本概念&＃xff0c;模型的冗余性分析&＃xff0c;约25分钟【本部分内容可以免费收听】。

(2) 非结构化模型剪枝&＃xff08;基础篇&＃xff09;&＃xff0c;包括基于幅度的连接权重剪枝框架及其改进&＃xff0c;约25分钟【本部分内容可以免费收听】。

(3) 结构化模型剪枝&＃xff0c;包括幅度篇、稀疏权重篇、稀疏因子篇、重建篇&＃xff0c;详细介绍了当前各种主流的结构化模型剪枝技术&＃xff0c;一共约110分钟。

(4) 模型量化基础&＃xff0c;介绍模型量化方法的分类&＃xff0c;模型量化的优势&＃xff0c;约20分钟&＃xff0c;本部分内容可以免费收听。

(5) 2值模型量化&＃xff0c;包括基础篇、重建篇&＃xff0c;详细介绍了当前主流的2值网络&＃xff0c;约50分钟。

(6) 8bit模型量化&＃xff0c;介绍的内容包括基于KL散度的对称量化、非对称的训练时与训练后量化框架&＃xff0c;时长约45分钟。

(7) 混合模型量化&＃xff0c;介绍了基于不同位宽的激活值、权重值、梯度值的量化训练框架&＃xff0c;约30分钟。

(8) 知识蒸馏基础&＃xff0c;包括知识蒸馏的概念与迁移学习基础&＃xff0c;约25分钟【本部分内容可以免费收听】。

(9) 知识蒸馏框架&＃xff0c;包括基于特征匹配&＃xff0c;基于优化目标驱动&＃xff0c;基于自蒸馏的框架&＃xff0c;时长约90分钟。

(10) Distiller模型压缩框架&＃xff0c;介绍Distiller的整体架构&＃xff0c;模型剪枝与模型量化的功能模块&＃xff0c;约40分钟【本部分内容可以免费收听】。

(11) 结构化模型剪枝实践&＃xff0c;包括基准模型训练以及基于稀疏约束与缩放因子的结构化剪枝实践&＃xff0c;约60分钟。

(12) 8bit模型量化实践&＃xff0c;包括量化校准表生成与模型量化&＃xff0c;ncnn框架介绍&＃xff0c;模型转化与推理&＃xff0c;约50分钟。

(13) 模型蒸馏实践&＃xff0c;包括模型训练与蒸馏&＃xff0c;一共约30分钟。

(14) 早期直播回放&＃xff0c;包括模型压缩基础&＃xff0c;模型精简设计实践&＃xff0c;模型剪枝实践&＃xff0c;模型量化实践&＃xff0c;模型蒸馏实践&＃xff0c;工程技巧&＃xff0c;AutoML的应用&＃xff0c;约60分钟。

以上就是已有的课程内容&＃xff0c;共计超过10个小时&＃xff0c;后续还会持续丰富完善内容&＃xff0c;请大家保持关注。

本课程讲师为言有三&＃xff0c;讲师简介如下&＃xff1a;

龙鹏&＃xff0c;笔名言有三&＃xff0c;技术社区《有三AI》创始人。先后就读于华中科技大学(2008-2012)&＃xff0c;中国科学院半导体研究所神经网络实验室(2012-2015)&＃xff0c;先后就职于奇虎360人工智能研究院(2015.7-2017.5)&＃xff0c;陌陌科技深度学习实验室(2017.5-2019.3)&＃xff0c;深度学习算法专家&＃xff0c;阿里云MVP&＃xff0c;华为云MVP。

拥有超过7年的计算机视觉从业经验&＃xff0c;拥有丰富的传统图像算法和深度学习计算机视觉项目经验&＃xff0c;著有书籍《深度学习之图像识别&＃xff1a;核心技术与案例实战》(机械工业出版社2019.4)&＃xff0c;《深度学习之模型设计&＃xff1a;核心算法与案例实践》(电子工业出版社2020.6)&＃xff0c;《深度学习之人脸图像处理&＃xff1a;核心算法与案例实战》(机械工业出版社2020.7)&＃xff0c;《深度学习之摄影图像处理&＃xff1a;核心算法与案例精粹》(人民邮电出版社2021.4)&＃xff0c;《生成对抗网络GAN&＃xff1a;原理与实践》(机械工业出版社2022.10)&＃xff0c;拥有10余项发明技术专利与学术论文。

擅长领域&＃xff1a;Caffe&＃xff0c;Tensorflow&＃xff0c;Pytorch等主流深度学习平台。神经网络与深度学习理论&＃xff0c;深度学习模型设计与优化&＃xff0c;计算机视觉的基础领域&＃xff0c;AI美学&＃xff0c;2D与3D人脸算法&＃xff0c;生成对抗网络GAN等领域。

本课程是模型使用课程的其中一部分&＃xff0c;属于有三AI整个课程体系中的高阶课程&＃xff0c;需要大家已经能够熟练使用深度学习框架与基础模型&＃xff0c;建议与另外3门课程配合享用&＃xff0c;包括《深度学习之模型分析》&＃xff0c;《深度学习之模型设计》&＃xff0c;《深度学习之模型部署》&＃xff0c;详细介绍请查看&＃xff1a;

【视频课】AI必学&＃xff0c;超3小时&＃xff0c;3大模块&＃xff0c;掌握模型分析核心技术&＃xff01;

【视频课】AI必学&＃xff0c;超20小时&＃xff0c;4大模块&＃xff0c;循序渐进地搞懂CNN模型设计与简单部署&＃xff01;

【视频课】快速掌握6大模型部署框架(Pytorch&＃43;NCNN&＃43;MNN&＃43;Tengine&＃43;TensorRT&＃43;微信小程序)&＃xff01;

如何获取课程

订阅本课程的方法有两个&＃xff1a;

其一&＃xff1a;订阅《深度学习之模型优化》专栏&＃xff0c;随着内容增加价格会不断增加&＃xff0c;感兴趣的请提前订阅&＃xff0c;链接如下&＃xff1a;

已有的课程目录如下&＃xff1a;

其二&＃xff1a;参加有三AI-CV秋季划-模型优化组&＃xff0c;可以获得4套模型设计与优化部署相关的课程&＃xff0c;包括《深度学习之模型设计-理论实践篇》&＃xff0c;《深度学习之模型分析-理论实践篇》&＃xff0c;《深度学习之模型优化-理论实践篇》&＃xff0c;《深度学习之模型部署-移动端与服务端》&＃xff0c;《深度学习之数据使用-理论实践篇》&＃xff0c;了解课程目录可以扫码&＃xff1a;

课程设有交流群&＃xff0c;大家在订阅课程后可以添加小助手入群&＃xff1a;

同时欢迎在深度学习领域有沉淀积累的同学加入有三AI生态&＃xff0c;让更多人受益&＃xff01;

往期相关

• 【视频课】CV必学&＃xff0c;超7小时&＃xff0c;3大模块&＃xff0c;3大案例&＃xff0c;掌握图像翻译与风格化GAN核心技术&＃xff01;

• 【视频课】AI必学&＃xff0c;超20小时&＃xff0c;4大模块&＃xff0c;循序渐进地搞懂CNN模型设计与简单部署&＃xff01;

• 【视频课】AI必学&＃xff0c;超3小时&＃xff0c;3大模块&＃xff0c;掌握模型分析核心技术&＃xff01;

• 【视频课】CV必学&＃xff0c;超6小时&＃xff0c;2大模块&＃xff0c;循序渐进地搞懂GAN图像生成&＃xff01;

• 【视频课】CV必学&＃xff0c;超30小时&＃xff0c;4大模块&＃xff0c;4大案例&＃xff0c;循序渐进地搞懂目标检测&＃xff01;

• 【视频课】CV必学&＃xff0c;超8小时&＃xff0c;3大模块&＃xff0c;3大案例&＃xff0c;循序渐进地搞懂视频分类与行为识别&＃xff01;

• 【视频课】CV必学&＃xff0c;超10小时&＃xff0c;3大模块&＃xff0c;4大案例&＃xff0c;循序渐进地搞懂图像分割&＃xff01;

• 【视频课】CV必学&＃xff0c;超10小时&＃xff0c;3大模块&＃xff0c;5大案例&＃xff0c;循序渐进地搞懂图像分类理论与实践&＃xff01;

• 【视频课】快速掌握6大模型部署框架(Pytorch&＃43;NCNN&＃43;MNN&＃43;Tengine&＃43;TensorRT&＃43;微信小程序)&＃xff01;

• 【视频课】13小时&＃43;4大项目掌握深度学习人脸图像检测与识别

• 【视频课】超10小时&＃xff0c;3大模块&＃xff0c;掌握深度学习人脸属性编辑算法理论与实践