趣味深度学习系列（一）：深度学习技术中的“教师”与“学生”

老师&＃xff0c;

您辛苦了

“师者&＃xff0c;所以传道受业解惑也。”

教师&＃xff0c;是神圣而伟大的职业&＃xff0c;倾其所能&＃xff0c;教书育人&＃xff0c;桃李遍开花。

今天是教师节&＃xff0c;首先祝所有的老师们节日快乐&＃xff01;

&＃xff08;图片源于网络&＃xff09;

提到深度学习、老师这两个关键词&＃xff0c;第一时间是不是想到的是站在讲台上&＃xff0c;写着复杂的损失函数和信息论的授课讲师&＃xff0c;亦或是教学视频里面&＃xff0c;带你劈哩叭啦一行一行敲代码的实践老师&＃xff1f;

感谢恩师之余&＃xff0c;你是否知道&＃xff0c;在深度学习的技术中&＃xff0c;有这样一个有趣的算法竟然也包含着teacher和student的奥义&＃xff1f;

不卖关子&＃xff0c;它就是&＃xff1a;

知识蒸馏&＃xff08;Distill&＃xff09;

一种既可以认为是迁移学习也可以认为是模型压缩的算法&＃xff0c;最早由 Hinton 在 2015 年提出&＃xff0c;不知道是不是也是受他多年教学生涯的启发呢。

化学课上的蒸馏&＃xff0c;是不是又想起了高中的化学老师

深度学习技术里的模型蒸馏&＃xff0c;虽然不是化学里面的概念&＃xff0c;但其实也是一个非常形象的过程&＃xff0c;在详细的技术介绍之前&＃xff0c;我们先通俗的理解一下这个概念。

模型蒸馏&＃xff0c;是指将一个复杂模型&＃xff08;teacher&＃xff09;所学习到的有效信息提取出来&＃xff0c;迁移到一个更简单的模型&＃xff08;student&＃xff09;中去&＃xff0c;这里就涉及到了“师”与“生”【知识传授】的概念。

我们都知道&＃xff0c;对神经网络来说&＃xff0c;模型结构越复杂&＃xff0c;参数越多&＃xff0c;网络能学习到的知识就越丰富&＃xff0c;效果也越好。但是过于复杂的神经网络&＃xff0c;它的运算量和资源消耗都是非常大的&＃xff0c;不便于在移动端的部署。

我们将复杂网络类比成是teacher&＃xff0c;teacher耗费大量的时间和精力&＃xff0c;终于习得了大量的知识。此时&＃xff0c;伟大的teacher将毕生所学中最精华的部分“蒸馏”和提炼出来&＃xff0c;毫无保留地传授给student网络&＃xff0c;能够让student 网络用很简单的结构&＃xff0c;就掌握teacher网络中最精华最有价值的知识&＃xff0c;从而达到逼近teacher的模型效果&＃xff0c;可谓是“浓缩的都是精华”。

这就是对模型蒸馏最通俗的解释。

经模型蒸馏而得到的student网络&＃xff0c;兼具结构简单、准确率高、运算量和资源消耗小等优点。模型蒸馏一般被归类到模型压缩算法中&＃xff0c;算是众多模型压缩算法中的一个&＃xff0c;在具体了解模型蒸馏之前&＃xff0c;我们一起来看看它的大家族模型压缩工具集吧。

01

飞桨模型压缩工具集PaddleSlim

除模型蒸馏外&＃xff0c;PaddleSlim还提供了模型剪裁、量化训练、轻量神经网络结构自动搜索等功能&＃xff0c;并且支持多种压缩策略的组合使用&＃xff0c;帮助您的模型减肥瘦身&＃xff01;

我们以MobileNetV1模型为Baseline&＃xff0c;在ImageNet 1000类分类任务上对PaddleSlim的压缩效果进行了实测&＃xff1a;

• 采用【ResNet50蒸馏训练&＃43;量化】的策略&＃xff0c;模型大小由17.0M压缩至4.8M&＃xff0c;实现了71.76%的压缩&＃xff0c;精度不但没有损失反而提升了1.38%&＃xff08;top5&＃xff09;和1.06%&＃xff08;top1&＃xff09;。

• 采用【剪裁-50% FLOPS&＃43;量化】的策略&＃xff0c;模型大小由17.0M压缩至2.3M&＃xff0c;实现了86.47%的压缩&＃xff0c;精度损失只有0.43%&＃xff08;top5&＃xff09;和1.71%&＃xff08;top1&＃xff09;。

详细数据如下&＃xff1a;

以MobileNet v2为Baseline&＃xff0c;基于模拟退火的自动剪枝策略和轻量级模型结构自动搜索功能Light-NAS在精度几乎无损的情况下&＃xff0c;FLOPS 减少了17%。详细数据如下&＃xff1a;  

02

PaddleSlim压缩算法介绍

PaddleSlim提供了模型蒸馏、模型剪裁、量化训练、轻量神经网络结构自动搜索等多种压缩算法&＃xff0c;下面我们逐一地进行介绍。

2.1 模型蒸馏

在PaddleSlim工具包中&＃xff0c;支持两种模型蒸馏的方法。

(1) 传统的蒸馏方法

模型蒸馏的概念&＃xff0c;最早由Hinton 在 2015 年提出&＃xff0c;核心思想是用一个或多个训练好的 teacher&＃xff08;大模型&＃xff09;指导 student&＃xff08;小模型&＃xff09;进行训练&＃xff0c;在论文「Distilling the Knowledge in a Neural Network」中&＃xff0c;对于分类任务要学习的目标&＃xff0c;将图片实际的类别概率信息称为 hard target&＃xff08;只有真实类别对应的概率为 1&＃xff0c;其他为 0&＃xff09;&＃xff0c;而模型输出的类别概率信息称为 soft target&＃xff08;各个类别概率都为一个大于 0 的值&＃xff09;。

由于类别之间具有相关性&＃xff0c;softtarget 相比 hard target 具有更高的信息熵&＃xff0c;比如一张猫的图片&＃xff0c;在 soft target 中&＃xff0c;其分到狗的概率一般会大于分到汽车的概率&＃xff0c;而不是 hardtarget 中将它们都设置为 0&＃xff0c;导致没有区别。

使用大模型产生 softtarget 代替 hard target 能获得更多的信息和更小的梯度方差&＃xff0c;可以达到更好的性能。一般模型蒸馏的流程如下&＃xff0c;先训好一个大模型&＃xff0c;让后让小模型去拟合大模型产生的 soft target&＃xff0c;在蒸馏结束后&＃xff0c;一般还会使用真实的 label 信息进行 fine-tuning&＃xff0c;如下图所示&＃xff1a;

另外&＃xff0c;为了使 softtarget 中各个类别的概率值更加平滑&＃xff0c;文章中还引入了一个温度系数 T 的概念&＃xff0c;对大模型输出的概率值做一个平滑处理&＃xff0c;具体公式如下&＃xff1a;

T 一般被设置成一个大于 1 的数&＃xff0c;T值越大&＃xff0c;输出的概率值越平滑。

(2) 基于FSP的蒸馏方法

相比传统的蒸馏方法直接用小模型去拟合大模型产生的soft target&＃xff0c;论文「A Gift from Knowledge Distillation: FastOptimization, Network Minimization and Transfer Learning」尝试用小模型去拟合大模型不同层特征之间的转换关系&＃xff08;flow of the solution procedure&＃xff09;&＃xff0c;用一个 FSP 矩阵&＃xff08;特征的内积&＃xff09;来表示不同层特征之间的关系&＃xff0c;计算公式如下&＃xff1a;

大模型和小模型不同层之间分别获得多个 FSP 矩阵&＃xff0c;对于 Resnet 网络结构&＃xff0c;每个 stage 可产生一个 FSP 矩阵&＃xff0c;然后使用 L2 loss 让小模型的对应层 FSP 矩阵和大模型对应层的 FSP 矩阵尽量一致&＃xff0c;具体公式如下&＃xff1a; 

基于FSP的蒸馏全过程如下图&＃xff1a;

FSP蒸馏方法的效果是优于传统蒸馏方法的。

通俗一点的解释是&＃xff0c;蒸馏的过程其实就是teacher&＃xff08;大模型&＃xff09;教 student&＃xff08;小模型&＃xff09;解决问题的过程。在教学的过程中&＃xff0c;传统蒸馏方法是teacher直接告诉student这道问题的答案&＃xff0c;让小模型记住&＃xff1b;而FSP蒸馏方法则是让student学习teacher在解决问题时的中间过程和方法。

正所谓“授人以鱼不如授人以渔”&＃xff0c;FSP蒸馏方法自然能取得更优的效果。

除了模型蒸馏之外&＃xff0c;PaddleSlim还提供了多种模型压缩算法

    2.2 模型剪裁

• 支持通道均匀模型剪裁&＃xff08;uniform pruning&＃xff09;、基于敏感度的模型剪裁、基于进化算法的自动模型剪裁三种方式

• 支持VGG、ResNet、MobileNet等各种类型的网络

• 支持用户自定义剪裁范围

    2.3 量化训练

a&＃xff1a;支持动态和静态两种量化训练方式

• 动态策略: 在推理过程中&＃xff0c;动态统计激活的量化参数。

•  静态策略: 在推理过程中&＃xff0c;对不同的输入&＃xff0c;采用相同的从训练数据中统计得到的量化参数。

b&＃xff1a;支持对权重全局量化和Channel-Wise量化

c&＃xff1a;支持以兼容Paddle Mobile的格式保存模型

    2.4 轻量神经网络结构自动搜索

• 支持基于进化算法的轻量神经网络结构自动搜索&＃xff08;Light-NAS&＃xff09;

    2.5 其它功能

• 支持配置文件管理压缩任务超参数

• 支持多种压缩策略组合使用

• 蒸馏和模型剪裁压缩过程支持checkpoints功能

03

传送门

PaddleSlim实战教程&＃xff1a;

https://github.com/PaddlePaddle/models/blob/v1.5.1/PaddleSlim/docs/usage.md

想与更多的深度学习开发者交流&＃xff0c;请加入飞桨官方QQ群&＃xff1a;796771754。

如果您想详细了解更多飞桨PaddlePaddle的相关内容&＃xff0c;请参阅以下文档。

官网地址&＃xff1a;https://www.paddlepaddle.org.cn

项目地址&＃xff1a;

https://github.com/PaddlePaddle/models/tree/v1.5.1/PaddleSlim