花式Finetune方法大汇总

每天给你送来NLP技术干货&＃xff01;

来自&＃xff1a;圆圆的算法笔记

作者&＃xff1a;Fareise

迁移学习广泛地应用于NLP、CV等各种领域&＃xff0c;通过在源域数据上学习知识&＃xff0c;再迁移到下游其他目标任务上&＃xff0c;提升目标任务上的效果。其中&＃xff0c;Pretrain-Finetune&＃xff08;预训练&＃43;精调&＃xff09;模式是最为常见的一种迁移学习方法。例如NLP中的预训练Bert模型&＃xff0c;通过在下游任务上Finetune即可取得比直接使用下游数据任务从零训练的效果要好得多。

虽然在预训练模型上Finetune能取得非常好的效果&＃xff0c;我们经常使用Finetune方法&＃xff0c;但是你是否有想过这种Finetune方法有没有什么优化方法&＃xff1f;如何Finetune对最终效果好坏有非常大的影响。例如&＃xff0c;在Finetune时我们会考虑要迁移预训练网络的哪些层&＃xff0c;哪些层需要冻结&＃xff0c;哪些层需要随着模型一起Finetune。实际应用时&＃xff0c;我们往往需要尝试不同的迁移方法和Finetune策略来达到最优效果。目前学术界也有很多创新性较强的花式Finetune方法研究。本文介绍了来自2018年以来ICML、CVPR等顶会的7篇论文&＃xff0c;总结了Finetune的四种类型招式&＃xff0c;通过更科学的Finetune方式&＃xff0c;提升迁移学习效果。

1

招式1&＃xff1a;使用Pretrain模型做约束

在Finetune阶段&＃xff0c;如果我们可用于Finetune的目标任务数据量较少时&＃xff0c;很有可能出现过拟合现象&＃xff0c;严重影响模型效果&＃xff1b;或者在Finetune过程中出现知识遗忘问题&＃xff08;catastrophic memory&＃xff09;&＃xff0c;把Pretrain阶段学到的有用知识遗忘&＃xff0c;丢了西瓜捡了芝麻。为了解决这种问题&＃xff0c;学术界提出利用Pretrain模型作为约束&＃xff0c;指导Finetune的过程&＃xff0c;让Finetune得到的模型更加鲁棒。具体包括&＃xff1a;直接使用Pretrain模型的参数作为约束、使用Pretrain模型的中间层表示作为约束、使用Pretrain模型对不同特征注意力强度作为约束。

为了防止模型在Finetune阶段过拟合目标任务数据&＃xff0c;或忘记了Pretrain阶段学到的有意义知识&＃xff0c;Explicit inductive bias for transfer learning with convolutional networks&＃xff08;ICML 2018&＃xff09;这篇文章介绍了一种使用Pretrain模型参数约束Finetune过程的方法&＃xff1a;通过添加Pretrain模型参数和Finetune模型参数之间的某种正则化损失&＃xff0c;让Finetune后的模型参数和最开始的Pretrain模型参数更加相似。文章中尝试了多种正则化方法&＃xff0c;通过最终的实验发现&＃xff0c;一个简单的L2正则效果最好&＃xff0c;即对于Pretrain模型和Finetune模型的对应层的参数计算L2距离&＃xff0c;作为Finetune过程中损失函数的一部分&＃xff0c;公式如下&＃xff08;w为Finetune参数&＃xff0c;w0位Pretrain参数&＃xff09;&＃xff1a;

通过L2正则化的方法拉近Pretrain模型和Target模型参数也存在一定问题&＃xff0c;如何设定正则化的强度直接决定了迁移效果&＃xff0c;正则化太弱仍然会导致过拟合和信息遗忘&＃xff0c;迁移强度太强会导致Finetune的模型在Target任务上不是最优解。百度的文章DELTA: DEEP LEARNING TRANSFER USING FEATURE MAP WITH ATTENTION FOR CONVOLUTIONAL NET- WORKS&＃xff08;ICLR 2019&＃xff09;提出&＃xff0c;通过约束网络的behavior&＃xff0c;即feature map&＃xff0c;而非模型参数&＃xff0c;来实现约束目标。具体的&＃xff0c;约束项可以表示为如下形式&＃xff1a;

其中&＃xff0c;Wj表示第j个卷积层的约束强度&＃xff0c;FM表示第i个样本经过参数w提取的feaure map。Wj的计算方法为&＃xff0c;使用Pretrain的模型Freeze住底层Feature Extractor参数&＃xff0c;Finetune后面Discriminator参数&＃xff0c;通过衡量去掉每个channel后效果的损失&＃xff0c;的到这个channel的迁移强度。如果去掉Pretrain模型某个channel后效果下降特别明显&＃xff0c;说明Pretrain得到的这个channel的信息对Target任务是很有效的&＃xff0c;这个时候要增大这种channel参数的迁移强度。

采用Pretrain模型对Finetune模型进行约束需要引入额外的正则化Loss&＃xff0c;可以被称为Transfer Loss。由于Transfer Loss和Target Task Loss的优化目标不同&＃xff0c;如何平衡两个Loss的关系决定了迁移效果。为了统一这两种Loss&＃xff0c;Robust Knowledge Transfer via Hybrid Forward on the Teacher-Student Model&＃xff08;AAAI 2021&＃xff09;提出了一种混合前向网络。当一个样本输入时&＃xff0c;会通过三种不同的路径得到三种Loss&＃xff0c;Loss1和Loss2通过交替进入Student网络&＃xff08;Target Task模型&＃xff09;某层和Teachder网络&＃xff08;Pretrain模型&＃xff09;某层&＃xff0c;最终再通过Target Task Head得到&＃xff1b;Loss3只进入Student网络通过Target Task Head得到。Loss1和Loss2代表了Student网络和Teachder网络Transfer Loss&＃xff0c;Loss3代表了Target Task的优化Loss。与之前方法相比&＃xff0c;该方法的三个Loss都是以优化Target Task为目标的&＃xff0c;因此可以通过直接对比来判断目前的Transfer强度是否太强。文中设计了一种简单的平衡Transfer Loss和Target Loss的方法&＃xff0c;让两个任务的Loss同等重要&＃xff0c;随着训练过程动态计算Loss1和Loss2的权重。

2

招式2&＃xff1a;选择性地对Pretrain模型迁移

Pretrain模型中的参数不一定都是对下游任务有帮助的&＃xff0c;因此一些研究提出&＃xff0c;对Pretrain的模型进行有选择性的迁移&＃xff0c;重点迁移那些对下游任务帮助大的信息。Learning What and Where to Transfer&＃xff08;ICML 2019&＃xff09;中提出一种基于meta-learning的迁移学习方法。这篇文章的核心思路建立在FITNETS: HINTS FOR THIN DEEP NETS&＃xff08;ICLR 2015&＃xff09;一文提出的迁移方法之上&＃xff0c;让Target模型通过一个回归任务拟合Pretrain模型中间层的表示&＃xff0c;该优化目标可以表示为&＃xff1a;

在FitNet中WGuided和WHint分别表示Target模型的Pretrain模型某一对应层的参数。Learning What and Where to Transfer&＃xff08;ICML 2019&＃xff09;对该方法进行了扩展。在What to transfer阶段&＃xff0c;对每一个channel的迁移做一个权重学习&＃xff0c;每个channel的权重是通过一个单独的网络输入图片在Source模型的输出计算得到的&＃xff08;T代表Target模型&＃xff0c;S代表Source模型&＃xff0c;与FitNet中的Guided和Hint相对应&＃xff09;&＃xff1a;

在Where to transfer阶段&＃xff0c;主要决定Source模型到Target模型的迁移层pair&＃xff0c;即Source模型的第i层参数要迁移到Target模型的哪一层。类似What to transfer&＃xff0c;通过一个单独的网络学习(i,j)这组Source模型到Target模型pair对的迁移强度&＃xff1a;

最终的Loss由上面两个阶段的Loss&＃xff0c;以及任务本身的Loss共同组成。在训练阶段&＃xff0c;文章采用了Meta-learning的方法&＃xff0c;内循环阶段更新总体Loss&＃xff0c;外循环阶段更新三个Loss的总和。Meta-learning原理可以参考历史文章Meta-learning核心思想及近年顶会3个优化方向。

3

招式3&＃xff1a;在Finetune阶段调整网络结构

之前介绍的迁移学习方法&＃xff0c;大多数都是通过Finetune对Pretrain模型的参数进行调整。然而&＃xff0c;下游的Target任务可能需要和Source任务采用不同的模型结构来更好的进行学习。因此&＃xff0c;TransTailor: Pruning the Pre-trained Model for Improved Transfer Learning&＃xff08;AAAI 2021&＃xff09;提出了一种在Finetune阶段动态剪枝的方法&＃xff0c;实现Finetune阶段不仅能够调整模型参数&＃xff0c;还能调整模型网络结构。该方法分为Target-aware Pruning和Importance-aware Finetuning两个阶段。在Target-aware Pruning阶段&＃xff0c;对于网络中每一层的每一个filter&＃xff0c;都对应一个可学习的权重&＃xff0c;把Pretrain模型的参数Freeze住&＃xff0c;使用Target任务的数据和优化目标进行训练&＃xff0c;得到每组参数最终对应的权重&＃xff0c;训练过程可以表示为&＃xff1a;

这个重要性权重会使用泰勒变换&＃xff0c;融合全局各层的打分结果得到全局的打分&＃xff0c;最后将打分较低的网络参数剪枝掉。在Importance-aware Finetuning&＃xff0c;会结合第一阶段得到的参数打分进行Finetune&＃xff0c;具体的&＃xff0c;通过将每组参数的打分结果乘到参数上&＃xff0c;的到参数的转换结果进行前向传播。最终两个过程交替进行&＃xff0c;直到得到最终模型。

4

招式4&＃xff1a;学习每组参数Transfer的方式

在利用Pretrain模型进行迁移学习时&＃xff0c;我们往往需要决定哪些网络的参数要Freeze&＃xff0c;哪些网络参数跟随Target任务Finetune。例如&＃xff0c;在CV领域&＃xff0c;一些研究表明底层网络能够提取出更一般的图像规律&＃xff0c;而接近分类层的参数对于不同Task差异很大&＃xff0c;因此为了不将Pretrain阶段学到的知识破坏&＃xff0c;将底层参数Freeze&＃xff0c;只Finetune上层参数&＃xff0c;会最大限度保留Pretrain阶段在大量数据学到的知识&＃xff0c;提升迁移学习效果。然而&＃xff0c;不同任务需要Freeze的参数存在差异&＃xff0c;人工调试不同的Transfer方式&＃xff08;哪些层Freeze、哪些层Finetune&＃xff09;效率很低。同时&＃xff0c;一般的Finetune假设每个Target样本都应该使用相同的Finetune方式&＃xff0c;这也是不合理的。例如&＃xff0c;和source domain更相似的样本&＃xff0c;从source domain迁移更多知识更有帮助。因此&＃xff0c;学术界出现一些相关工作&＃xff0c;自动化学习每层以及每个样本的迁移策略。

在SpotTune: Transfer Learning through Adaptive Fine-tuning&＃xff08;CVPR 2019&＃xff09;这篇文章中&＃xff0c;提出了对于每个样本学习一个个性化的迁移方式。对于每个样本&＃xff0c;经过网络的每层可以选择是使用Pretrain模型的原始参数&＃xff0c;还是使用Pretrain模型初始化后Finetune的参数。模型通过一个Policy Network&＃xff0c;输入每个样本的特征&＃xff08;一般使用Pretrain模型对样本的表征向量&＃xff09;&＃xff0c;输出模型每组参数的迁移方式&＃xff08;使用Pretrain模型原始参数&＃xff0c;或使用Pretrain模型初始化后Finetune的参数&＃xff09;。这个过程中需要对两种迁移方式进行采样&＃xff0c;而采样运算不可导。为了让该运算可导&＃xff0c;本文使用了Gumbel-Max Trick生成采样结果。SpotTune的模型结构如下图所示&＃xff1a;

SpotTune实现了每个样本个性化的Finetune策略学习&＃xff0c;但是只能做到layer维度。AdaFilter: Adaptive Filter Fine-tuning for Deep Transfer Learning&＃xff08;AAAI 2020&＃xff09;提出了能够在filter维度实现每个样本的Finetune策略学习。与SpotTune类似&＃xff0c;Finetune策略仍然为使用Pretrain模型的原始参数&＃xff0c;或使用Pretrain模型初始化后Finetune的参数两种。与SpotTune不同的是&＃xff0c;AdaFilter使用RNN学习每层各个channel的Finetune策略&＃xff0c;每层的Finetune策略选择依赖于上一层输出的表示&＃xff08;SpotTune则是根据样本同时产出所有层的Finetune策略&＃xff09;。

5

总结

本文介绍了7篇顶会论文中对Finetune阶段进行的改进&＃xff0c;包括Finetune过程使用Pretrain模型做约束、选择性地对Pretrain模型进行迁移、在Finetune阶段调整网络结构以及学习每组参数Transfer的方式4种类型。Pretrain-Finetune的核心问题在于&＃xff0c;如何考虑到Target Task的样本特性&＃xff0c;将Pretrain的知识合理迁移到Target Task的模型上。其中每个样本个性化地进行Finetune策略学习&＃xff0c;可能是后续可以继续深入研究的方向。

&＃xff01;&＃xff01;&＃xff01;轻松找工作 - 建立了一个专门找工作的内推群

最近文章

EMNLP 2022 和 COLING 2022&＃xff0c;投哪个会议比较好&＃xff1f;

一种全新易用的基于Word-Word关系的NER统一模型&＃xff0c;刷新了14种数据集并达到新SoTA

阿里&＃43;北大 | 在梯度上做简单mask竟有如此的神奇效果

下载一&＃xff1a;中文版&＃xff01;学习TensorFlow、PyTorch、机器学习、深度学习和数据结构五件套&＃xff01;  后台回复【五件套】
下载二&＃xff1a;南大模式识别PPT  后台回复【南大模式识别】

投稿或交流学习&＃xff0c;备注&＃xff1a;昵称-学校&＃xff08;公司&＃xff09;-方向&＃xff0c;进入DL&NLP交流群。

方向有很多&＃xff1a;机器学习、深度学习&＃xff0c;python&＃xff0c;情感分析、意见挖掘、句法分析、机器翻译、人机对话、知识图谱、语音识别等。

记得备注呦

整理不易&＃xff0c;还望给个在看