多任务学习_多任务学习——KDD2018MMoE

多任务模型通过学习不同任务的联系和差异&＃xff0c;可提高每个任务的学习效率和质量。

多任务学习的的框架广泛采用 shared-bottom 的结构&＃xff0c;不同任务间共用底部的隐层。这种结构本质上可以减少过拟合的风险&＃xff0c;但是效果上可能受到任务差异和数据分布带来的影响。也有一些其他结构&＃xff0c;比如两个任务的参数不共用&＃xff0c;但是通过对不同任务的参数增加 L2 范数的限制&＃xff1b;也有一些对每个任务分别学习一套隐层然后学习所有隐层的组合。和 shared-bottom 结构相比&＃xff0c;这些模型对增加了针对任务的特定参数&＃xff0c;在任务差异会影响公共参数的情况下对最终效果有提升。缺点就是模型增加了参数量所以需要更大的数据量来训练模型&＃xff0c;而且模型更复杂并不利于在真实生产环境中实际部署使用。

如图&＃xff0c;a&＃xff09; 是最原始的多任务学习模型

b&＃xff09; 是加入单门&＃xff08;one gate&＃xff09;的MoE layer的多任务学习模型&＃xff0c;

其中&＃xff1a;
k 表示k个任务&＃xff1b;
n 表示n个expert network

c&＃xff09; 是文章提出的MMOE模型&＃xff0c;将base的shared bottom换成了MoE layer&＃xff0c;并对每个任务都加gate&＃xff1a;