【OpenMMLab】模型训练常见策略

一、模型训练范式

范式一&＃xff1a;监督学习
在有标注的数据上进行模型训练&＃xff0c;如VGG、ResNet等网络模型

范式二&＃xff1a;自监督学习
通过恰当设计辅助任务,让模型在无标注的数据上进行模型训练&＃xff0c;如MAE

当前的深度学习网络架构基本都是基于梯度下降的训练策略&＃xff0c;其完整过程流程图为&＃xff1a;

二、调参

参数对于模型的效果至关重要&＃xff0c;下图给出了不同网络架构的最优参数配置&＃xff1a;

常见的参数配置和训练策略包括但不限于&＃xff1a;

1. 权重初始化策略

1&＃xff09;随机初始化&＃xff0c;包括分布采样&＃xff08;如均匀分布或高斯分布&＃xff09;、Xavier方法和Kaiming 方法
2&＃xff09;预训练权重初始化

2. 学习率策略

包括退火策略、warm up策略

3. 优化器策略

包括动量优化器、权重衰减、自适应梯度

4. 权重保存策略

包括早停机制、模型权重平均&＃xff08;EMA&＃xff09;、模型权重平均&＃xff08;SWA&＃xff09;

5. 数据加强策略

在CV领域&＃xff0c;常见的数据加强策略包括&＃xff1a;几何变换、颜色变换、遮挡、旋转、翻转、图片组合&＃xff08;如mixup、cutmix等&＃xff09;