有关于联邦学习

粗泛地讲

所谓的联邦学习&＃xff0c;不可客观地来说&＃xff0c;其本质就是我们通俗意义上的数据增强&＃xff0c;也就是增加模型的训练数据。

只不过在现实场景下&＃xff0c;很多这些训练数据都是分散在不同设备上的。鉴于一些隐私、安全问题&＃xff0c;我们很难直接将这些不同设备上的训练数据收集起来。

比方说&＃xff0c;不同移动设备上的用户数据&＃xff0c;如果直接全部上传到云端&＃xff0c;再去训练一个模型&＃xff0c;会导致用户隐私泄露。

正是考虑到了训练数据的不可共享性&＃xff08;数据孤岛&＃xff09;&＃xff0c;才诞生了联邦学习的思想。

具体来讲

具体来讲联邦学习有三种类型

1. 横向联邦 (数据增强)

数据的样本类型&＃xff08;特征&＃xff09;一致&＃xff0c;但是样本实例不同。比方说&＃xff0c;如下图&＃xff0c;不同用户的同一类型数据。

说人话&＃xff0c;其实就是通俗意义上的样本数据增强&＃xff0c;增加同类型的训练样本数量。

2. 纵向联邦 (特征增强)

样本数据来源相同&＃xff0c;但是样本类型特征不同。比方说&＃xff0c;如下图&＃xff0c;同一个用户的不同类型特征&＃xff08;共享标签&＃xff09;。

换句话说&＃xff0c;其实就是通俗意义上的样本特征增强&＃xff0c;增加同一个样本的特征数量。

3. 迁移联邦

迁移学习 &＃43; 联邦学习

适用于&＃xff0c;不同设备上的样本&＃xff0c;样本源和特征都没有重叠的情况 (比方说&＃xff0c;用户也没有相同的&＃xff0c;特征也没有重合的)。

这时就利用了迁移学习&＃xff0c;即现在一个设备上的样本预训练。具体这里不过多展开。

这里附上一篇不错的博客&＃xff1a;
一篇文章读懂联邦学习

其他参考&＃xff1a;

• 综述&＃xff1a;《联邦学习&＃xff1a;概念与应用》
• 详解联邦学习Federated Learning