联邦学习_联邦学习论文汇总笔记（十四）

FedCD&＃xff08;克隆和删除模型动态地对相似数据的设备分组&＃xff09;

1.机器学习的目标是在不同的数据源下效果都很好&＃xff0c;数据受到隐私严格约束&＃xff0c;有限的通信带宽和内存。
2.在Non-iid下导致不同设备的更新冲突&＃xff0c;训练轮之间明显震荡&＃xff0c;收敛速度变慢。

1. 在指定时刻&＃xff08;位置&＃xff09;&＃xff0c;克隆全局模型&＃xff0c;自适应更新全局的高分子模型&＃xff0c;删除表现不佳的模型&＃xff0c;为每个原型生成一个专门的模型&＃xff0c;通过维护多个全局模型&＃xff0c;优先更新在本地表现良好的模型&＃xff0c;自动选择相似数据的组&＃xff0c;收敛快、精度高。

1.共享全局数据&＃xff1a;但是一个全局共享数据很难代表所有的设备数据&＃xff0c;不可行。
2.peer-to-peer: 单一模型参与&＃xff0c;可以提高准确性&＃xff0c;增加模型数量和通信成本&＃xff0c;个别学习者不参与训练。
3.个性化联邦学习&＃xff1a;基于不可知元学习&＃xff08;MAML&＃xff09;

克隆高性能模型&＃xff0c;并删除低性能模型&＃xff0c;同时更新每个设备的模型分数。

在每一个milestone阶段&＃xff0c;服务器克隆每一个模型&＃xff0c;并压缩&＃xff1b;
在每一个训练阶段&＃xff0c;每一个参与方设备训练Epoch,压缩模型&＃xff0c;将权重更新和分数发送到服务器&＃xff0c;分数是由验证集给出&＃xff1b;
服务器更新全局模型&＃xff0c;取该模型的评分加权&＃xff0c;将全局模型重新部署&＃xff0c;并删除低评分模型。

分数基于准确率&＃xff0c;当k&＃61;3时&＃xff0c;归一化平均的验证结果精度最高&＃xff0c;同时强烈震荡&＃xff0c;

模型克隆&＃xff0c;子模型分数为1-p,父模型分数为p&＃xff0c;


算法解读
输入&＃xff1a;设备N&＃xff0c;全局模型m&＃xff0c;初始化模型的分数





c


m



(


i


)





c^{(i)}_m


cm(i)​
对于T轮训练&＃xff0c;每轮从K设备中选取子集
每一轮的设备训练全部分数不为0的模型
全局模型&＃xff1a;对评分不为0的模型进行权重平均&＃xff0c;更新模型
使用本地验证数据集评估模型
参照验证精确度归一化验证更新分数
对于每一个设备&＃xff0c;删除性能不好的设备
删除分数为0的设备
对于每一个milestone&＃xff0c;如果分数>0&＃xff0c;克隆模型为M&＃43;m
模型数量为2M

设备性能定义&＃xff1a;本地测试数据集上的最高评分模型的准确性。量化压缩允许在设备商使用多个更小的模型。

边缘设备&＃xff1a;原型&＃xff08;数据分布&＃xff09;&＃xff0c;分数

分层原型
以英语为主的国家和以西班牙语为主的国家(这些国家是元原型)所有年龄层(这些年龄层是原型)用户手机的下一个单词的预测。同一个国家的不同年龄组可能会有一些共同的方言&＃xff0c;但由于语言障碍&＃xff0c;不同国家的共同词汇可能非常有限。

构建拥有0,1,2,3,4和5,6,7,8,9标签的两种数据集合&＃xff0c;构建10中原型&＃xff0c;原型1仅获得0,1&＃xff0c;2,3,4标签&＃xff0c;偏差为服从(0.6~0.7)的均匀分布&＃xff0c;偏差定义为本地数据&＃xff0c;一个设备上有标签3的数量是5k&＃xff0c;有0,1,2,3,4的数量是(1-b)/4*5k&＃xff0c;设置在第5,15,25,30轮克隆。