Personalized Federated Learning aims at addressing the challenges of non-IID data in collaborative model training. However, existing methods struggle to balance personalization and generalization, often oversimplifying client similarities or relying too heavily on global models. In this paper, we propose FedSub, a novel approach that introduces class-aware model updates based on data prototypes and model subnetworks fusion to enhance personalization. Prototypes serve as compact representations of client data for each class, clustered on the server to capture label-specific similarities among the clients. Meanwhile, model subnetworks encapsulate the most relevant components to process each class and they are then fused on the server based on the identified clusters to generate fine-grained, class-specific, and highly personalized model updates for each client. Experimental results in three real-world scenarios with high data heterogeneity in human activity recognition and mobile health applications demonstrate the effectiveness of FedSub with respect to state-of-the-art methods to achieve fast convergence and high classification performance.


翻译:个性化联邦学习旨在解决协作模型训练中非独立同分布数据带来的挑战。然而,现有方法难以平衡个性化与泛化能力,往往过度简化客户端相似性,或过度依赖全局模型。本文提出FedSub,一种基于数据原型和模型子网络融合的类感知模型更新新方法,以增强个性化。原型作为每个类别客户端数据的紧凑表示,在服务器端进行聚类以捕获客户端间标签特定的相似性。同时,模型子网络封装了处理每个类别最相关的组件,随后在服务器端根据识别出的聚类进行融合,为每个客户端生成细粒度、类别特定且高度个性化的模型更新。在人类活动识别和移动健康应用三个具有高度数据异质性的真实场景中的实验结果表明,FedSub相较于现有先进方法在实现快速收敛和高分类性能方面具有显著优势。

0
下载
关闭预览

相关内容

UTC: 用于视觉对话的任务间对比学习的统一Transformer
专知会员服务
14+阅读 · 2022年5月4日
Pytorch多模态框架MMF
专知
50+阅读 · 2020年6月20日
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
VIP会员
相关资讯
相关基金
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员