模式识别与人工智能
2025年4月3日 星期四   首 页     期刊简介     编委会     投稿指南     伦理声明     联系我们                                                                English
模式识别与人工智能  2023, Vol. 36 Issue (9): 856-865    DOI: 10.16451/j.cnki.issn1003-6059.202309008
论文与报告 最新目录| 下期目录| 过刊浏览| 高级检索 |
基于结构增强的异质数据联邦学习模型正则优化算法
张珉1,2, 梁美玉1,2, 薛哲1,2, 管泽礼1,2, 潘圳辉1,2, 赵泽华1,2
1.北京邮电大学 计算机学院 北京 100876;
2.北京邮电大学 智能通信软件与多媒体北京市重点实验室北京 100876
Regularization Optimization Algorithm for Heterogeneous Data FederatedLearning Model Based on Structure Enhancement
ZHANG Min1,2, LIANG Meiyu1,2, XUE Zhe1,2, GUAN Zeli1,2, PAN Zhenhui1,2, ZHAO Zehua1,2
1. School of Computer Science, Beijing University of Posts and Telecommunications, Beijing 100876;
2. Beijing Key Laboratory of Intelligent Telecommunication Software and Multimedia, Beijing University of Posts and Telecommunications, Beijing 100876

全文: PDF (967 KB)   HTML (1 KB) 
输出: BibTeX | EndNote (RIS)      
摘要 联邦学习中由于不同客户端本地数据分布异质,在本地数据集上训练的客户端模型优化目标与全局模型不一致,导致出现客户端漂移现象,影响全局模型性能.为了解决非独立同分布数据带来的联邦学习模型性能下降甚至发散的问题,文中从本地模型的通用性角度出发,提出基于结构增强的异质数据联邦学习模型正则优化算法.在客户端利用数据分布异质的本地数据进行训练时,以结构化的方式采样子网络,并对客户端本地数据进行数据增强,使用不同的增强数据训练不同的子网络学习增强表示,得到泛化性较强的客户端网络模型,对抗本地数据异质带来的客户端漂移现象,在联邦聚合中得到性能更优的全局模型.在CIFAR-10、CIFAR-100、ImageNet-200数据集上的大量实验表明,文中算法性能较优.
服务
把本文推荐给朋友
加入我的书架
加入引用管理器
E-mail Alert
RSS
作者相关文章
张珉
梁美玉
薛哲
管泽礼
潘圳辉
赵泽华
关键词 联邦学习非独立同分布(Non-IID)数据异质性客户端漂移正则化    
Abstract:In federated learning, due to the heterogeneous distribution of local data among different clients, the optimization objectives of client models trained on local datasets are inconsistent with the global model, leading to client drift and affecting the performance of global model. To address the issue of performance decline or even divergence in federated learning models caused by non-independently and identically distributed data, a regularization optimization algorithm for heterogeneous data federated learning model based on structure enhancement(FedSER) is proposed from the perspective of the generality of local models. While training on local data with heterogeneous distributions, clients sample subnetworks in a structured manner. Local data of client are augmented, and different subnetworks are trained with the augmented data to learn enhanced representations, resulting in more generalized client network models. The models counteract the client drift caused by the heterogeneity of local data and achieve a better global model in federated aggregation. Extensive experiments on the CIFAR-10, CIFAR-100 and ImageNet-200 datasets demonstrate the superior performance of FedSER.
Key wordsFederated Learning    Non-Independently and Identically Distributed(Non-IID)    Data Heterogeneity    Client Drift    Regularization   
收稿日期: 2023-07-13     
ZTFLH: TP391  
基金资助:国家自然科学基金项目(No.62192784、U22B2038、62172056、62272058)、中国人工智能学会-华为MindSpore学术奖励基金项目(No.CAAIXSJLJJ-2021-007B)资助
通讯作者: 梁美玉,博士,教授,主要研究方向为人工智能、数据挖掘、多媒体信息处理、计算机视觉等.E-mail:meiyu1210@bupt.edu.cn.   
作者简介: 张 珉,硕士研究生,主要研究方向为联邦学习.E-mail:zm_zhangmin@bupt.edu.cn.薛 哲,博士,副教授,主要研究方向为机器学习、数据挖掘、多模态/多视图学习、突发事件检测与分析等.E-mail:xuezhe@bupt.edu.cn.管泽礼,博士研究生,主要研究方向为联邦学习、图神经网络、机器学习.E-mail:guanzeli@bupt.edu.cn. 潘圳辉,博士研究生,主要研究方向为联邦学习、机器学习.E-mail:JerryPan@bupt.edu.cn. 赵泽华,硕士研究生,主要研究方向为联邦学习中的高效通信.E-mail:ZeHuaZhao@bupt.edu.cn.
引用本文:   
张珉, 梁美玉, 薛哲, 管泽礼, 潘圳辉, 赵泽华. 基于结构增强的异质数据联邦学习模型正则优化算法[J]. 模式识别与人工智能, 2023, 36(9): 856-865. ZHANG Min, LIANG Meiyu, XUE Zhe, GUAN Zeli, PAN Zhenhui, ZHAO Zehua. Regularization Optimization Algorithm for Heterogeneous Data FederatedLearning Model Based on Structure Enhancement. Pattern Recognition and Artificial Intelligence, 2023, 36(9): 856-865.
链接本文:  
http://manu46.magtech.com.cn/Jweb_prai/CN/10.16451/j.cnki.issn1003-6059.202309008      或     http://manu46.magtech.com.cn/Jweb_prai/CN/Y2023/V36/I9/856
版权所有 © 《模式识别与人工智能》编辑部
地址:安微省合肥市蜀山湖路350号 电话:0551-65591176 传真:0551-65591176 Email:bjb@iim.ac.cn
本系统由北京玛格泰克科技发展有限公司设计开发 技术支持:support@magtech.com.cn