模式识别与人工智能
2025年4月7日 星期一   首 页     期刊简介     编委会     投稿指南     伦理声明     联系我们                                                                English
模式识别与人工智能  2024, Vol. 37 Issue (5): 447-458    DOI: 10.16451/j.cnki.issn1003-6059.202405006
论文与报告 最新目录| 下期目录| 过刊浏览| 高级检索 |
基于稀疏正则双层优化的个性化联邦学习
刘希1, 刘博2, 季繁繁3, 袁晓彤4,5
1.南京信息工程大学 计算机学院 南京 210044;
2.Walmart Global Tech Hub, Sunnyvale, CA 94086, USA;
3.南京信息工程大学 电子与信息工程学院 南京 210044;
4.南京大学 计算机软件新技术全国重点实验室 南京 210023;
5.南京大学 智能科学与技术学院 苏州 215163
Personalized Federated Learning Based on Sparsity Regularized Bi-level Optimization
LIU Xi1, LIU Bo2, JI Fanfan3, YUAN Xiaotong4,5
1. School of Computer Science, Nanjing University of Information Science and Technology, Nanjing 210044;
2. Walmart Global Tech Hub, Sunnyvale, CA 94086, USA;
3. School of Electronics and Information Engineering, Nanjing University of Information Science and Technology, Nanjing 210044;
4. State Key Laboratory for Novel Software Technology, Nanjing University, Nanjing 210023;
5. School of Intelligence Science and Technology, Nanjing University, Suzhou 215163

全文: PDF (1319 KB)   HTML (1 KB) 
输出: BibTeX | EndNote (RIS)      
摘要 个性化联邦学习侧重于为各客户端提供个性化模型,旨在提高对异构数据的处理性能,然而现有的个性化联邦学习算法大多以增加客户端参数量为代价提高个性化模型的性能,使计算变得复杂.为了解决此问题,文中提出基于稀疏正则双层优化的个性化联邦学习算法(Personalized Federated Learning Based on Sparsity Regularized Bi-level Optimization, pFedSRB),在客户端的个性化更新中引入l1范数稀疏正则化,提升个性化模型的稀疏度,避免不必要的客户端参数更新,降低模型复杂度.将个性化联邦学习建模为双层优化问题,内层优化采用交替方向乘子法,可提高学习速度.在4个联邦学习基准数据集上的实验表明,pFedSRB在异构数据上表现出色,在提高模型性能的同时有效降低训练用时和空间成本.
服务
把本文推荐给朋友
加入我的书架
加入引用管理器
E-mail Alert
RSS
作者相关文章
刘希
刘博
季繁繁
袁晓彤
关键词 个性化联邦学习稀疏正则化非独立同分布(Non-IID)交替方向乘子法(ADMM)    
Abstract:Personalized federated learning focuses on providing personalized model for each client, aiming to improve the processing performance on statistically heterogeneous data. However, most existing personalized federated learning algorithms enhance the performance of personalized models at the cost of increasing the number of client parameters and making computation more complex. To address this issue, a personalized federated learning algorithm based on sparsity regularized bi-level optimization(pFedSRB) is proposed in this paper. The l1 norm sparse regularization is introduced into the personalized update of each client to enhance the sparsity of the personalized model, avoid unnecessary parameter updates of clients, and reduce model complexity. The personalized federated learning problem is formulated as a bi-level optimization problem, and the inner-level optimization of pFedSRB is solved by the alternating direction method of multipliers to improve the learning speed. Experiments on four federated learning benchmark datasets demonstrate that pFedSRB performs well on heterogeneous data , effectively improving model performance while reducing the time and memory costs required for training.
Key wordsPersonalized Federated Learning    Sparse Regularization    Non-Independently and Identically Distributed(Non-IID)    Alternating Direction Method of Multipliers(ADMM)   
收稿日期: 2024-01-29     
ZTFLH: TP391  
基金资助:国家自然科学基金项目(No.U21B2049,61936005)、科技创新 2030-“新一代人工智能”重大项目(No.2018AAA0100400)资助
通讯作者: 袁晓彤,博士,教授,主要研究方向为机器学习、随机优化、计算机视觉等.E-mail:xtyuan1980@gmail.com.   
作者简介: 刘 希,硕士研究生,主要研究方向为联邦学习、迁移学习、模式识别等.E-mail:202212200015@nuist.edu.cn.刘 博,博士,主要研究方向机器学习理论与应用等.E-mail:kfliubo@gmail.com. 季繁繁,博士研究生,主要研究方向为模式识别、迁移学习、少样本学习等.E-mail:Jiff1995@nuist.edu.cn.
引用本文:   
刘希, 刘博, 季繁繁, 袁晓彤. 基于稀疏正则双层优化的个性化联邦学习[J]. 模式识别与人工智能, 2024, 37(5): 447-458. LIU Xi, LIU Bo, JI Fanfan, YUAN Xiaotong. Personalized Federated Learning Based on Sparsity Regularized Bi-level Optimization. Pattern Recognition and Artificial Intelligence, 2024, 37(5): 447-458.
链接本文:  
http://manu46.magtech.com.cn/Jweb_prai/CN/10.16451/j.cnki.issn1003-6059.202405006      或     http://manu46.magtech.com.cn/Jweb_prai/CN/Y2024/V37/I5/447
版权所有 © 《模式识别与人工智能》编辑部
地址:安微省合肥市蜀山湖路350号 电话:0551-65591176 传真:0551-65591176 Email:bjb@iim.ac.cn
本系统由北京玛格泰克科技发展有限公司设计开发 技术支持:support@magtech.com.cn