模式识别与人工智能
2025年4月3日 星期四   首 页     期刊简介     编委会     投稿指南     伦理声明     联系我们                                                                English
模式识别与人工智能  2021, Vol. 34 Issue (1): 25-32    DOI: 10.16451/j.cnki.issn1003-6059.202101003
论文与报告 最新目录| 下期目录| 过刊浏览| 高级检索 |
非光滑凸问题投影型对偶平均优化方法的个体收敛性
曲军谊1, 鲍蕾1, 陶卿1
1.中国人民解放军陆军炮兵防空兵学院 信息工程系 合肥 230031
Individual Convergence of Projected Dual Averaging Methods in Nonsmooth Convex Cases
QU Junyi1, BAO Lei1 , TAO Qing1
1. Department of Information Engineering, Chinese Academy of People′s Liberation Army Artillery Air Defense Academy,Hefei 230031

全文: PDF (1868 KB)   HTML (1 KB) 
输出: BibTeX | EndNote (RIS)      
摘要 对于一般凸问题,对偶平均方法的收敛性分析需要在对偶空间进行转换,难以得到个体收敛性结果.对此,文中首先给出对偶平均方法的简单收敛性分析,证明对偶平均方法具有与梯度下降法相同的最优个体收敛速率Ο(lnt/t).不同于梯度下降法,讨论2种典型的步长策略,验证对偶平均方法在个体收敛分析中具有步长策略灵活的特性.进一步,将个体收敛结果推广至随机形式,确保对偶平均方法可有效处理大规模机器学习问题.最后,在L1范数约束的hinge损失问题上验证理论分析的正确性.
服务
把本文推荐给朋友
加入我的书架
加入引用管理器
E-mail Alert
RSS
作者相关文章
曲军谊
鲍蕾
陶卿
关键词 对偶平均个体收敛速率稀疏性非光滑    
Abstract:For convex problems, since the convergence analysis of DA(dual averaging) needs to be transformed in dual space, it is difficult to gain individual convergence. In this paper, a simple convergence analysis of DA is presented, and then it is proved that DA can attain the same optimal Ο(lnt/t) individual convergence rate as gradient descent(GD). Different from GD, the individual convergence of DA is proved to be step-size flexible by analyzing two typical step-size strategies. Furthermore, the stochastic version of the derived convergence is extended to solve large-scale machine learning problems. Experiments on L1-norm constrained hinge loss problems verify the correctness of the theoretical analysis.
Key wordsDual Averaging    Individual Convergence Rate    Sparsity    Nonsmooth   
收稿日期: 2020-08-17     
ZTFLH: TP 181  
基金资助:国家自然科学基金项目(No.61673394,620706252)、安徽省自然科学基金项目(No.1908085MF193)资助
通讯作者: 陶 卿,博士,教授,主要研究方向为模式识别、机器学习、应用数学.E-mail:qing.tao@ia.ac.cn.   
作者简介: 曲军谊,硕士研究生,主要研究方向为机器学习中凸优化算法及其应用.E-mail:qjy15056933890@163.com.
鲍 蕾,博士研究生,主要研究方向为机器学习中凸优化算法及其应用.E-mail:baolei1219@sina.cn.
引用本文:   
曲军谊, 鲍蕾, 陶卿. 非光滑凸问题投影型对偶平均优化方法的个体收敛性[J]. 模式识别与人工智能, 2021, 34(1): 25-32. QU Junyi, BAO Lei , TAO Qing. Individual Convergence of Projected Dual Averaging Methods in Nonsmooth Convex Cases. , 2021, 34(1): 25-32.
链接本文:  
http://manu46.magtech.com.cn/Jweb_prai/CN/10.16451/j.cnki.issn1003-6059.202101003      或     http://manu46.magtech.com.cn/Jweb_prai/CN/Y2021/V34/I1/25
版权所有 © 《模式识别与人工智能》编辑部
地址:安微省合肥市蜀山湖路350号 电话:0551-65591176 传真:0551-65591176 Email:bjb@iim.ac.cn
本系统由北京玛格泰克科技发展有限公司设计开发 技术支持:support@magtech.com.cn