模式识别与人工智能
2025年4月3日 星期四   首 页     期刊简介     编委会     投稿指南     伦理声明     联系我们                                                                English
模式识别与人工智能  2006, Vol. 19 Issue (2): 129-136    DOI:
论文与报告 最新目录| 下期目录| 过刊浏览| 高级检索 |
共轭梯度型支撑向量机*
周水生1,2,周利华2
1.西安电子科技大学 理学院 西安 710071
2.西安电子科技大学 多媒体研究所 西安 710071
Conjugate Gradients Support Vector Machine
ZHOU ShuiSheng1,2, ZHOU LiHua2
1.School of Science, Xidian University, Xi’an 710071
2.Multimedia Technology Institute, Xidian University, Xi’an 710071

全文: PDF (2043 KB)   HTML (1 KB) 
输出: BibTeX | EndNote (RIS)      
摘要 求解支撑向量机的二次规划有不同的变形.对于线性问题,从一个变形出发,利用Lagrangian对偶技巧,将特征空间的高维二次规划问题转化为输入空间的低维无约束、可微凸的对偶规划.针对目标函数的分片二次特征,结合快速精确的一维搜索技术,提出共轭梯度型支撑向量机来求解该问题.利用Cholesky分解或非完全(incomplete)Cholesky分解方法分解核矩阵,在算法复杂度增加很少的条件下可实现基于核函数的非线性分类.该算法可以在普通计算机上快速求解上百万规模的线性训练问题和较大规模的非线性训练问题.大量数据实验和复杂度分析表明,该算法与同类算法如ASVM、LSVM相比是有效的.
服务
把本文推荐给朋友
加入我的书架
加入引用管理器
E-mail Alert
RSS
作者相关文章
周水生
周利华
关键词 支撑向量机共轭梯度法Lagrangian对偶核函数    
Abstract:Support vector machines can be posed as quadratic programming problems in various ways. Using the technology of the Lagrangian dual, an unconstrained differentiable convex program problem is proposed as the dual of the quadratic programming, which is a simple reformulation on standard quadratic program of a linear support vector machine. The resulting problem minimizes a differentiable convex piecewise quadratic function in the input space, but not in the feature space. By the characteristic of the piecewise quadratic function and the combination with the speedy line search method, a Conjugate Gradients Support Vector Machine (CGSVM) is proposed to solve the unconstraint program problem quickly. After kernel matrix is factorized by the Cholesky factorization or incomplete Cholesky factorization, nonlinear classification problem with kernel function can also be solved by CGSVM with little increase of the complexity of the algorithms. CGSVM can be used to solve linear classification problems with millions of points and the nonlinear classification problems with three thousand points or more on normal PC. Many numerical experiments and complexity analysis demonstrate that the proposed algorithms are very efficient compared with the similar algorithms such as ASVM and LSVM.
Key wordsSupport Vector Machine    Conjugate Gradient Algorithms    Lagrangian Dual    Kernel Function   
收稿日期: 2004-11-15     
ZTFLH: TP181  
基金资助:“十五”国家部委科技(电子)预研资助项目(No.413160501)
作者简介: 周水生,男,1972年生,博士研究生,副教授,主要研究方向为最优化理论与算法、模式识别、图像处理等.E-mail: sszhou@mail.xidian.edu.cn.周利华,男,1942年生,教授,博士生导师,主要研究方向为多媒体网络互联技术、多媒体应用技术.
引用本文:   
周水生,周利华. 共轭梯度型支撑向量机*[J]. 模式识别与人工智能, 2006, 19(2): 129-136. ZHOU ShuiSheng, ZHOU LiHua. Conjugate Gradients Support Vector Machine. , 2006, 19(2): 129-136.
链接本文:  
http://manu46.magtech.com.cn/Jweb_prai/CN/      或     http://manu46.magtech.com.cn/Jweb_prai/CN/Y2006/V19/I2/129
版权所有 © 《模式识别与人工智能》编辑部
地址:安微省合肥市蜀山湖路350号 电话:0551-65591176 传真:0551-65591176 Email:bjb@iim.ac.cn
本系统由北京玛格泰克科技发展有限公司设计开发 技术支持:support@magtech.com.cn