模式识别与人工智能
2025年4月7日 星期一   首 页     期刊简介     编委会     投稿指南     伦理声明     联系我们                                                                English
模式识别与人工智能  2018, Vol. 31 Issue (8): 715-724    DOI: 10.16451/j.cnki.issn1003-6059.201808004
论文与报告 最新目录| 下期目录| 过刊浏览| 高级检索 |
结合深度学习的监督主题模型
苑东东1, 赵杰煜1, 叶绪伦1
1.宁波大学 信息科学与工程学院 宁波 315211
Supervised Topic Model with Deep Learning
YUAN Dongdong1, ZHAO Jieyu1, YE Xulun1
1.Faculty of Electrical Engineering and Computer Science, Ningbo University, Ningbo 315211

全文: PDF (830 KB)   HTML (1 KB) 
输出: BibTeX | EndNote (RIS)      
摘要 

无监督主题模型在降维过程中缺少标签信息的指导,丢失一些具有判别性的文本特征,导致最终的分类结果不理想.因此,文中提出结合深度学习的监督主题模型,利用深度网络强大的非线性拟合能力建立文档主题分布与标签之间的映射,利用变分期望最大化(EM)和深度网络训练方法共同完成贝叶斯框架下模型参数的更新,通过改变网络结构和激活函数的类型,用于分类和回归任务.实验表明文中模型既能保持无监督主题模型隐含主题的提取能力,还能更好地完成分类和回归任务.

服务
把本文推荐给朋友
加入我的书架
加入引用管理器
E-mail Alert
RSS
作者相关文章
苑东东
赵杰煜
叶绪伦
关键词 监督主题模型深度学习变分期望最大化(EM)算法    
Abstract

Some discriminative text features are lost due to the lack of guidance of label information during dimensionality reduction in unsupervised topic models. Thus, the classification result is unsatisfactory. A supervised topic model with deep learning, namely supervised latent Dirichlet allocation with deep learning(DL-sLDA) is proposed in this paper. A deep neural network is exploited to establish the mapping between the topic of a document and its label. Both variational expectation-maximization and deep learning method are adopted to update the defined parameters under Bayesian framework in DL-sLDA. When the structure of the deep network and the type of the activation function are changed properly, the proposed model can be utilized for both classification and regression tasks. The experimental result demonstrates that DL-sLDA maintains the ability of topic extraction and gains a better predictive ability.

Key wordsSupervised Topic Model    Deep Learning    Variational Expectation-Maximization(EM) Algorithm   
收稿日期: 2018-01-17     
ZTFLH: TP 391  
基金资助:

国家自然科学基金项目(No.61571247)、浙江省自然科学基金重点项目(No.LZ16F030001)、浙江省国际合作专项目(No.2013C24027)资助

通讯作者: 赵杰煜,博士,教授,主要研究方向为图形图像技术、自然交互、机器视觉.E-mail:zhao_jieyu@nbu.edu.cn.   
作者简介: 苑东东,硕士研究生,主要研究方向为机器学习、自然语言处理.E-mail:496483534@qq.com. 叶绪伦,博士研究生,主要研究方向为流行学习、非负矩阵分解.E-mail:yexlwh@163.com.
引用本文:   
苑东东, 赵杰煜, 叶绪伦. 结合深度学习的监督主题模型[J]. 模式识别与人工智能, 2018, 31(8): 715-724. YUAN Dongdong, ZHAO Jieyu, YE Xulun. Supervised Topic Model with Deep Learning. , 2018, 31(8): 715-724.
链接本文:  
http://manu46.magtech.com.cn/Jweb_prai/CN/10.16451/j.cnki.issn1003-6059.201808004      或     http://manu46.magtech.com.cn/Jweb_prai/CN/Y2018/V31/I8/715
版权所有 © 《模式识别与人工智能》编辑部
地址:安微省合肥市蜀山湖路350号 电话:0551-65591176 传真:0551-65591176 Email:bjb@iim.ac.cn
本系统由北京玛格泰克科技发展有限公司设计开发 技术支持:support@magtech.com.cn