模式识别与人工智能
2025年4月7日 星期一   首 页     期刊简介     编委会     投稿指南     伦理声明     联系我们                                                                English
模式识别与人工智能  2022, Vol. 35 Issue (2): 175-184    DOI: 10.16451/j.cnki.issn1003-6059.202202008
研究与应用 最新目录| 下期目录| 过刊浏览| 高级检索 |
标签指导的双注意力深度神经网络模型
彭展望1, 朱小飞1, 郭嘉丰2
1.重庆理工大学 计算机科学与工程学院 重庆 400054;
2.中国科学院计算技术研究所 网络数据科学与技术重点实验室 北京 100190
Label-Guided Dual-Attention Deep Neural Network Model
PENG Zhanwang1, ZHU Xiaofei1, GUO Jiafeng2
1. College of Computer Science and Engineering, Chongqing Uni-versity of Technology, Chongqing 400054;
2. Key Laboratory of Network Data Science and Technology, Institute of Computing Technology, Chinese Academy of Sciences, Beijing 100190

全文: PDF (669 KB)   HTML (1 KB) 
输出: BibTeX | EndNote (RIS)      
摘要 在数据集不包含标签文本信息时,现有的显式交互分类模型无法显式计算文本单词和标签之间的语义关系.针对此问题,文中提出标签指导的双注意力深度神经网络模型.首先,提出基于逆标签频次的自动类别标签描述生成方法,为每个标签生成特定的标签描述,用于显式计算文本单词与标签之间的语义关系.在此基础上,使用文本编码器学习具有上下文语境信息的评论文本表示,并提出标签指导的双注意力网络,分别学习基于自注意力的文本表示和基于标签注意力的文本表示.然后,使用自适应门控机制融合这两个文本表示,得到文本最终表示.最后,使用两层前馈神经网络作为分类器,进行情感分类.在3个公开的真实数据集上的实验表明,文中模型分类效果较优,可减少计算代价和训练时长.
服务
把本文推荐给朋友
加入我的书架
加入引用管理器
E-mail Alert
RSS
作者相关文章
彭展望
朱小飞
郭嘉丰
关键词 情感分类标签描述生成双注意力自注意力标签注意力    
Abstract:Since the text information of labels is not included in some datasets, the semantic relationship between text words and labels cannot be explicitly calculated in the existing explicit interactive classification models. To solve this problem, a label-guided dual-attention deep neural network model is proposed in this paper. Firstly, an automatic category label description generation method based on inverse label frequency is proposed. According to the label description generation method, a specific label description for each label is generated. The generated specific label description is applied to explicitly calculate the semantic relationship between text words and labels. On the basis of the above, review text representation with contextual information is learned by a text encoder. A label-guided dual-attention network is proposed to learn the text representation based on self-attention and the text representation based on label attention, respectively. Then, an adaptive gating mechanism is employed to fuse two mentioned text representations and the final text representation is thus obtained. Finally, a two-layer feedforward neural network is utilized as a classifier for sentiment classification. Experiments on three publicly available real-world datasets show that the proposed model produces better classification performance.
Key wordsSentiment Classification    Label Description Generation    Dual-Attention    Self-Attention    Label Attention   
收稿日期: 2021-10-25     
ZTFLH: TP 391  
基金资助:国家自然科学基金项目(No.62141201)、重庆市技术创新与应用发展专项项目(No.cstc2020jscx-dxwtBX0014)、重庆市教委语言文字科研重点项目(No.yyk20103)资助
通讯作者: 朱小飞,博士,教授,主要研究方向为自然语言处理、数据挖掘、信息检索.E-mail:zxf@cqut.edu.cn.   
作者简介: 彭展望,硕士研究生,主要研究方向为自然语言处理、数据挖掘.E-mail:51190324101@2019.cqut.edu.cn. 郭嘉丰,博士,研究员.主要研究方向为数据挖掘、信息检索.E-mail:guojiafeng@ict.ac.cn.
引用本文:   
彭展望, 朱小飞, 郭嘉丰. 标签指导的双注意力深度神经网络模型[J]. 模式识别与人工智能, 2022, 35(2): 175-184. PENG Zhanwang, ZHU Xiaofei, GUO Jiafeng. Label-Guided Dual-Attention Deep Neural Network Model. Pattern Recognition and Artificial Intelligence, 2022, 35(2): 175-184.
链接本文:  
http://manu46.magtech.com.cn/Jweb_prai/CN/10.16451/j.cnki.issn1003-6059.202202008      或     http://manu46.magtech.com.cn/Jweb_prai/CN/Y2022/V35/I2/175
版权所有 © 《模式识别与人工智能》编辑部
地址:安微省合肥市蜀山湖路350号 电话:0551-65591176 传真:0551-65591176 Email:bjb@iim.ac.cn
本系统由北京玛格泰克科技发展有限公司设计开发 技术支持:support@magtech.com.cn