模式识别与人工智能
2025年4月3日 星期四   首 页     期刊简介     编委会     投稿指南     伦理声明     联系我们                                                                English
模式识别与人工智能  2020, Vol. 33 Issue (8): 753-765    DOI: 10.16451/j.cnki.issn1003-6059.202008009
研究与应用 最新目录| 下期目录| 过刊浏览| 高级检索 |
面向上下文注意力联合学习网络的方面级情感分类模型
杨玉亭1, 冯林1, 代磊超1, 苏菡1
1.四川师范大学 计算机科学学院 成都 610101
Context-Oriented Attention Joint Learning Network for Aspect-Level Sentiment Classification
YANG Yuting1, FENG Lin1, DAI Leichao1, SU Han1
1. College of Computer Science, Sichuan Normal University, Chengdu 610101

全文: PDF (933 KB)   HTML (1 KB) 
输出: BibTeX | EndNote (RIS)      
摘要 针对现有的方面级情感分类模型存在感知方面词能力较弱、泛化能力较差等问题,文中提出面向上下文注意力联合学习网络的方面级情感分类模型(CAJLN).首先,利用双向Transformer的表征编码器(BERT)模型作为编码器,将文本句子预处理成句子、句子对和方面词级输入序列,分别经过BERT单句和句子对分类模型,进行上下文、方面词级和句子对隐藏特征提取.再基于上下文和方面词级隐藏特征,建立上下文和方面词的多种注意力机制,获取方面特定的上下文感知表示.然后,对句子对隐藏特征和方面特定的上下文感知表示进行联合学习.采用Xavier正态分布对权重进行初始化,确保反向传播时参数持续更新,使CAJLN在训练过程中可以学习有用信息.在多个数据集上的仿真实验表明,CAJLN可有效提升短文本情感分类性能.
服务
把本文推荐给朋友
加入我的书架
加入引用管理器
E-mail Alert
RSS
作者相关文章
杨玉亭
冯林
代磊超
苏菡
关键词 方面级情感分类双向Transformer的表征编码器(BERT)模型注意力机制联合学习    
Abstract:To solve the problems of weak perception for aspect words and generalization ability in the existing models for sentiment classification, a context-oriented attention joint learning network for aspect-level sentiment classification(CAJLN) is proposed. Firstly, the bidirectional encoder representation from transformers(BERT) model is employed as the encoder to preprocess short texts into sentences, sentence pairs and aspect words as input, and their hidden features are extracted through the single sentence and sentence pair classification models, respectively. Then, based on the hidden features of sentences and aspect words, attention mechanisms for sentences and aspect words are established to obtain aspect-specific context-aware representation. Then, the hidden features of sentence pairs and aspect-specific context-aware representations are learned jointly. Xavier normal distribution is utilized to initialize the weights. Thus, the continuous updating of the parameters during the back propagation is ensured, and useful information is learned by CAJLN in the training process. Experiments show that CAJLN effectively improves the performance of sentiment classification for short text on multiple datasets.
Key wordsAspect-Level Sentiment Classification    Bidirectional Encoder Representation from Transformers(BERT) Model    Attention Mechanism    Joint Learning   
收稿日期: 2020-05-29     
ZTFLH: TP 391  
基金资助:国家自然科学基金项目(No.61876158)资助
通讯作者: 冯 林,博士,教授,主要研究方向为机器学习、数据挖掘.E-mail:fenglin@sicnu.edu.cn.   
作者简介: 杨玉亭,硕士研究生,主要研究方向为机器学习、数据挖掘.E-mail:1539782809@qq.com.代磊超,硕士研究生,主要研究方向为机器学习、数据挖掘.E-mail:daileichao@gmail.com.苏 菡,博士,教授,主要研究方向为模式识别、计算机视觉、机器学习.E-mail:jkxy_sh@sicnu.edu.cn.
引用本文:   
杨玉亭, 冯林, 代磊超, 苏菡. 面向上下文注意力联合学习网络的方面级情感分类模型[J]. 模式识别与人工智能, 2020, 33(8): 753-765. YANG Yuting, FENG Lin, DAI Leichao, SU Han. Context-Oriented Attention Joint Learning Network for Aspect-Level Sentiment Classification. , 2020, 33(8): 753-765.
链接本文:  
http://manu46.magtech.com.cn/Jweb_prai/CN/10.16451/j.cnki.issn1003-6059.202008009      或     http://manu46.magtech.com.cn/Jweb_prai/CN/Y2020/V33/I8/753
版权所有 © 《模式识别与人工智能》编辑部
地址:安微省合肥市蜀山湖路350号 电话:0551-65591176 传真:0551-65591176 Email:bjb@iim.ac.cn
本系统由北京玛格泰克科技发展有限公司设计开发 技术支持:support@magtech.com.cn