模式识别与人工智能
2025年4月2日 星期三   首 页     期刊简介     编委会     投稿指南     伦理声明     联系我们                                                                English
模式识别与人工智能  2022, Vol. 35 Issue (9): 849-857    DOI: 10.16451/j.cnki.issn1003-6059.202209008
研究与应用 最新目录| 下期目录| 过刊浏览| 高级检索 |
基于MPNet预训练和多头注意力特征融合的引文意图分类方法
祁瑞华1,2, 邵震1,2, 关菁华1, 郭旭1
1. 大连外国语大学 语言智能研究中心 大连 116044;
2. 大连外国语大学 软件学院 大连 116044
Citation Intent Classification Method Based on MPNet Pretraining and Multi-head Attention Feature Fusion
QI Ruihua1,2, SHAO Zhen1,2, GUAN Jinghua1, GUO Xu1
1. Research Center for Language Intelligence, Dalian University of Foreign Languages, Dalian 116044;
2. School of Software, Dalian University of Foreign Languages, Dalian 116044

全文: PDF (714 KB)   HTML (1 KB) 
输出: BibTeX | EndNote (RIS)      
摘要 

引文意图自动分类是文献计量领域的重要问题,现有的引文意图分类模型存在对文本特征抽取能力有限、无法融合引文上下文特征和引文外部特征的问题.因此,文中提出基于MPNet预训练和多头注意力特征融合的引文意图分类方法.引入位置补偿结构,改善掩码语言模型与排列语言模型存在的缺陷.联合引文的语法词频特征与引文结构特征,提出适用于引文意图分类任务的特征抽取方法.再引入多头注意力机制进行特征融合,提升分类效果.在ACL-ARC数据集上的实验表明,文中方法在引文意图分类任务上性能较优,同时还具有在不平衡数据上的鲁棒性.

服务
把本文推荐给朋友
加入我的书架
加入引用管理器
E-mail Alert
RSS
作者相关文章
祁瑞华
邵震
关菁华
郭旭
关键词 引文意图分类特征融合预训练模型特征抽取多头注意力机制    
Abstract

Automatic citation intent classification is one of hot issues in the field of bibliometrics.The existing citation intention classification models engender the limitations in extracting textual features and fusing citation contextual features and citation external features. Therefore, a citation intent classification method based on MPNet pretraining and multi-head attention feature fusion is proposed. The position compensation structure is introduced to improve the masked language model and permuted Language model.The syntactic word-frequency features and structure features of citations are combined. A feature extraction method is proposed for citation intent classification task. The multi-head attention mechanism is introduced for feature fusion to improve the classification accuracy. The experimental results on ACL-ARC datasets demonstrate that the proposed method achieves better performance in citation intent classification task with robustness on the unbalanced data.

Key wordsCitation Intent Classification    Feature Fusion    Pretraining Model    Feature Extraction    Multi-head Attention Mechanism   
收稿日期: 2021-08-16     
ZTFLH: TP 391.1  
基金资助:

国家社会科学基金项目(No.15BYY028)、辽宁省高等学校创新人才项目(No.WR2019005)、大连外国语大学研究创新团队项目(No.2016CXTD06)资助

通讯作者: 祁瑞华,博士,教授,主要研究方向为自然语言处理、文本挖掘.E-mail:rhqi@dlufl.edu.cn.   
作者简介: 邵 震,硕士研究生,主要研究方向为自然语言处理.E-mail:jkl4131@126.com. 关菁华,博士,副教授,主要研究方向为自然语言处理.E-mail:guanjinghua@dlufl.edu.cn. 郭 旭,硕士,讲师,主要研究方向为自然语言处理.E-mail:guoxu@dlufl.edu.cn.
引用本文:   
祁瑞华, 邵震, 关菁华, 郭旭. 基于MPNet预训练和多头注意力特征融合的引文意图分类方法[J]. 模式识别与人工智能, 2022, 35(9): 849-857. QI Ruihua, SHAO Zhen, GUAN Jinghua, GUO Xu. Citation Intent Classification Method Based on MPNet Pretraining and Multi-head Attention Feature Fusion. Pattern Recognition and Artificial Intelligence, 2022, 35(9): 849-857.
链接本文:  
http://manu46.magtech.com.cn/Jweb_prai/CN/10.16451/j.cnki.issn1003-6059.202209008      或     http://manu46.magtech.com.cn/Jweb_prai/CN/Y2022/V35/I9/849
版权所有 © 《模式识别与人工智能》编辑部
地址:安微省合肥市蜀山湖路350号 电话:0551-65591176 传真:0551-65591176 Email:bjb@iim.ac.cn
本系统由北京玛格泰克科技发展有限公司设计开发 技术支持:support@magtech.com.cn