模式识别与人工智能
2025年4月3日 星期四   首 页     期刊简介     编委会     投稿指南     伦理声明     联系我们                                                                English
模式识别与人工智能  2015, Vol. 28 Issue (4): 299-305    DOI: 10.16451/j.cnki.issn1003-6059.201504002
论文与报告 最新目录| 下期目录| 过刊浏览| 高级检索 |
基于词向量特征的循环神经网络语言模型*
张剑,屈丹,李真
中国人民解放军信息工程大学 信息系统工程学院 郑州 450001
Recurrent Neural Network Language Model Based on Word Vector Features
ZHANG Jian, QU Dan, LI Zhen
Institute of Information System Engineering, The PLA Information Engineering University, Zhengzhou 450001

全文: PDF (416 KB)   HTML (1 KB) 
输出: BibTeX | EndNote (RIS)      
摘要 循环神经网络语言模型能解决传统N-gram模型中存在的数据稀疏和维数灾难问题,但仍缺乏对长距离信息的描述能力.为此文中提出一种基于词向量特征的循环神经网络语言模型改进方法.该方法在输入层中增加特征层,改进模型结构.在模型训练时,通过特征层加入上下文词向量,增强网络对长距离信息约束的学习能力.实验表明,文中方法能有效提高语言模型的性能.
服务
把本文推荐给朋友
加入我的书架
加入引用管理器
E-mail Alert
RSS
作者相关文章
张剑
屈丹
李真
关键词 语音识别语言模型循环神经网络词向量    
Abstract:The recurrent neural network language model(RNNLM) solves the problems of data sparseness and dimensionality disaster in traditional N-gram models. However, the original RNNLM is still lack of long dependence due to the vanishing gradient problem. In this paper, an improved method based on contextual word vectors is proposed for RNNLM. To improve the structure of models, a feature layer is added into the input layer. Contextual word vectors are added into the model with feature layer to reinforce the ability of learning long-distance information during the training. Experimental results show that the proposed method effectively improves the performance of RNNLM.
Key wordsSpeech Recognition    Language Model    Recurrent Neural Network    Word Vector   
收稿日期: 2014-02-27     
ZTFLH: TP391  
基金资助:国家863计划项目(No.2012AA011603)、国家自然科学基金项目(No.61175017)资助
作者简介: 张剑,男,1988年生,硕士研究生,主要研究方向为语音识别、自然语言处理.E-mail:Crsmx_23@163.com.屈丹,女,1974年生,博士,副教授,主要研究方向为语音识别、智能信息处理.李真,女,1982年生,硕士,讲师,主要研究方向为语音识别、智能信息处理.
引用本文:   
张剑,屈丹,李真. 基于词向量特征的循环神经网络语言模型*[J]. 模式识别与人工智能, 2015, 28(4): 299-305. ZHANG Jian, QU Dan, LI Zhen. Recurrent Neural Network Language Model Based on Word Vector Features. , 2015, 28(4): 299-305.
链接本文:  
http://manu46.magtech.com.cn/Jweb_prai/CN/10.16451/j.cnki.issn1003-6059.201504002      或     http://manu46.magtech.com.cn/Jweb_prai/CN/Y2015/V28/I4/299
版权所有 © 《模式识别与人工智能》编辑部
地址:安微省合肥市蜀山湖路350号 电话:0551-65591176 传真:0551-65591176 Email:bjb@iim.ac.cn
本系统由北京玛格泰克科技发展有限公司设计开发 技术支持:support@magtech.com.cn