模式识别与人工智能
2025年2月21日 星期五   首 页     期刊简介     编委会     投稿指南     伦理声明     联系我们                                                                English
模式识别与人工智能  2022, Vol. 35 Issue (7): 589-601    DOI: 10.16451/j.cnki.issn1003-6059.202207002
“基于深度学习的图像处理”专题 最新目录| 下期目录| 过刊浏览| 高级检索 |
基于Lmser-in-Lmser双向网络的人脸素描图像生成方法
盛庆杰1, 苏锐丹1, 涂仕奎1, 徐雷1
1.上海交通大学 电子信息与电气工程学院 上海 200240
Face Sketch Synthesis Based on Lmser-in-Lmser Bidirectional Network
SHENG Qingjie1, SU Ruidan1, TU Shikui1, XÜ Lei1
1.School of Electronics Information and Electrical Engineering, Shanghai Jiao Tong University, Shanghai 200240

全文: PDF (4720 KB)   HTML (1 KB) 
输出: BibTeX | EndNote (RIS)      
摘要 人脸素描图像生成问题目的是将人脸照片转换为对应的素描图像,已有方法生成的素描图像或缺乏素描纹理,或需要在额外的大规模数据集上进行预训练.针对上述问题,文中基于Lmser(Least Mean Square Error Reconstruction)构建内外嵌套的深度双向网络,即Lmser-in-Lmser双向网络,用于人脸素描图像的生成.利用Lmser的神经元对偶特性,即编码神经元和解码神经元之间形成双向短路连接,在内部Lmser子网络的编码器和解码器之间通过前向传递不同网络层进行学习,得到多层级特征,增强素描生成的纹理细节.同时建立具有同样结构的网络,反向建立素描映射到照片的模型.外部通过在2个Lmser子网络上施加一致性约束,实现反馈链接,改善素描特征.在基准数据集上的实验表明,文中方法性能较优,并且不需要在额外的数据集上进行预训练,可应用性较强.
服务
把本文推荐给朋友
加入我的书架
加入引用管理器
E-mail Alert
RSS
作者相关文章
关键词 人脸素描图像生成深度双向网络Lmser神经元对偶层次神经元对偶性    
Abstract:Face sketch synthesis aims to transform a face photo into a face sketch. For existing methods, the generated sketches are over-smooth and the pre-training on additional large scale datasets is required. In this paper, a deep bidirectional network based on the least mean square error reconstruction(Lmser) self-organizing network is constructed with a feature of duality in paired neurons(DPN) to generate face sketch. DPN is realized with bidirectional shortcuts between encoder and decoder. It helps transfer features learn from different layers of the Lmser to improve texture details in synthesized sketch. Another sketch-to-photo mapping network is built by a complement Lmser with converse direction sharing the same structure. The bidirectional mappings form an outer Lmser network with DPN enforce consistency between the paired blocks in a global manner. Experiments on benchmark datasets demonstrate that the performance of the proposed method is superior, and it is more applicable and does not need pre-training on additional datasets.
Key wordsFace Sketch Synthesis    Deep Bidirectional Network    Least Mean Square Error Reconstruction(Lmser)    Duality in Paired Neurons(DPN)    Hierarchical DPNs   
收稿日期: 2022-04-18     
ZTFLH: TP 391.4  
基金资助:国家科技部科技创新2030-新一代人工智能重大项目(No.2018AAA0100700)、上海市科委人工智能重大项目(No.2021SHZDZX0102)资助
通讯作者: 徐雷,博士,教授,主要研究方向为机器学习、因果计算、双向智能、类AlphaGo系统、智能医疗、智能金融.E-mail:leixu@sjtu.edu.cn.   
作者简介: 盛庆杰,硕士研究生,主要研究方向为人脸素描图像生成、双向深度学习.E-mail:seansheng@sjtu.edu.cn.
苏锐丹,博士,助理研究员,主要研究方向为机器学习、双向智能.E-mail:suruidan@sjtu.edu.cn.
涂仕奎,博士,副教授,主要研究方向为机器学习、生物信息学.E-mail:tushikui@sjtu.edu.cn.
引用本文:   
盛庆杰, 苏锐丹, 涂仕奎, 徐雷. 基于Lmser-in-Lmser双向网络的人脸素描图像生成方法[J]. 模式识别与人工智能, 2022, 35(7): 589-601. SHENG Qingjie, SU Ruidan, TU Shikui, XÜ Lei. Face Sketch Synthesis Based on Lmser-in-Lmser Bidirectional Network. Pattern Recognition and Artificial Intelligence, 2022, 35(7): 589-601.
链接本文:  
http://manu46.magtech.com.cn/Jweb_prai/CN/10.16451/j.cnki.issn1003-6059.202207002      或     http://manu46.magtech.com.cn/Jweb_prai/CN/Y2022/V35/I7/589
版权所有 © 《模式识别与人工智能》编辑部
地址:安微省合肥市蜀山湖路350号 电话:0551-65591176 传真:0551-65591176 Email:bjb@iim.ac.cn
本系统由北京玛格泰克科技发展有限公司设计开发 技术支持:support@magtech.com.cn