模式识别与人工智能
2025年4月2日 星期三   首 页     期刊简介     编委会     投稿指南     伦理声明     联系我们                                                                English
模式识别与人工智能  2022, Vol. 35 Issue (3): 207-222    DOI: 10.16451/j.cnki.issn1003-6059.202203002
论文与报告 最新目录| 下期目录| 过刊浏览| 高级检索 |
基于多残差动态融合生成对抗网络的人脸素描-照片合成方法
孙锐1,2, 孙琦景1,2, 单晓全1,2, 张旭东1
1.合肥工业大学 计算机与信息学院 合肥 230601;
2.合肥工业大学 工业安全与应急技术安徽省重点实验室 合肥 230009
Face Sketch-Photo Synthesis Method Based on Multi-residual Dynamic Fusion Generative Adversarial Networks
SUN Rui1,2, SUN Qijing1,2, SHAN Xiaoquan1,2, ZHANG Xudong1
1. School of Computer Science and Information Engineering, Hefei University of Technology, Hefei 230601;
2. Anhui Key Laboratory of Industry Safety and Emergency Technology, Hefei University of Technology, Hefei 230009

全文: PDF (10709 KB)   HTML (1 KB) 
输出: BibTeX | EndNote (RIS)      
摘要 针对现阶段人脸素描-照片合成方法合成的图像存在清晰度较低、面部细节模糊等问题,提出基于多残差动态融合生成对抗网络的人脸素描-照片合成方法.首先设计多残差动态融合网络,从不同的密集残差模块分别提取特征并进行残差学习.然后根据不同层次的多样化残差特征生成对应的偏移量,不同位置的卷积核依据偏移量改变采样坐标,使网络自适应地关注特征中重要信息.在避免特征信息逐级丢失和冗余信息干扰的前提下,网络有效整合几何细节信息与高级语义信息.方法同时引入多尺度感知损失,对不同分辨率的合成图像进行感知对比,使网络可由粗到细地对合成图像进行正则化约束.在香港中文大学面部素描数据集上的实验表明,文中方法合成的图像清晰度较高,面部细节完整,颜色一致,接近真实的人脸图像.
服务
把本文推荐给朋友
加入我的书架
加入引用管理器
E-mail Alert
RSS
作者相关文章
孙锐
孙琦景
单晓全
张旭东
关键词 人脸素描-照片合成生成对抗网络多残差动态融合深度学习    
Abstract:Aiming at the low definition and blurry details in the current face sketch-photo synthesis methods, a face sketch-photo synthesis method based on multi-residual dynamic fusion generative adversarial network is proposed. Firstly, a multi-residual dynamic fusion network is designed. Features are extracted from different dense residual modules and then the residual learning is conducted. Then, the corresponding offsets are generated on the basis of the diverse residual features at different levels. The sampling coordinates of the convolution kernels in different locations are changed according to the offsets. Consequently, the network is focused on important feature adaptively, and geometric detail information and high-level semantic information are integrated effectively without gradual information dropping and redundant information interference. Moreover, a multi-scale perceptual loss is introduced to conduct perceptual comparison on the synthetic images of different resolutions for the regularization of synthetic images from coarse to fine. Experiments on Chinese University of Hong Kong face sketch dataset show that the proposed method produces high-definition images with full detail and consistent color and the synthesized image is closer to real face images.
Key wordsFace Sketch-Photo Synthesis    Generative Adversarial Networks    Multi-residual Dynamic Fusion    Deep Learning   
收稿日期: 2021-09-28     
ZTFLH: TP 391  
基金资助:国家自然科学基金面上项目(No.61471154,61876057)、安徽省重点研发计划-科技强警专项项目(No.202004d07020012)资助
通讯作者: 孙 锐,博士,教授,主要研究方向为计算机视觉、机器学习.E-mail: sunrui@hfut.edu.cn.   
作者简介: 孙琦景,硕士研究生,主要研究方向为图像信息处理、计算机视觉.E-mail:861242257@qq.com.
单晓全,硕士研究生,主要研究方向为图像信息处理、计算机视觉.E-mail:2334321350@qq.com.
张旭东,博士,教授,主要研究方向为智能信息处理、机器视觉.E-mail:xudong@hfut.edu.cn.
引用本文:   
孙锐, 孙琦景, 单晓全, 张旭东. 基于多残差动态融合生成对抗网络的人脸素描-照片合成方法[J]. 模式识别与人工智能, 2022, 35(3): 207-222. SUN Rui, SUN Qijing, SHAN Xiaoquan, ZHANG Xudong. Face Sketch-Photo Synthesis Method Based on Multi-residual Dynamic Fusion Generative Adversarial Networks. Pattern Recognition and Artificial Intelligence, 2022, 35(3): 207-222.
链接本文:  
http://manu46.magtech.com.cn/Jweb_prai/CN/10.16451/j.cnki.issn1003-6059.202203002      或     http://manu46.magtech.com.cn/Jweb_prai/CN/Y2022/V35/I3/207
版权所有 © 《模式识别与人工智能》编辑部
地址:安微省合肥市蜀山湖路350号 电话:0551-65591176 传真:0551-65591176 Email:bjb@iim.ac.cn
本系统由北京玛格泰克科技发展有限公司设计开发 技术支持:support@magtech.com.cn