模式识别与人工智能
2025年4月3日 星期四   首 页     期刊简介     编委会     投稿指南     伦理声明     联系我们                                                                English
模式识别与人工智能  2022, Vol. 35 Issue (7): 661-670    DOI: 10.16451/j.cnki.issn1003-6059.202207008
“基于深度学习的图像处理”专题 最新目录| 下期目录| 过刊浏览| 高级检索 |
基于差异双分支编码器的多阶段图像融合方法
洪雨露1, 吴小俊1, 徐天阳1
1.江南大学 人工智能与计算机学院 江苏省模式识别与计算智能工程实验室 无锡 214122
Multi-stage Image Fusion Method Based on Differential Dual-Branch Encoder
HONG Yulu1, WU Xiaojun1, XU Tianyang1
1.Jiangsu Provincial Engineering Laboratory of Pattern Recognition and Computing Intelligence, School of Artificial Intelligence and Computer Science, Jiangnan University, Wuxi 214122

全文: PDF (2952 KB)   HTML (1 KB) 
输出: BibTeX | EndNote (RIS)      
摘要 在现有的红外和可见光图像融合方法中,融合图像中的细节信息丢失严重,视觉效果不佳.针对上述问题,文中提出基于差异双分支编码器的多阶段图像融合方法.通过两支不同结构的编码器提取多模态图像的特征,增强特征的多样性.设计多阶段的融合策略,实现精细化图像融合.首先,在差异双分支编码器中,对两个编码分支提取的差异性特征进行初级融合.然后,在融合阶段,对多模态图像的显著性特征进行中级融合.最后,使用远程横向连接将差异双分支编码器的浅层特征传送给解码器,同时指导融合过程和图像重建.对比实验表明,文中算法可增强融合图像的细节信息,并在视觉效果和客观评价上都较优.
服务
把本文推荐给朋友
加入我的书架
加入引用管理器
E-mail Alert
RSS
作者相关文章
洪雨露
吴小俊
徐天阳
关键词 图像融合红外图像可见光图像卷积神经网络    
Abstract:In the existing infrared and visible image fusion methods, the details of the fused image are lost seriously and the visual effect is poor. Aiming at the problems, a multi-stage image fusion method based on differential dual-branch encoder is proposed. The features of multi-modal images are extracted by two encoders with different network structures to enhance the diversity of features. A multi-stage fusion strategy is designed to achieve refined image fusion. Firstly, primary fusion is performed on the differential features extracted by the two encoding branches in the differential dual-branch encoder. Then, mid-level fusion on the saliency features of the multi-modal images is conducted in the fusion stage. Finally, the long-range lateral connections are adopted to transmit shallow features of the differential dual-branch encoder implemented to the decoder and guide the fusion process and the image reconstruction simultaneously. Experimental results show the proposed method enhances the detailed information of the fused images and achieves better performance in both visual effect and objective evaluation.
Key wordsImage Fusion    Infrared Image    Visible Image    Convolutional Neural Network   
收稿日期: 2022-04-27     
ZTFLH: TN 911.73  
基金资助:国家自然科学基金项目(No.62020106012,U1836218,62106089)、教育部111项目(No.B12018)资助
通讯作者: 吴小俊,博士,教授,主要研究方向为人工智能、模式识别、计算机视觉.E-mail:xiaojun_wu_jnu@163.com.   
作者简介: 洪雨露,硕士研究生,主要研究方向为图像融合、深度学习.E-mail:yulu_hong@163.com.
徐天阳,博士,副教授,主要研究方向为人工智能、模式识别、计算机视觉.E-mail:tianyang_xu@163.com.
引用本文:   
洪雨露, 吴小俊, 徐天阳. 基于差异双分支编码器的多阶段图像融合方法[J]. 模式识别与人工智能, 2022, 35(7): 661-670. HONG Yulu, WU Xiaojun, XU Tianyang. Multi-stage Image Fusion Method Based on Differential Dual-Branch Encoder. Pattern Recognition and Artificial Intelligence, 2022, 35(7): 661-670.
链接本文:  
http://manu46.magtech.com.cn/Jweb_prai/CN/10.16451/j.cnki.issn1003-6059.202207008      或     http://manu46.magtech.com.cn/Jweb_prai/CN/Y2022/V35/I7/661
版权所有 © 《模式识别与人工智能》编辑部
地址:安微省合肥市蜀山湖路350号 电话:0551-65591176 传真:0551-65591176 Email:bjb@iim.ac.cn
本系统由北京玛格泰克科技发展有限公司设计开发 技术支持:support@magtech.com.cn