如图1所示, 相比现有的图像融合网络, 本文设计差异双分支编码器提取源图像的特征.编码器的2个分支都使用4个卷积层, 分别是EC1、EC2、EC3、EC4.在第1个分支中, 将卷积层的连接方式设计为顺序连接.在第2个分支中, 将卷积层的连接方式设计为密集连接, 以此将源图像映射到不同的特征空间, 提取更丰富、全面的特征, 增强特征提取的多样性.网络输入是级联后的红外图像和可见光图像, 可表示为

$I_{input}=Concat(I_r, I_{vis}), $

其中Concat(·, ·)表示级联操作.这样的结构具有如下2个优点.1)使用两种不同的网络连接方式提取源图像特征的差异双分支编码器, 能学习更全面的信息.2)将不同模态的级联图像作为每个分支的输入, 可在特征提取阶段对多模态特征进行粗略融合.

本文设计精细化的多阶段融合策略, 融合操作分布在网络的三个阶段.在第一阶段, 如图1中的融合层1所示, 在特征提取阶段, 对编码器的两个分支提取的特征进行初步融合, 具体步骤是将前一层中两个编码分支产生的特征进行级联, 然后对级联后的特征分别进行1×1的卷积操作, 以适应两个分支的通道数目, 最后再将融合层1中生成的融合特征传送给编码器的两个分支.这种方式可增强两个分支之间的特征传输, 使多模态特征得到初级融合.在第二阶段, 如图1中的融合层2所示, 在深层特征空间中, 对编码器提取的特征进行融合, 将EC4的输出进行级联, 然后通过一次3×3的卷积融合两个分支的深度特征.在第三阶段, 通过远程横向连接将编码器的浅层特征融入图像重建的过程中, 指导图像重构.

多阶段的融合策略使融合操作分布在网络的多个阶段, 实现精细化特征融合, 获取质量更高的融合图像.

本文的图像重建网络简单有效, 包括4个卷积层(DC1、DC2、DC3、DC4).图像重构网络的DC4输出融合图像$I_f$.此外, 将EC2的输出连接到解码器的前两层(DC1, DC2), 增强图像重构能力.DC1和DC2的输出可表示为

$\begin{array}{l} \phi_{\mathrm{DC} 1}=\operatorname{Conv}\left(\phi_{f 2}+\sum_{j=1}^{n} \phi_{\mathrm{EC} 2}^{j}\right) \\ \phi_{\mathrm{DC} 2}=\operatorname{Conv}\left(\phi_{\mathrm{DC} 1}+\sum_{j=1}^{n} \phi_{\mathrm{EC} 2}^{j}\right) \end{array}$

其中, $ϕ_{DC1}$ 和$ϕ_{DC2}$ 分别表示DC1和DC2输出的特征图, Conv(·)表示卷积操作, $ϕ_{f2}$ 表示融合层2输出的特征图, $ϕ_{EC2}$ 表示EC2输出的特征图, n=2, 表示编码器的分支数量.

本文的目标是生成包含多模态图像信息的融合图像.因此, 融合图像中不仅要具有红外目标信息, 还应包含丰富的纹理细节信息.本文使用均方误差计算融合图像和输入图像之间的像素损失.但是, 只使用均方误差作为损失函数会使融合图像过于平滑, 丢失结构信息.

为了解决此问题, 引入结构相似度(Structural Similarity, SSIM)^[22]损失, 指导融合图像中包含更多纹理信息.因此, 总的损失函数包括像素强度损失和结构相似度损失:

$L_{total}=L_{pixel}+λL_{ssim}, $(1)

其中, $L_{pixel}$ 表示像素强度损失, $L_{ssim}$ 表示图像的结构相似性损失, λ表示平衡参数.

图像的像素强度损失$L_{pixel}$ 主要是为了使融合后的图像看起来与输入图像相似, 像素损失可表示为

$\begin{array}{l} L_{\text {pixel }}=\frac{1}{C W H}\left\|I_{f}-I_{p}\right\|_{2}^{2}, \\ I_{p}=\frac{1}{2}\left(I_{r}+I_{\text {vis }}\right), \end{array}$

其中, C表示图像的通道数, W、H表示图像的宽、高, $\left\|·\right\|_2$ 表示2范数, $I_f$ 表示融合图像, $I_p$ 表示设置的图像, 为两个模态图像的平均值.

由于可见光图像包含更多的纹理信息, 通过计算可见光图像和融合图像之间的结构相似度损失, 将更多的纹理细节信息反映到融合图像中.结构相似性损失

$L_{ssim}=1-SSIM(I_f, I_{vis}), $

其中, SSIM(, ·, )表示结构相似度, 用于计算融合图像和可见光图像的结构相似度, $I_f$ 表示融合图像, $I_{vis}$ 表示可见光图像.

在训练阶段, 选择TNO数据集(https://figshare.com/articles/TN_Image_Fusion_Dataset/1008029)中的15对红外和可见光图像, 将这些图像裁剪为 64× 64的图像块, 随机选择8 000对作为训练集.批处理大小为4, 迭代次数为20.学习率为0.000 1.式(1)中的 λ设置为10.实验运行在NVIDIA GTX 1080Ti GPU上.在测试阶段, 使用TNO、VOT-2020-RGBT^[23]数据集.

通过融合图像的视觉效果及客观指标评价融合质量.质量较高的融合图像不仅要具有良好的视觉效果, 客观上还要包含充足的来自源图像的信息.因此, 本文选取如下6个客观评价指标:熵(Entropy, En)^[24]、视觉信息保真度(Visual Information Fidelity, VIF)^[25]、互信息(Mutual Information, MI)^[26]、基于离散余弦变换互信息(Discrete Cosine Transform Based Fast-Feature MI, FMI_dct)^[27]、基于小波特征互信息(Wavelet Based Fast-Feature MI, FMI_w)^[27]、Qabf(Edge Preservation Value)^[28].

本文选择如下对比方法:JSRSD(Infrared and Visible Image Fusion Method Based on Saliency Detec-tion in Sparse Domain)^[9]、VggML(VGG-19 and The Multi-layer Fusion Strategy Based Method)^[11]、Dense-Fuse^[12]、NestFuse^[13]、DeepFuse^[14]、FusionGAN^[16]、IFCNN^[18]、PMGI^[19]和U2Fusion^[21], 对比方法的融合结果都是从原作者提供的代码中得到的.

为了证实多阶段融合策略的有效性, 进行消融实验, 包括:1)单阶段融合策略(简记为1-stage), 融合策略只包含融合层2, 无融合层1和DC1、DC2的横向连接.2)两阶段融合策略(简记为2-stage), 即融合策略包括融合层2和DC1、DC2的横向连接, 无融合层1.2)三阶段融合策略(简记为3-stage), 融合策略包括融合层1、融合层2和DC1、DC2的横向连接.不同网络获得的融合图像如图2所示.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 使用不同融合策略获得的融合图像Fig.2 Fused images obtained by different fusion strategies

由图2可知, 在使用单阶段融合策略获得的融合图像中, 红外目标信息突出, 但在光线昏暗时, 纹理细节信息丢失严重.相比使用单阶段融合策略获得的融合图像, 使用两阶段融合策略和三阶段融合策略得到的融合图像不仅拥有突出的红外目标信息, 还包含丰富的可见光图像的纹理信息, 具有良好的视觉效果.

为了更全面客观地验证多阶段融合策略的有效性, 本文使用TNO数据集上21对红外和可见光图像进行定量分析, 计算3种融合策略在21张融合图像上的指标平均值, 结果如表1所示, 表中黑体数字表示最优值.

表1

Table 1

表1(Table 1)

表1 在TNO数据集上使用不同融合策略获得的指标平均值 Table 1 Average index values obtained by different fusion strategies on TNO dataset 策略 En SD VIF MI Qabf FMIdct FMIw 1-stage 6.7306 88.4029 0.6695 13.4612 0.4745 0.4202 0.4408 2-stage 6.8721 105.7019 0.8003 13.7442 0.5220 0.4475 0.4628 3-stage 6.9326 107.7791 0.8532 13.8651 0.5343 0.4293 0.4552

表1 在TNO数据集上使用不同融合策略获得的指标平均值 Table 1 Average index values obtained by different fusion strategies on TNO dataset

由表1可知, 随着融合阶段的增多, 得到的融合图像质量不断提高, 由此验证多阶段融合策略的有效性.

为了验证差异双分支编码器的有效性, 将编码器两个分支的连接方式设置为如下3种方式:都使用顺序连接(简记为seq-seq)、都使用密集连接(简记为dense-dense)、分别使用顺序连接和密集连接(简记为seq-dense).3种方式获得的融合图像如图3所示.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 使用不同编码结构获得的融合图像Fig.3 Fused images obtained by different coding structures

由图3可知, 都使用顺序连接结构获得的融合图像中红外信息明显, 都使用密集连接结构获得的融合图像更偏向可见光图像, 而分别使用两种连接的结构可更好地平衡红外图像和可见光图像的信息, 同时保留显著特征和丰富的细节信息.

再使用TNO数据集上21对红外和可见光图像进行定量分析, 结果如表2所示, 表中黑体数字表示最优值.

由表3可知, 通过本文的差异双分支编码结构得到的融合图像综合质量最高.

表2

Table 2

表2(Table 2)

表2 在TNO数据集上使用不同编码结构获得的指标平均值 Table 2 Average index values obtained by different coding structures on TNO dataset 编码结构 En VIF MI Qabf FMIdct FMIw seq-seq 6.8501 0.7593 13.7001 0.5266 0.4292 0.4510 dense-dense 6.8813 0.8468 13.7625 0.5187 0.4394 0.4612 seq-dense 6.9326 0.8532 13.8651 0.5343 0.4293 0.4552

表2 在TNO数据集上使用不同编码结构获得的指标平均值 Table 2 Average index values obtained by different coding structures on TNO dataset

表3

Table 3

表3(Table 3)

表3 各方法在TNO数据集上的指标值 Table 3 Index values of different methods on TNO dataset 方法 En VIF MI Qabf FMIdct FMIw JSRSD 6.7206 0.6707 13.3858 0.3228 0.1425 0.1850 VggML 6.1826 0.2951 12.3652 0.3682 0.4046 0.4168 DeepFuse 6.6994 0.6577 13.3987 0.4380 0.4150 0.4248 DenseFuse 6.6716 0.6458 13.3432 0.4401 0.4173 0.4279 FusionGAN 6.3629 0.4536 12.7257 0.2183 0.3634 0.3708 IFCNN 6.5955 0.5620 13.1909 0.4736 0.3526 0.3849 NestFuse 6.9046 0.7642 13.8092 0.4906 0.3628 0.4362 U2Fusion 6.7571 0.8543 13.5142 0.4244 0.3406 0.3620 本文方法 6.9326 0.8532 13.8651 0.5343 0.4293 0.4552

表3 各方法在TNO数据集上的指标值 Table 3 Index values of different methods on TNO dataset

在TNO数据集的21对红外和可见光图像上测试本文方法.各对比方法获得的融合图像如图4所示, 图中红色方框标注细节信息, 并对红色方框内的区域进行放大展示.

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 各方法在“ street” 图像上的融合图像Fig.4 Fused images obtained by different methods for “ street” images

由图4可知, JSRSD获得的融合图像中包含噪声和伪影, 显著性特征不清晰.VggML、FusionGan和IFCNN获得的融合图像更偏向于红外图像, 字母信息模糊.由于背景信息在融合图像中非常重要, DeepFuse、DenseFuse、NestFuse、U2Fusion的融合结果中保留一定的纹理信息, 但仍较粗糙, 字母边缘不清晰.

本文方法获得的融合图像平衡红外图像和可见光图像的特征, 使融合图像既包含红外图像的显著目标, 又含有可见光图像的纹理, 字母也较清晰, 最终的融合效果更有利于人类的视觉感知.

各对比方法在测试集上获得的融合图像的指标值如表3所示, 在表中, 黑体数字表示最优值, 斜体数字表示次优值.

由表3可看出, 本文方法可在EN、MI、Qabf、FMI_dct、FMI_w指标上获得最优值.这表明在本文方法获得的融合图像中, 既包含丰富的细节信息量(EN、MI), 又拥有充足的特征信息和较高的图像质量(VIF、FMI_dct和FMI_w).在VIF指标上, 本文方法取得次佳值, 仅次于U2Fusion, 但两种方法的VIF值非常相近.相比U2Fusion, 本文方法的VIF值仅降低0.13%, 仍具有良好的视觉保真度.此实验验证本文方法的有效性.

为了验证本文方法的泛化性, 选择VOT2020-RGBT与TNO数据集上40对红外与可见光图像进行测试.各方法在其中一对图像上的融合效果如图5所示, 图中红色方框标记红外信息, 黄色方框标记可见光图像信息.

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 各方法在“ river” 图像上的融合图像Fig.5 Fused images of different methods for “ river” images

由图5可知, DeepFuse、DenseFuse、PMGI、U2Fusion的融合图像中红外信息不显著, Nest-Fuse、IFCNN的融合图像中丢失大量可见光图像的纹理信息.本文方法获得的融合图像既有显著的红外特征, 又含有丰富的纹理信息.

各方法在40对图像上获得的融合图像的指标值如表4所示, 表中黑体数字表示最优值, 斜体数字表示次优值.

表4

Table 4

表4(Table 4)

表4 各方法在VOT2020-RGBT与TNO数据集上的指标值 Table 4 Index values of different methods on VOT2020-RGBT and TNO datasets 方法 En VIF MI FMIdct FMIw Qabf DeepFuse 6.7997 0.7186 13.5993 0.4134 0.4244 0.4605 DenseFuse 6.3389 0.3729 12.6779 0.4067 0.4188 0.3544 NestFuse 6.9704 0.8195 13.9408 0.3588 0.4417 0.5276 IFCNN 6.7227 0.7470 13.4453 0.3731 0.4023 0.5346 PMGI 6.9634 0.8364 13.9268 0.3876 0.3959 0.4146 U2Fusion 6.9374 0.9990 13.8748 0.3362 0.3623 0.4569 本文方法 7.1011 0.9443 14.2021 0.4135 0.4449 0.5262

表4 各方法在VOT2020-RGBT与TNO数据集上的指标值 Table 4 Index values of different methods on VOT2020-RGBT and TNO datasets

由表4可知, 本文方法在EN、MI、FMI_dct、FMI_w指标上获得最优值, 表明本文方法获得的融合图像质量更高, 也验证本文方法具有泛化性.

本文方法还可融合RGB图像与红外图像.首先将RGB图像转换到YCrCb空间, 仅将Y通道(亮度通道)和红外图像作为本文方法的输入, 获取融合后的亮度通道图.然后将融合的亮度通道与CrCb通道一起转换到RGB空间, 获得彩色融合图像.

RGB与红外图像的测试数据来自文献[4]和文献[29].选取本文方法部分融合结果, 如图6所示, 图中红色方框内表示红外显著特征.由图可知, 融合图像中不仅包含红外图像中的显著性目标, 还保留RGB图像的色彩和背景信息, 更有利于人类的视觉感知.

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 本文方法对RGB与红外图像的融合结果Fig.6 Fusion results of the proposed methods for RGB and infrared images