引用本文
刘铎, 张国印, 史一岐, 田野, 张立国. 基于融合曲线的零样本红外与可见光图像融合方法. 模式识别与人工智能, 2025,38(3): 268-279
LIU Duo, ZHANG Guoyin, SHI Yiqi, TIAN Ye, ZHANG Liguo. Zero-Shot Infrared and Visible Image Fusion Based on Fusion Curve. PATTERN RECOGNITION AND ARTIFICIAL INTELLIGENCE, 2025,38(3): 268-279.  
Doi: 10.16451/j.cnki.issn1003-6059.202503006
Permissions
Copyright©2025, 《模式识别与人工智能》编辑部
《模式识别与人工智能》编辑部
基于融合曲线的零样本红外与可见光图像融合方法
刘铎1, 张国印1, 史一岐1, 田野2, 张立国1
1.哈尔滨工程大学 计算机科学与技术学院 哈尔滨 150001
2.西安电子科技大学 杭州研究院 杭州 311231
通讯作者:

张立国,博士,教授,主要研究方向为深度学习、机器学习、计算机视觉.E-mail:zhangliguo@hrbeu.edu.cn.

作者简介:

刘 铎,博士研究生,主要研究方向为图像处理、图像融合.E-mail:liu_duo@hrbeu.edu.cn.

张国印,博士,教授,主要研究方向为深度学习、机器学习.E-mail:zhangguoyin@hrbeu.edu.cn.

史一岐,博士研究生,主要研究方向为图像处理、自监督学习.E-mail:shiyiqi@hrbeu.edu.cn.

田 野,博士,主要研究方向为图像处理、智能对抗技术.E-mail:tianye@xidian.edu.cn.

收稿日期: 2024-12-09 接受日期: 2025-03-30
资助项目: 国家重点研发计划项目(No.2021YFC3320302)资助
摘要

针对红外与可见光图像融合中的颜色失真和热目标细节丢失问题,提出基于融合曲线的零样本红外与可见光图像融合方法(Zero-Shot Infrared and Visible Image Fusion Based on Fusion Curve, ZSFuCu).首先,将融合任务转化为基于深度网络的图像特定曲线估计过程,通过像素级非线性映射实现热目标纹理的增强与色彩特征的保留.然后,设计多维度视觉感知损失函数,从对比度增强、颜色保持及空间连续性三个维度构建约束机制,协同优化融合图像的高频信息与色彩分布,保留结构特征和关键信息.最后,采用零样本训练策略,仅需单个红外与可见光图像对即可完成参数的自适应优化,具备在不同照明条件下融合的强鲁棒性.实验表明,ZSFuCu在目标突出性、细节丰富度及颜色自然度方面具有显著优势,兼具有效性与实用性.

关键词: 红外与可见光图像融合(IVIF); 深度学习; 多维度视觉感知; 零样本学习
中图分类号:TP391
Zero-Shot Infrared and Visible Image Fusion Based on Fusion Curve
LIU Duo1, ZHANG Guoyin1, SHI Yiqi1, TIAN Ye2, ZHANG Liguo1
1.College of Computer Science and Technology, Harbin Engineering University, Harbin 150001
2.Hangzhou Institute of Technology, Xidian University, Hangzhou 311231
Corresponding author:
ZHANG Liguo, Ph.D., professor. His research interests include deep learning, machine learning and computer vision.

About Author:
LIU Duo, Ph.D. candidate. His research interests include image processing and image fusion.
ZHANG Guoyin, Ph.D., professor. His research interests include deep learning and machine learning.
SHI Yiqi, Ph.D. candidate. Her research interests include image processing and self-supervised learning.
TIAN Ye, Ph.D. His research interests include image processing and intelligent adversarial techniques.

Fund:Supported by National Key Research and Development Program of China(No.2021YFC3320302)
Abstract

To solve the problems of color distortion and the loss of thermal target details in infrared and visible image fusion, a method for zero-shot infrared and visible image fusion based on fusion curve(ZSFuCu) is proposed. The fusion task is transformed into an image-specific curve estimation process using a deep network. Texture enhancement and color feature preservation of thermal targets are achieved through pixel-level nonlinear mapping. A multi-dimensional visual perception loss function is designed to construct the constrain mechanism from three perspectives: contrast enhancement, color preservation and spatial continuity. The high-frequency information and color distribution of the fused image are collaboratively optimized with the retention of structural features and key information. The zero-shot training strategy is employed, and the adaptive optimization of parameters can be completed only using a single infrared and visible image pair, which shows strong robustness in fusion across various lighting conditions. Experiments demonstrate that ZSFuCu significantly improves target prominence, detail richness and color naturalness, validating its effectiveness and practicality.

Key words: Infrared and Visible Image Fusion(IVIF); Deep Learning; Multi-Dimensional Visual Perception; Zero-Shot Learning

由于光学成像技术的局限性, 单一传感器往往无法全面、准确地描述完整场景.红外与可见光图像融合(Infrared and Visible Image Fusion, IVIF)[1, 2]可充分利用源图像信息的高度互补性, 生成信息丰富的高质量图像.

IVIF中可见光传感器通过捕获反射的信息, 展示场景中丰富的纹理和颜色, 而红外传感器通过捕获热辐射信息, 即使在极端环境(如夜间、烟雾或强光干扰)下, 也能有效突出重要的热目标(如行人), 因此在视频监控、自动驾驶、目标检测与跟踪等高级视觉任务中得到广泛应用.

目前, IVIF主要分为传统融合方法[3, 4]和基于深度学习的融合方法[5, 6].传统融合方法通常包括三步:通过特定变换从源图像中提取多尺度或统计特征, 采用手工设计的融合策略组合红外与可见光特征, 利用逆变换将融合特征转回图像域.然而, 传统融合方法过度依赖人工设计的特征和融合规则, 在复杂场景中适应性较差, 难以充分利用多模态信息的互补性, 影响融合质量与稳定性[7, 8, 9].

近年来, 基于深度学习的方法凭借强大的非线性特征提取能力, 成为IVIF的主要研究方向[10, 11, 12].Zhang等[13]提出GAN-FM(Generative Adversarial Net-work with Full-Scale Skip Connection and Dual Marko-vian Discriminators), 充分融合图像中的丰富纹理和对比度, 但这类方法仅在可见光图像的灰度图上进行融合, 会丢失可见光宝贵的颜色信息, 严重影响视觉系统对场景内容的理解[14, 15, 16].Li等[17]提出Conti-Fuse(Continuous Decomposition-Based Fusion Frame-work), 通过多阶段采样建模特征变化轨迹, 并引入状态变换模块增强模态间的互补信息.Zhou等[18]提出SHIP(Synergistic High-Order Interaction Paradigm), 在空间维度和通道维度的高阶区域上交互建模, 依赖深度网络内部的迭代计算实现多模态信息的逐步聚合.尽管Conti-Fuse和SHIP保留可见光的颜色信息, 但与现有方法相似, 普遍采用图像到图像的映射方式, 导致单通道红外信息在RGB通道中映射不稳定, 引发融合图像颜色失真及热目标细节丢失的问题[19, 20].

此外, 现有方法需要大规模的红外-可见光图像对作为训练数据, 但在实际应用中, 面对未知场景或复杂光照条件时, 泛化能力受限[21, 22].与此同时, 大多数方法忽略可见光图像对光照条件的高度依赖性, 在低光照或光照不均匀的环境中仍采用相同的融合策略, 导致可见光图像严重退化, 丢失场景信息, 影响融合图像的质量[23, 24].作为少数考虑光照因素的方法, Tang等[25]提出PIAFusion, 根据源图像在白天或夜间条件下的概率, 引导网络自适应进行互补信息的整合, 但是, 模型由于相对简单, 难以在复杂环境中有效调整光照.随后, Tang等[26]进一步提出DIVFusion(Darkness-Free Infrared and Visible Image Fusion Method), 实现图像融合与图像增强的有机耦合与互利, 但在色彩校正方面仍存在一定局限, 会导致融合图像的颜色失真或曝光失衡.

为了应对上述挑战, 本文提出基于融合曲线的零样本红外与可见光图像融合方法(Zero-Shot In-frared and Visible Image Fusion Based on Fusion Curve, ZSFuCu), 旨在系统性解决现有方法在色彩保真度、热目标细节丰富性及光照适应性方面的问题.

首先, 设计动态可学习的非线性映射融合曲线, 打破以往图像到图像的映射, 将融合任务转化为特定于图像的曲线估计问题.通过融合曲线建立红外与可见光信息之间的相关性, 优化互补信息整合, 在像素级别实现热目标纹理的增强与色彩特征的保留, 有效抑制引入红外信息导致的融合图像颜色失真问题.

然后, 设计多维度视觉感知损失函数, 从对比度增强、颜色保持及空间连续性三个维度对高频信息和色彩分布进行协同优化, 较好地保留图像的结构特征和关键信息.在突出热目标的同时, 提升融合图像中红外信息与背景环境的协调性, 使融合图像具有丰富的细节和自然的颜色, 并可呈现更真实的效果.

最后, 采用零样本的训练策略, 有效应对可见光图像的光照退化问题.不需要训练数据和预训练, 针对不同的红外与可见光图像对进行具体的模型参数优化, 在融合过程中, 同时对可见光图像进行自适应增强, 能在各种复杂光照条件下生成亮度均衡、场景信息完整的融合图像.在两个公开数据集上的实验表明, ZSFuCu在生成颜色自然、热目标细节丰富且场景信息完整的融合图像方面具有显著优势.

1 基于融合曲线的零样本红外与可见光图像融合方法
1.1 总体架构

本文提出基于融合曲线的零样本红外与可见光图像融合方法(ZSFuCu), 整体架构如图1所示.ZS-FuCu由自适应视觉增强融合模块(Adaptive Visual Enhancement Fusion Module, AVEFM)和模态重构与转换网络(Modality Reconstruction and Transformation Network, MRTN)组成.

图1 ZSFuCu整体框架图Fig.1 Overall framework of ZSFuCu

AVEFM由可见光图像增强网络(Visible Image Enhancement Network, VIE-Net)、融合系数图估计网络(Fusion Coefficient Estimation Network, FCE-Net)及融合曲线构成.VIE-Net根据可见光图像Ivi的具体光照条件进行自适应增强, 充分恢复其捕获的场景信息.具体而言, VIE-Net通过对比Ivi与正常光照图像之间平均亮度的差距, 对Ivi的所有像素值按同一比例进行调整, 改善整体亮度.此外, 利用ZERO-IG(Zero-Shot Illumination-Guided Joint Denoising and Adaptive Enhancement for Low-Light Images)[27]的原理, VIE-Net基于整体亮度调整后的图像中每个像素的亮度对Ivi进行逐像素优化, 增强对比度并改善亮度分布不均匀的问题, 最终输出可见度良好且场景信息完整的增强图像R.

FCE-Net同时接收增强后的可见光图像R与红外图像Iir, 并在通道维度上连接二者, 使网络能从包含两种模态信息的混合特征中生成三通道的融合系数图λ .融合曲线将融合任务转化为深度网络中的图像特定曲线估计过程, 利用λ 建立R与Iir的关系, 构建像素级的非线性映射机制, 并结合多维度视觉感知损失函数对λ 进行约束, 获得热目标细节增强且颜色自然的融合图像F.

此外, 为了确保融合图像内容完整且无冗余, 本文引入EFDFusion(Efficient Feature Difference-Based Infrared and Visible Image Fusion for Low-Light Environments)[28]中的模态重构与转换网络.将增强图像R与红外图像Iir输入对应模态的编码器, 表征成同一空间中的高维特征, 通过模态内重构及跨模态转换找出各自的独有特征和共享特征, 并使用特征差分机制, 将可见光图像独有特征、红外图像独有特征和两种模态的共享特征都保留在融合特征中, 从而确保融合图像F在包含红外与可见光图像各自的独有内容的同时避免共有内容的重复叠加.

1.2 融合曲线

为了解决IVIF颜色失真和热目标细节丢失的问题, 本文受Zero-DCE++(Zero-Reference Deep Curve Estimation)[29]启发, 设计专用于图像融合任务的融合曲线, 将融合任务转化为深度网络中的图像特定曲线估计过程.Zero-DCE++通过直观、简单的非线性曲线映射增强低光图像, 这种特定于图像的曲线能在宽泛动态范围内进行有效映射, 提升相邻像素的对比度, 同时更好地保留图像的颜色和细节.基于这一特性, 本文设计融合曲线, 旨在增强热目标细节的同时, 充分保留图像的色彩特征.

本文利用包含两种模态混合信息的融合系数图λ , 建立可见光图像R与红外图像Iir之间的关系, 以实现互补信息的整合.如图2所示, 为了便于可视化, 将λ {R}, λ {G}, λ {B}的像素值归一化至[0, 1]范围内, 并以热图的方式呈现.λ 大小与给定的源图像一致, 能将单通道的红外信息转化为三通道形式, 避免因引入红外信息而导致的颜色失真问题.同时, λ 充分结合两个模态的信息, 有助于在保持图像色彩协调性的基础上实现有效的信息整合.具体融合结果如下:

f=R+λ ∘R(1-R)∘Iir, (1)

其中∘表示逐像素乘法.

图2 λ 的RGB通道可视化效果Fig.2 Visualization of RGB channels for λ

这一信息整合过程最大程度保证源图像Ivi的自适应增强效果, 完整保留增强图像R的内容, 为融合结果提供来自可见光图像的关键信息, 确保融合结果在亮度、可见度和场景内容丰富度方面表现良好.此外, λ 加强红外信息与可见光信息之间的相关性, 有助于精确计算红外信息在可见光图像 RGB各通道中的权重分配.在确保信息完整性的基础上, 实现热目标纹理细节的增强和色彩特征的保留, 使融合结果能有效突出热目标, 同时呈现自然的颜色, 具有较优的可视化效果.

为了更好地应对复杂的融合任务, 提供更强大的融合性能, 对式(1)进行迭代应用, 并定义为融合曲线.自适应视觉增强融合模块输出的最终融合图像:

F=fn=fn-1+λ ∘fn-1(1-fn-1)∘Iir , (2)

其中, n表示总迭代次数, 在本文中设为7.当n=1时, 式(2)退化为式(1).

通过迭代应用式(1), 可更好地平衡融合图像中的可见光信息和红外信息, 呈现更完整的场景内容, 进一步丰富热目标的纹理和颜色, 突出显示热目标, 从而更好地服务于目标检测、跟踪等下游视觉任务.令

dn=λ ∘fn-1∘(1-fn-1)∘Iir,

融合曲线可改写为

F=fn=fn-1+dn=fn-2+dn-1+dn=R+d1+d2+…+dn-1+dn=R+d,

其中, d表示最终以三通道的形式引入融合图像的红外信息, 具体如图2(e)所示.

总之, 本文并非通过直接的图像到图像的映射完成融合任务, 而是利用迭代的思想设计融合曲线, 逐步优化融合图像.通过融合系数图λ 进行像素级映射, 在每次迭代中将需引入的单通道红外信息转化为三通道形式, 并在信息整合过程中最大程度保留可见光图像信息, 从而有效避免融合图像颜色失真并增强热目标细节, 具体如图2(f)所示.

1.3 多维度视觉感知损失函数

理想的融合图像应同时具备清晰的纹理细节、自然的色彩还原以及与人类视觉感知一致的连续性.为此, 本文从上述三方面约束融合系数图λ , 优化融合图像F, 有效解决复杂场景中的颜色失真和热目标细节丢失问题, 提升融合图像的质量与视觉协调性, 为下游视觉任务提供准确、丰富的信息.

为了确保融合图像F充分保留来自不同源图像中的关键信息, 特别是热目标的细节, 需要从增强后的可见光图像R和红外图像Iir中提取优质的纹理特征.这些特征对于提高融合图像的质量至关重要, 能确保图像中的重要结构和信息得到充分展示, 并增强热目标在复杂场景中的辨识度.为此, 提出对比度损失:

Lcontr=‖ LC(Fc(x))-max(LC(Rc(x)), LC(Iir(x)))‖ 1.

其中:

LC(Ic(x))= maxx'∈N(x)Ic(x')- minx'∈N(x)Ic(x'),

表示图像I在位置x处的局部对比度, N(x)表示x周围5× 5的相邻区域, c∈ {R, G, B}, 需要注意的是, 由于红外图像Iir是单通道的, 计算Iir的局部对比度时, 会省略c; max(LC(Rc(x)), LC(Iir(x)))表示可见光图像R(x)的RGB三通道分别与Iir(x)进行局部对比度对比, 从而最大化保留纹理特征, 有效提升融合图像中热目标的细节表现, 并提供丰富的场景信息.

此外, 为了解决图像融合过程中出现的颜色失真问题, 并有效保留热目标的颜色信息, 融合图像F应与增强后的可见光图像R在色彩上保持一致.这有助于确保融合图像整体色彩的协调性, 避免色彩偏移破坏图像的视觉效果和真实性, 进而影响视觉系统对场景的正确理解.为此, 定义颜色损失:

Lcolor=‖ CbF-CbR‖ 1+‖ CrF-CrR‖ 1,

其中, CbF、CrF分别表示F在YCbCr颜色空间中的Cb与Cr色度通道, CbR、CrR分别表示R在YCbCr颜色空间中的Cb与Cr色度通道.通过量化融合图像与可见光图像之间的色彩差异, 可在优化过程中更好地保留图像的真实色彩.

为了进一步避免图像中出现突兀或不自然的区域, 确保融合结果符合人类视觉感知, 引入的红外信息应与周围区域保持和谐一致.这种空间一致性有助于增强图像的整体协调性, 实现色彩和亮度的平滑过渡, 使不同信息源的融合过程更符合人眼的感知规律, 提升融合图像的自然度与质量.为此, 提出连续性损失:

Lconti= 1K∑k=1K‖ Lk-E ‖22,

其中, Lk表示第k个局部区域的平均强度值, 曝光等级E表示曝光良好的水平, 与ZERO-IG[27]一致, 设为0.7.

为了不破坏引入的红外信息, 未对每个像素都进行约束, 而是将F划分成K个不重叠的局部区域, 每个区域大小为16× 16.在增强任务中, 当R中的像素强度为E时, 表示曝光良好.为此, 本文通过约束F局部区域的平均强度为E, 最大程度保留R中的内容, 避免其被破坏, 同时实现红外信息与周围区域的连续性.

如图3所示, 在连续性损失的作用下, 融合图像中热目标的颜色会受到周围区域颜色的影响.当可见光图像未增强时, 由于烟雾区域较暗, 融合图像中的热目标呈现较深的颜色, 如(c)所示.当可见光图像增强后, 烟雾部分被提亮, 融合图像中的热目标呈现更亮的白色, 如(d)所示.这表明连续性损失可有效维持红外信息与周围区域的和谐一致性, 保证融合过程中不同信息源之间的平滑过渡, 提升融合图像的自然性与协调性.

图3 连续性损失效果展示Fig.3 Visual representation of continuity loss

综上, 多维度视觉感知损失函数定义如下:

LMVP=Lcontr+Lcolor+Lconti.

本文的零样本总损失函数为:

L=LMVP+LVIE+LMRT,

其中, LVIE表示可见光图像增强网络的损失函数, LMRT表示模态重构与转换网络的损失函数, 具体内容详见ZERO-IG[27]和EFDFusion[28].

2 实验及结果分析
2.1 实验设置

本文所有实验均在PyTorch框架下, 使用Nvidia Titan X Pascal GPU进行.在模型优化方面, 采用Adam(Adaptive Moment Estimation)优化器[30], 设置参数为β 1=0.9, β 2=0.999, Є=10-8, 学习率固定为0.001, 批次大小为1, 最大迭代次数为2 000.

本文选择在LLVIP(A Visible-Infrared Paired Da-taset for Low-Light Vision)[31]和MSRS(Multi-spectral Road Scenarios)[25]这2个公开数据集上进行实验.LLVIP数据集包含对齐的红外与低光照可见光图像对, 均是在夜间道路场景中拍摄.MSRS数据集包含白天场景和夜间场景的红外与可见光图像对.

本文从LLVIP数据集上随机选取500对红外与可见光图像对, 从MSRS数据集上选取100对典型的夜间红外与可见光图像对, 用于验证方法的有效性.

本文选择如下5个评价指标客观评估融合性能:平均梯度(Average Gradient, AG)[32]、相关系数(Correlation Coefficient, CC)[33]、熵(Entropy, EN)[34]、标准差(Standard Deviation, SD)[35]、视觉信息保真度(Visual Information Fidelity, VIF)[36].AG反映图像纹理信息的丰富程度, CC衡量融合图像与源图像之间的线性相关程度, EN从信息论的角度评估融合图像中包含的信息量, SD从统计的角度表示融合图像的分布和对比度, VIF从人类视觉感知的角度评估信息的保真度.AG、CC、EN、SD、VIF值越高, 表示融合效果越优.

2.2 对比实验

本文选择如下10个IVIF方法进行对比:GAN-FM[13]、DIDFuse(Deep Image Decomposition Based Infrared and Visible Image Fusion)[14]、MFEIF[15]、文献[16]方法、Conti-Fuse[17]、SHIP[18]、MetaFusion[23]、U2Fusion(Unified Unsupervised Image Fusion Net-work)[24]、PIAFusion[25]、DIVFusion[26].

所有方法均采用带有推荐参数的公开源代码进行结果重现.为了确保公平性, 使用U2Fusion对最初仅在灰度图像上进行融合的结果进行着色处理.

各方法在LLVIP、MSRS数据集上的视觉效果对比如图4和图5所示.由图可知, 在低光照环境下, 大多数方法的融合图像被黑暗淹没, 无法呈现场景中丰富的颜色信息和纹理细节, 普遍存在颜色失真的问题.尽管DIVFusion可提供更明亮的融合图像, 展示更多的场景信息, 但其颜色失真问题更严重.此外, 虽然对比方法能突出显示热目标, 但在目标主体的颜色和细节保留方面存在明显不足, 如图中放大区域所示.相比之下, ZSFuCu不仅能提供明亮的场景和自然的颜色, 还能在突出重要目标的同时最大程度保留原有的颜色和细节信息, 为下游视觉任务提供高质量的融合图像.

图4 各方法在LLVIP数据集上的视觉效果对比Fig.4 Visual effect comparison of different methods on LLVIP dataset

图5 各方法在MSRS数据集上的视觉效果对比Fig.5 Visual effect comparison of different methods on MSRS dataset

各方法在LLVIP数据集上的指标值对比如表1所示, 表中黑体数字表示最优值.

表1 各方法使用低光照的可见光图像进行融合的性能对比 Table 1 Performance comparison of different methods using low-light visible images for fusion

ZSFuCu在EN、AG、VIF指标上均取得最优值, 表明其在提供完整的场景信息、丰富的纹理细节及自然的颜色方面的显著优势.

ZSFuCu在SD指标上的次优结果表明其在融合图像的对比度方面也表现出可比的性能.

在CC指标上, ZSFuCu表现较差, 这主要是由于生成更明亮的场景会降低融合图像与源图像之间的线性相关性.

为了进一步验证ZSFuCu在融合任务中的性能, 首先使用本文的可见光图像增强网络对LLVIP数据集上的低光照可见光图像进行自适应增强, 各方法使用增强后的可见光图像进行融合, 并与ZSFuCu对比.需要注意的是, 由于DIVFusion已考虑可见光图像的光照退化问题, 因此未使用增强后的可见光图像, 仍使用低光照可见光图像进行融合.各方法的指标值结果如表2所示, 表中黑体数字表示最优值.

表2 各方法使用增强后的可见光图像进行融合的性能对比 Table 2 Performance comparison of different methods using enhanced visible images for fusion

由表2可见, 增强后的可见光图像使各方法可产生更明亮的场景, 导致CC指标下降, 但在EN、AG、SD、VIF指标上存在提升.这表明在光线条件较差时对可见光图像进行自适应增强, 对于提高红外与可见光图像融合的性能具有重要作用.尽管如此, ZSFuCu在CC、EN、AG、VIF指标上依然表现较优, 表明同样在使用增强后的可见光图像进行融合的情况下, 本文提出的融合曲线在提升融合性能方面是有效的.

各方法在720× 480图像融合任务中的计算性能对比如表3所示, 包括推理模型参数量、FLOPs(Floating Point Operations)和运行时间.

表3 各方法在图像融合任务中计算性能对比 Table 3 Computational performance comparison of different methods in image fusion tasks

由表3可见, ZSFuCu在各项指标上具有明显的领先优势, 尤其在模型的轻量化方面表现突出, 具备最小的参数量和最低的FLOPs.此外, ZSFuCu的运行时间也明显优于对比方法, 表明其在计算资源受限的条件下仍能保持高效运行.ZSFuCu的高效性和轻量化特性使其在实际应用中具有显著优势, 尤其是适用于计算资源受限的场景.

2.3 消融实验

为了确定融合曲线中的最佳总迭代次数n, 定义n=1, 3, 5, 7, 9, 分析不同的n对ZSFuCu性能的影响, 结果如表4所示.由表可见, ZSFuCu的性能随n的增加呈现先升后降的趋势.当n从1增至7时, 指标值显著提升.当n=7时, 各项指标值均达到最优.当n> 7后, 性能增益趋于饱和, 并出现轻微下降趋势.值得注意的是, 在n增加过程中, ZSFuCu的计算复杂度保持恒定, 表明迭代过程仅影响融合效果, 而不会引入额外的计算开销.综合考虑性能与计算效率, 本文选择n=7为最优的总迭代次数.

表4 n对ZSFuCu性能的影响 Table 4 Effect of n on ZSFuCu performance

此外, n不同时融合效果对比如图6所示.

图6 n不同时可视化结果Fig.6 Visualization results of different n

由图6可见, 当n较小时, ZSFuCu表征能力不足, 导致热目标区域的显著性较低.随着n的增加, 热目标得到增强, 纹理清晰度和对比度明显提升.当n=7时, 热目标的细节表现与色彩还原达到最优平衡状态.

通过图6(g)中迭代差值对比可明显观察到, 迭代优化过程可有效促进红外信息的引入, 这充分验证融合曲线中迭代策略在红外特征增强方面的有效性.

ZSFuCu的多维度视觉感知损失函数LMVP中各项的有效性对比如图7所示.

图7 LMVP中各损失项的可视化结果Fig.7 Visualization results of different loss terms in LMVP

由图7中放大区域可见, 移除对比度损失Lcontr时, 融合结果无法在热目标中有效保留可见光图像的优质纹理细节, 导致重要的场景信息丢失.移除颜色损失Lcolor时, 会造成严重的颜色失真问题, 融合图像出现明显的色彩偏差, 影响真实性.移除连续性损失Lconti时, 引入的红外信息显得非常突兀, 导致整幅图像缺乏自然的协调性, 不符合人类视觉感知的规律.相比之下, 采用多维度视觉感知损失函数LMVP之后, 融合结果能在突出重要目标的同时, 保留原有的颜色和纹理信息, 有效解决红外信息引入过程中产生的颜色失真问题, 使融合图像具备丰富的细节和自然的颜色.

LMVP中每个损失项对ZSFuCu融合性能的影响如表5所示.

表5 LMVP中各损失项的消融实验结果 Table 5 Ablation experiment results of different loss terms in LMVP

由表5可见, 移除对比度损失Lcontr后, AG和SD指标最差, 体现Lcontr在保证融合图像中清晰的纹理细节方面的有效性.在缺少连续性损失Lconti和颜色损失Lcolor时, VIF指标较差, 表明Lconti和Lcolor在保证融合图像视觉感知自然度方面的重要性.移除连续性损失Lconti时, CC指标最低, 表明突兀的红外信息会降低融合图像和源图像之间的线性相关性, 由此表明Lconti的必要性.缺少颜色损失Lcolor时, EN指标最差, 说明融合图像的严重失真问题会造成场景信息的缺失, 容易导致信息的误传.

当光线分布不均匀时, 对可见光图像进行自适应增强后, 红外与可见光图像融合的可视化结果如图8所示.

图8 可见光图像自适应增强前后的可视化结果Fig.8 Visualization results of visible images before and after adaptive enhancement

由图8(c)可知, 若删除可见光图像增强网络(VIE-Net), 直接使用光线分布不均匀的可见光图像进行融合, 虽然能突出重要目标并呈现部分场景信息, 却难以清晰观察背景建筑中的细节.相比之下, ZSFuCu 在融合过程中对可见光图像进行自适应增强, 如(d)所示, 表明ZSFuCu即使在较差的光线环境下, 仍能生成重要目标突出、亮度和可见度良好、场景信息完整的融合图像.这充分体现ZSFuCu 在复杂光照环境中的适应性以及在提升融合图像质量方面的优势.

3 结束语

本文提出基于融合曲线的零样本红外与可见光图像融合方法(ZSFuCu), 将融合任务转化为图像特定曲线的估计问题, 构建动态可学习的像素级非线性映射融合曲线, 有效保留热目标的颜色和纹理信息.在多维度视觉感知损失函数的约束下, 增强融合图像的对比度, 改善红外信息与背景环境的协调性, 解决色彩失真问题.为了应对复杂光照环境, 采用零样本学习策略实现模型参数的自适应优化.实验表明, ZSFuCu在目标突出性、细节恢复及颜色自然度方面均表现较优, 尤其在低光照条件下表现出较强的鲁棒性和良好的泛化性.今后可考虑进一步提升ZSFuCu在目标检测与跟踪等下游任务中的准确性与效率, 推动其在实际场景中的广泛应用.

本文责任编委 黄 华

Recommended by Associate Editor HUANG Hua

参考文献
[1] HAN M N, YU K L, QIU J H, et al. Boosting Target-Level Infrared and Visible Image Fusion with Regional Information Coordination. Information Fusion, 2023, 92: 268-288. [本文引用:1]
[2] 洪雨露, 吴小俊, 徐天阳. 基于差异双分支编码器的多阶段图像融合方法. 模式识别与人工智能, 2022, 35(7): 661-670.
(HONG Y L, WU X J, XU T Y. Multi-stage Image Fusion Method Based on Differential Dual-Branch Encoder. Pattern Recognition and Artificial Intelligence, 2022, 35(7): 661-670. ) [本文引用:1]
[3] CHEN J, LI X J, LUO L B, et al. Infrared and Visible Image Fusion Based on Target-Enhanced Multiscale Transform Decomposition. Information Sciences, 2020, 508: 64-78. [本文引用:1]
[4] MA J L, ZHOU Z Q, WANG B, et al. Infrared and Visible Image Fusion Based on Visual Saliency Map and Weighted Least Square Optimization. Infrared Physics & Technology, 2017, 82: 8-17. [本文引用:1]
[5] RAO Y J, WU D, HAN M N, et al. AT-GAN: A Generative Adversarial Network with Attention and Transition for Infrared and Visible Image Fusion. Information Fusion, 2023, 92: 336-349. [本文引用:1]
[6] 徐少平, 陈晓军, 罗洁, 等. 基于相邻特征融合的红外与可见光图像自适应融合网络. 模式识别与人工智能, 2022, 35(12): 1089-1100.
(XU S P, CHEN X J, LUO J, et al. Adjacent Feature Combination Based Adaptive Fusion Network for Infrared and Visible Images. Pattern Recognition and Artificial Intelligence, 2022, 35(12): 1089-1100. ) [本文引用:1]
[7] LI H, WU X J, KITTLER J. MDLatLRR: A Novel Decomposition Method for Infrared and Visible Image Fusion. IEEE Transactions on Image Processing, 2020, 29: 4733-4746. [本文引用:1]
[8] YIN H T. Sparse Representation with Learned Multiscale Dictionary for Image Fusion. Neurocomputing, 2015, 148: 600-610. [本文引用:1]
[9] BAVIRISETTI D P, DHULI R. Two-Scale Image Fusion of Visible and Infrared Images Using Saliency Detection. Infrared Physics & Technology, 2016, 76: 52-64. [本文引用:1]
[10] TANG L F, ZHANG H, XU H, et al. Rethinking the Necessity of Image Fusion in High-Level Vision Tasks: A Practical Infrared and Visible Image Fusion Network Based on Progressive Semantic Injection and Scene Fidelity. Information Fusion, 2023, 99. DOI: DOI:10.1016/j.inffus.2023.101870. [本文引用:1]
[11] LI H, WU X J. CrossFuse: A Novel Cross Attention Mechanism Based Infrared and Visible Image Fusion Approach. Information Fusion, 2024, 103. DOI: DOI:10.1016/j.inffus.2023.102147. [本文引用:1]
[12] ZHANG X C, DEMIRIS Y. Visible and Infrared Image Fusion Using Deep Learning. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2023, 45(8): 10535-10554. [本文引用:1]
[13] ZHANG H, YUAN J T, TIAN X, et al. GAN-FM: Infrared and Visible Image Fusion Using GAN with Full-Scale Skip Connection and Dual Markovian Discriminators. IEEE Transactions on Computational Imaging, 2021, 7: 1134-1147. [本文引用:2]
[14] ZHAO Z X, XU S, ZHANG C X, et al. DIDFuse: Deep Image Decomposition for Infrared and Visible Image Fusion // Proc of the 29th International Joint Conference on Artificial Intelligence. San Francisco, USA: IJCAI, 2020: 970-976. [本文引用:2]
[15] LIU J Y, FAN X, JIANG J, et al. Learning a Deep Multi-scale Feature Ensemble and an Edge-Attention Guidance for Image Fusion. IEEE Transactions on Circuits and Systems for Video Technology, 2021, 32(1): 105-119. [本文引用:2]
[16] WANG D, LIU J Y, FAN X, et al. Unsupervised Misaligned Infrared and Visible Image Fusion via Cross-Modality Image Generation and Registration // Proc of the 31st International Joint Confe-rence on Artificial Intelligence. San Francisco, USA: IJCAI, 2022: 3508-3515. [本文引用:2]
[17] LI H, MA H L, CHENG C Y, et al. Conti-Fuse: A Novel Conti-nuous Decomposition-Based Fusion Framework for Infrared and Visible Images. Information Fusion, 2025, 117. DOI: DOI:10.1016/j.inffus.2024.102839. [本文引用:2]
[18] ZHOU M, ZHENG N S, HE X H, et al. Probing Synergistic High-order Interaction for Multi-modal Image Fusion. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2025, 47(2): 840-857. [本文引用:2]
[19] LIU J Y, FAN X, HUANG Z B, et al. Target-Aware Dual Adversarial Learning and a Multi-scenario Multi-modality Benchmark to Fuse Infrared and Visible for Object Detection // Proc of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Washington, USA: IEEE, 2022: 5792-5801. [本文引用:1]
[20] ZHANG X C, ZHAI H, LIU J X, et al. Real-Time Infrared and Visible Image Fusion Network Using Adaptive Pixel Weighting Strategy. Information Fusion, 2023, 99. DOI: DOI:10.1016/j.inffus.2023.101863. [本文引用:1]
[21] WANG Z S, SHAO W Y, CHEN Y L, et al. A Cross-Scale Iterative Attentional Adversarial Fusion Network for Infrared and Visible Images. IEEE Transactions on Circuits and Systems for Video Technology, 2023, 33(8): 3677-3688. [本文引用:1]
[22] XIE Y N, LIU G, XU R, et al. R2F-UGCGAN: A Regional Fusion Factor-Based Union Gradient and Contrast Generative Adversarial Network for Infrared and Visible Image Fusion. Journal of Modern Optics, 2023, 70(1): 52-68. [本文引用:1]
[23] ZHAO W D, XIE S G, ZHAO F, et al. MetaFusion: Infrared and Visible Image Fusion via Meta-Feature Embedding from Object Detection // Proc of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Washington, USA: IEEE, 2023: 13955-13965. [本文引用:2]
[24] XU H, MA J Y, JIANG J J, et al. U2Fusion: A Unified Unsupervised Image Fusion Network. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022, 44(1): 502-518. [本文引用:2]
[25] TANG L F, YUAN J T, ZHANG H, et al. PIAFusion: A Progre-ssive Infrared PIAFusion: A Progre-ssive Infrared and Visible Image Fusion Network Based on Illumination Aware. Information Fusion, 2022, 83/84: 79-92. [本文引用:3]
[26] TANG L F, XIANG X Y, ZHANG H, et al. DIVFusion: Darkness-Free Infrared and Visible Image Fusion. Information Fusion, 2023, 91: 477-493. [本文引用:2]
[27] SHI Y Q, LIU D, ZHANG L G, et al. ZERO-IG: Zero-Shot Illumination-Guided Joint Denoising and Adaptive Enhancement for Low-Light Images // Proc of the IEEE/CVF Conference on Compu-ter Vision and Pattern Recognition. Washington, USA: IEEE, 2024: 3015-3024. [本文引用:3]
[28] LIU D, ZHANG G Y, SHI Y Q, et al. Efficient Feature Difference-Based Infrared and Visible Image Fusion for Low-Light Environments. The Visual Computer, 2025, 1(2): 27-43. [本文引用:2]
[29] LI C Y, GUO C L, LOY C C. Learning to Enhance Low-Light Image via Zero-Reference Deep Curve Estimation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022, 44(8): 4225-4238. [本文引用:1]
[30] KINGMA D P, BA J. Adam: A Method for Stochastic Optimization[C/OL]. [2024-11-22]. https://arxiv.org/pdf/1412.6980. [本文引用:1]
[31] JIA X Y, ZHU C, LI M Z, et al. LLVIP: A Visible-Infrared Paired Dataset for Low-Light Vision // Proc of the IEEE/CVF International Conference on Computer Vision. Washington, USA: IEEE, 2021: 3489-3497. [本文引用:1]
[32] CUI G M, FENG H J, XU Z H, et al. Detail Preserved Fusion of Visible and Infrared Images Using Regional Saliency Extraction and Multi-scale Image Decomposition. Optics Communications, 2015, 341: 199-209. [本文引用:1]
[33] DESHMUKH M, BHOSALE U. Image Fusion and Image Quality Assessment of Fused Images. International Journal of Image Processing, 2010, 4(5): 484-508. [本文引用:1]
[34] ROBERTS J W, VAN AARDT J A, AHMED F B. Assessment of Image Fusion Procedures Using Entropy, Image Quality, and Multispectral Classification. Journal of Applied Remote Sensing, 2008, 2(1). DOI: DOI:10.1117/1.2945910. [本文引用:1]
[35] RAO Y J. In-Fibre Bragg Grating Sensors. Measurement Science and Technology, 1997, 8(4): 355-375. [本文引用:1]
[36] HAN Y, CAI Y Z, CAO Y, et al. A New Image Fusion Perfor-mance Metric Based on Visual Information Fidelity. Information Fusion, 2013, 14(2): 127-135. [本文引用:1]