双模态融合网络(DRF)的关键在于其能够从不同模态的信息中提取有用特征^[21], 并进行有效融合和增强, 从而改善图像质量, 帮助纠正低对比度噪声问题, 提高图像的可用性和可读性.DRF结构如图2所示.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 DRF结构图Fig.2 Structure of DRF

FRM校准可见光特征和红外特征中的低对比度噪声, 纠正输入图像存在的低对比度噪声, 由可见光特征F_Ri和红外特征F_Ii作为输入.FFM在FRM之后, 能够实现可见光特征和红外特征之间互补信息的交换并进行特征融合, FRM的输出P_i作为特征金字塔的输入.

FRM结构如图3所示.FRM经过通道特征校准和空间特征校准两阶段, 纠正双模态图像中的低对比度噪声, 实现更准确的特征融合.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 FRM结构图Fig.3 Structure of FRM

具体地, 针对成对的双模态图像, 在通道特征校准中, 对于可见光图像, 从RGB通道中提取颜色特征信息.对于红外图像, 从红外波段中提取波段特征信息.并对通道特征信息进行匹配和校准, 以确保它们在颜色、对比度和亮度方面一致.将校准后的可见光图像和红外图像合并为一幅图像, 生成校准后的双模态图像.

在空间特征校准中, 使用第一阶段生成的校准双模态图像作为输入, 从校准后的双模态图像中提取空间特征, 这些特征包括纹理、边缘、结构等.对提取的空间特征进行增强, 提高图像的对比度和细节.将增强后的空间特征与校准后的双模态图像融合, 生成最终的纠正低对比度噪声的图像.

通过两阶段的处理, 通道特征校准确保颜色和亮度的一致性, 而空间特征校准增强图像的结构和对比度.从而FRM有效纠正双模态图像中的低对比噪声, 实现准确特征融合.

在通道特征校准阶段, 通过调整和校正双模态图像中不同通道之间的特征, 消除低对比度噪声并提高特征的一致性.

将两个模态的特征RGB_in∈ R^{H× W× C}和IR_in∈ R^{H× W× C}沿着空间轴线嵌入两个注意力向量 WRGBC∈ R^C和 WIRC∈ R^C中.对RGB_in和IR_in在通道维度上同时使用全局最大池化和全局平均池化以保留更多信息.连接这四个结果向量, 得到Y∈ R^4C, 经过熵矩阵模块E(· )进行优化, 应用多层感知机(Multilayer Perceptron, MLP), 再使用sigmoid函数, 由Y得到权重W^C∈ R^2C, 该权重将分解为 WRGBC和 WIRC:

WRGBC, WIRC=F_split(σ (F_mlp(E(Y)))),

其中σ 表示sigmoid函数.

通道特征校准结果:

RGBrecC=WIRC·IRin, IRrecC=WRGBC·RGBin,

其中· 表示通道级别的乘法.

在空间特征校准阶段, 通过调整和校正双模态图像中的空间特征, 解决由于视角、尺度、旋转等因素引起的不一致性.在双模态图像中, 可能存在空间对齐不准确的问题, 从而影响特征的一致性.通过空间特征校准可以对图像进行几何变换、配准和对齐操作, 使双模态图像中的目标位置和结构实现一致, 从而更好地实现特征融合和目标检测.

两个模态的输入RGB_in和IR_in连接后并嵌入 WRGBS∈ R^{H× W}和 WIRS∈ R^{H× W}两个空间权重图中.嵌入操作有2个1× 1卷积层, 由RELU函数组装.再通过熵矩阵模块E(· ), 将更多的权重分配给具有较小熵值的网格, 利用sigmoid函数, 得到嵌入特征图F∈ R^{H× W× 2}, 进一步划分为两个权重.获取空间权重图的过程如下:

$ \begin{array}{l} \boldsymbol{F}=E\left(\operatorname{Conv}_{1 \times 1}\left(\operatorname{RELU}\left(\operatorname{Conv}_{1 \times 1}\left(\boldsymbol{R} \boldsymbol{G} \boldsymbol{B}_{\text {in }} \| \boldsymbol{I R}_{\text {in }}\right)\right)\right)\right), \\ \boldsymbol{W}_{\mathrm{RGB}}^{S}, \boldsymbol{W}_{\mathrm{IR}}^{S}=F_{\text {split }}(\sigma(\boldsymbol{F})), \end{array}$

与通道校准类似, 空间特征校准结果为:

RGBrecS=WIRS* IRin, IRrecS=WRGBS* RGBin,

其中* 表示空间级别上的乘法.

RGB_out和IR_out两种模态的综合校准特征为:

RGBout=RGBin+λCRGBrecC+λSRGBrecS, IRout=IRin+λCIRrecC+λSIRrecS,

其中, λ _C和λ _S表示两个超参数, 都设为0.5.RGB_out和IR_out后面将进入FFM进行特征融合.

FFM结构图如图4所示.FFM能够从FRM纠正后的特征图中获取互补信息, 并融合特征图.因此, FFM分为互补信息交换阶段和融合阶段.

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 FFM结构图Fig.4 Structure of FFM

在互补信息交换阶段, 两个模态的特征通过对称结构交换信息, 利用双模态图像中的互补信息弥补各自模态的局限性, 从而得到更全面和准确的特征.此处选择可见光通道RGB进行说明.

首先将维度为H× W× C的输入特征经过通道嵌入展平维度为N× C的特征, N=H× W.使用线性嵌入生成残差向量X^rec和交互向量X^inter, 维度为N× C_i.然后, 由于自注意力输入向量编码为Query Q, Key K和Value V, 为了节省内存占用, 使用全局上下文向量G=K^TV进行计算, 维度为C_head× C_head.

最后, X^inter嵌入每个头的K和V中, 维度为N× C_head.另一模态的输出由交互向量和全局上下文向量相乘获得.全局上下文向量为:

GRGB=KRGBTVRGB, GIR=KIRTVIR.

信息交换后的结果为:

URGB=XRGBinterSoftmax(GIR), UIR=XIRinterSoftmax(GRGB),

其中Softmax(· )表示归一化函数.将结果向量U和残差向量X^rec连接后并应用线性嵌入将特征维度调整成维度为H× W× C的特征.最后将信息交换后的特征与输入特征加权规范化, 为融合阶段做准备.

在融合阶段, 通过1× 1卷积层实现合并两种模态的特征.采用深度卷积层DWConv_{3× 3}实现跳接结构, 将维度为H× W× 2C的合并特征融入维度为H× W× C的输出中进行特征解码.融合后的特征使用EBAM(Entropy-Block Attention Module) ^[22]增强鲁棒性.EBAM依次由1D通道注意力A_C∈ R^{C× 1× 1}和2D空间注意力A_S∈ R^{1× W× H}组成.输入特征F后中间状态为:

F'=A_C(F)$\otimes$F,

其中$\otimes$表示张量积.最终输出特征为:

F″=A_S(F')$\otimes$F'.

通道注意力强调赋予更多权重给不确定的特征, 在反向传播中优先考虑梯度方向, 以提取更多信息.计算通道注意力如下:

A_c(F)=σ (MLP(E(F))),

其中, σ (· )表示sigmoid函数, E(· )表示熵矩阵, MLP(· )表示多层感知机.

在空间注意力中, 赋予更多的权重给熵值较小的网络有助于提高网络性能.基于熵的空间注意力为:

A_S(F')=σ (Conv_{7× 7}(1- Eijmax{i, j}Eij)),

其中E_ij表示位于第i行和第j列网格的熵矩阵.

为了进一步解决小尺寸的目标检测问题, 采用SGA机制, 具体情况如下.

ST利用移动窗口进行跨窗口连接和跨窗口的特征交互, 提取具有较强表征能力的特征以有效提高小尺寸目标特征提取能力.其关键是指在特征图内每个像素需要与所有像素进行关联计算, 所有像素都需要通过变换矩阵W_q, W_k, W_v生成对应的q_i, k_i, v_i, 将q_i和所有k_i进行相关性计算后通过归一化处理, 权重系数和v_i进行加权求和, 得到最终的注意力机制:

Attention(Q, K, V)=SoftMax( QKTd)V,

其中, Q、K、V表示注意力机制中所需的三个向量, 分别为Query, Key和Value.

GAM能关注图像中的关键特征点, 捕捉图像像素之间的依赖关系, 从而更好地结合不同尺度下的小目标特征.其过程如下:在通道注意力中, 维度为C× W× H的输入特征F₁先采用三维通道置换的方式保存信息维度为W× H× C, 再通过一个MLP, 经过sigmoid函数, 得到权重M_C.在空间注意力中, 输入特征F₂使用两个7× 7卷积层, 同样经由sigmoid函数得到权重M_S.过程如下:

F2=MC(F1)⊗F1, F3=MS(F2)⊗F2,

其中, $\otimes$表示张量积, F₁表示输入特征, F₂表示中间状态, F₃表示输出特征, M_C(· )表示通道注意力模块, M_S(· )表示空间注意力模块.

当融合不同分辨率特征图时, 通常是先调整它们的大小以达到相同的分辨率, 再求和.然而不同分辨率的输入特征对输出端的影响并不相同.因此, 需要为不同的输入特征设置可调节的权重系数.BiFPN能根据每个输入特征的影响程度设置不同的权重.采用加权特征融合的方法为每个特征引入额外权重, 增强不同尺度间上下文信息的融合能力, 同时保留更多小目标的特征信息.使用归一化融合公式约束每个权重的大小, 最终输出特征为:

O= ∑i=0(ω _iI_i( ∑j=0ω _j+ε )^-1),

其中, ω _i、ω _j表示可以学习的权重大小, ε =0.000 1, 是避免数值不稳定的小数值, I_i表示输入特征.

实验平台为一台装有 NVIDIA Tesla V100 的 Linux 服务器, 运行 Ubuntu20.04 操作系统.实验环境配置包括 CUDA 11.7、PyThon 3.8 和 Pytorch 1.10.1.

采用KAIST^[23]、LLVIP^[24]行人数据集, FLIR、FLIR_v2行人车辆数据集和VEDAI^[25]、Drone-Vehicle^[9]航拍车辆数据集进行算法评测实验.

在KAIST数据集上, 为了消除原始数据集上不准确注释对实验结果的影响, 使用经过处理的多光谱行人检测数据集^[26].该数据集包含7 601对用于训练的RGB-Thermal图像和2 252对用于测试的图像.经过净化的数据集消除原始训练中的注释错误, 确保测试集注释的准确性, 以便进行公平对比.

LLVIP数据集为低光视觉可见光红外配对行人数据集, 包括12 025个配对训练图像和3 463个配对测试图像, 其中大部分图像是在非常黑暗的场景下拍摄的.此外, 所有图像都是严格时空对齐的, 确保实验结果的准确性.

FLIR数据集(https://www.flir.com/oem/adas/adas-dataset-form)为多光谱目标检测数据集, 包括白天场景和夜晚场景.原始数据集中存在大量未对齐的图像对, 使网络训练变得困难.最近发布的“ 对齐” 版本^[5], 手动删除未对齐的可见热图像对.新的数据集包含5 142个对齐良好的多光谱图像对, 涵盖3个对象类别(人、汽车、自行车), 其中4 129对图像用于训练, 1 013对图像用于测试.为了提高边界框的准确性和从原始数据集上恢复更多的数据, 采用交叉标签算法^[22]执行预处理步骤.进一步对齐的数据集分别有6 924对和1 982对图像用于训练和验证.

Teledyne FLIR红外热传感器可以在具有挑战性的条件下进行检测和分类, 包括完全黑暗、大多数雾、烟雾、恶劣天气和眩光.FLIR_v2数据集(https://www.flir.com/oem/adas/adas-dataset-form)的标签已经扩展到15类, 注释帧总数扩展到26 442个.其中训练集上可见图像为9 233幅, 红外图像为9 711幅, 验证集上可见光图像为3 749幅, 红外图像为3 749幅, 比v1版本增加83%.由于数据集上存在大量未对齐的可见光图像和红外图像对, 因此选定标签为人和车, 并从中选择7 044对红外可见光匹配对作为训练集, 3 749对视频帧匹配对作为验证集.调整红外和可见光数据对, 最终得到10 793对配准良好的匹配对.

VEDAI数据集为航空图像车辆检测数据集, 其特点是表现出多种不同的变化, 如多方向、灯光/阴影变化、反射或闭塞等.数据集共包含1 246个图像对, 其中997对图像用于训练, 249对图像用于验证.数据集的小体积可以提高训练和验证的效率, 而数据集上的各种变化可以帮助提高算法的鲁棒性和泛化性能.这些特点使得该数据集成为一个有价值的测试平台, 可以评估车辆检测算法在各种复杂场景下的性能表现.

DroneVehicle数据集为天津大学推出的一个大型无人机航拍车辆数据集, 特点包括:拍摄环境覆盖从白天到晚上的时间段; 提供可见光图像和红外图像; 数据集上包含15 532对(共31 064幅)图像, 其中包含441 642个标注实例; 数据集上存在真实环境下的遮挡和尺度变化.该数据集上有17 990对图像用作训练集, 1 469对图像用作验证集.

算法评价指标为平均检测精度(Mean Average Precision, mAP), 包括交并比(Intersection over Union, IoU) 为0.5 的mAP(记为mAP@0.5)和 0.5∶ 0.95的 mAP(记为mAP@[0.5∶ 0.95]).

将本文算法与近几年具有代表性的单模态目标检测算法和多模态目标检测算法进行对比, 验证本文算法的有效性.

在KAIST、LLVIP行人检测数据集上, 选择如下算法.1)单模态目标检测算法:FCOS^[1]、YOLOv5、YOLOv7.2)双模态目标检测算法:MBNet^[3]、TC Det^[4]、CFR^[5]、 ECISNet^[8] 、UA-CMDet^[9]、文献[11]算法、Dual-YOLO^[17]、LRAF-Net^[18].

各算法的指标值结果如表1所示, 表中黑体数字表示最优值.由表可见, 相比双模态算法, 在KAIST数据集上, DRF-SGA在mAP@0.5指标上分别比MBNet、TC Det、CFR、 ECISNet、文献[11]算法和Dual-YOLO提升4.2%、5.2%、4.0%、3.8%、 2.0%和3.3%.在LLVIP数据集上, DRF-SGA在mAP@0.5指标上分别比MBNet、TC Det、CFR、ECISNet 和UA-CMDet提升3.2%、2.4%、3.6%、0.7%和0.1%.对比算法由于忽略纠正输入图像的低对比噪声, 无法实现良好的特征融合.与上述方法不同的是, DRF-SGA能够建模输入可见光图像与红外图像目标位置和结构间的一致性, 从而准确实现特征融合.

表1

Table 1

表1(Table 1)

表1 各算法在KAIST、LLVIP数据集上的指标值对比 Table 1 Index value comparison of different algorithms on KAIST and LLVIP datasets 算法 图像集 KAIST LLVIP mAP@0.5 mAP@[0.5∶ 0.95] mAP@0.5 mAP@[0.5∶ 0.95] FCOS RGB IR 54.3 64.7 - - 83.4 83.9 - - YOLOv5 RGB IR 60.7 70.5 28.3 33.3 90.8 94.6 50.0 61.9 YOLOv7 RGB IR 62.6 71.6 27.7 32.6 91.4 95.7 52.5 62.7 MBNet RGB+IR 72.3 - 93.2 - TC Det RGB+IR 71.3 - 94.0 - CFR RGB+IR 72.5 - 92.8 - ECISNet RGB+IR 72.7 - 95.7 - UA-CMDet RGB+IR - - 96.3 - 文献[11]算法 RGB+IR 74.5 35.2 - - Dual-YOLO RGB+IR 73.2 - - - LRAF-Net RGB+IR - - 97.9 66.3 DRF-SGA RGB+IR 76.5 36.0 96.4 63.9

表1 各算法在KAIST、LLVIP数据集上的指标值对比 Table 1 Index value comparison of different algorithms on KAIST and LLVIP datasets

在FLIR、FLIR_v2行人车辆检测数据集上, 选择如下双模态目标检测算法:CFR^[5]、GAFF(Guided Attentive Feature Fusion)^[6]、文献[7]算法、 UA-CMDet^[9]、SuperYOLO^[12]、CFT^[13]、MFPT^[15]、MOD-YOLO^[16]、Dual-YOLO^[17]、LRAF-Net^[18].

各算法的指标值对比如表2所示, 表中黑体数字表示最优值.由表可得, 在FLIR数据集上, DRF-SGA在mAP@0.5指标上分别比CFR、GAFF、文献[7]算法、UA-CMDet、SuperYOLO、CFT、MFPT、Dual-YOLO和LRAF-Net提升12.6%、11.2%、12.9%、6.4%、0.9%、7.3%、8.2%、0.5%、4.5%.在FLIR_v2数据集上, DRF-SGA在mAP@0.5指标上比UA-CMDet、SuperYOLO和CFT提升3.6%、2.0%、3.3%.对比算法由于忽略对象尺寸差异, 检测效果略差.DRF-SGA能更好地关注不同视角和位置下相同目标不同尺寸的差异, 有效提高检测精度.

表2

Table 2

表2(Table 2)

表2 各算法在FLIR、FLIR_v2数据集上的指标值对比 Table 2 Index value comparison of different algorithms on FLIR and FLIR_v2 datasets 算法 图像集 FLIR FLIR_v2 mAP@0.5 mAP@[0.5∶ 0.95] mAP@0.5 mAP@[0.5∶ 0.95] CFR RGB+IR 72.4 - - - GAFF RGB+IR 73.8 - - - 文献[7]算法 RGB+IR 72.1 - - - UA-CMDet RGB+IR 78.6 - 72.8 - SuperYOLO RGB+IR 84.1 45.2 74.4 42.6 CFT RGB+IR 77.7 40.0 73.1 41.2 MFPT RGB+IR 76.8 - - - MOD-YOLO RGB+IR 86.3 46.0 - - Dual-YOLO RGB+IR 84.5 - - - LRAF-Net RGB+IR 80.5 42.8 - - DRF-SGA RGB+IR 85.0 49.0 76.4 44.4

表2 各算法在FLIR、FLIR_v2数据集上的指标值对比 Table 2 Index value comparison of different algorithms on FLIR and FLIR_v2 datasets

对于VEDAI、DroneVehicle航拍车辆数据集, 选择如下对比算法.1)单模态目标检测算法:FCOS^[1]、YOLOv5、YOLOv7.2)多模态目标检测算法:TC Det^[4]、CFR^[5]、ECISNet^[8]、TSFADet^[10]、SuperYOLO^[12]、CFT^[13].

各算法的指标值对比如表3所示, 表中黑体数字表示最优值.由表可观察到, 在VEDAI数据集上, DRF-SGA在mAP@0.5指标上比TC Det和CFT分别提升14.9%和0.3%.在DroneVehicle数据集上, DRF-SGA在mAP@0.5指标上比TC Det、CFR、ECISNet、TSFADet、SuperYOLO和CFT分别提升15.7%、9.9%、7.8%、10.74%、1.8%和0.6%.由于现有双模态目标检测算法更倾向于输入图像特征之间的充分融合, 因此通常忽略探索不同像素之间的依赖关系, 导致尺寸较小的目标不能得到有效检测.DRF-SGA却能捕捉图像像素之间的依赖关系, 根据该依赖关系, 融合具有不同尺度目标的特征, 提高小尺寸目标检测的效果.

表3

Table 3

表3(Table 3)

表3 各算法在VEDAI、DroneVehicle数据集上的指标值对比 Table 3 Index value comparison of different algorithms on VEDAI and DroneVehicle datasets 算法 图像集 VEDAI DroneVehicle mAP@0.5 mAP@[0.5∶ 0.95] mAP@0.5 mAP@[0.5∶ 0.95] FCOS RGB IR 56.1 63.1 - - 57.1 73.3 - - YOLOv5 RGB IR 71.5 69.7 42.7 41.9 72.5 79.9 40.8 56.4 YOLOv7 RGB IR 72.0 69.4 42.4 41.5 72.0 82.0 41.2 56.7 TC Det RGB+IR 57.8 28.9 68.1 41.0 CFR RGB+IR - - 73.9 - ECISNet RGB+IR - - 76.0 - TSFADet RGB+IR - - 73.06 - SuperYOLO RGB+IR 75.1 42.5 82.9 56.8 CFT RGB+IR 72.4 42.8 83.2 57.2 DRF-SGA RGB+IR 72.7 43.2 83.8 56.9

表3 各算法在VEDAI、DroneVehicle数据集上的指标值对比 Table 3 Index value comparison of different algorithms on VEDAI and DroneVehicle datasets

为了更直观地对比, SuperYOLO、CFT、DRF-SGA的可视化结果如图5所示.由图可知, SuperYOLO存在错检情况, 如第二幅图像和第四幅图像中将van误检为car.CFT会有部分漏检情况, 例如第一幅图像未检测到bus, 第三幅图像未检测到freight.值得注意的是, DRF-SGA可以有效检测复杂场景中尺寸较小的目标, 这种优异的检测效果得益于DRF-SGA在纠正双模态特征中低对比噪声的同时有效缓解目标尺寸变换较大带来的影响.

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 各算法在DroneVehicle数据集上的检测效果对比Fig.5 Detection result comparison of different algorithms on DroneVehicle dataset

本节在行人、行人车辆以及航拍车辆这6个数据集上分别进行消融实验.为了验证不同组件的有效性, 设计基线为简单相加可见光特征和红外特征提取网络的算法, 记为YOLOv5-Add.在YOLOv5-Add上加入FFM和FRM以验证DRF的有效性, 记为YOLOv5-Add-DRF.在此基础上加入ST、GAM和BiFPN以验证SGA的有效性, 记为YOLOv5-Add-DRF-SGA.

各算法在6个数据集上的指标值对比如表4所示, 表中黑体数字表示最优值.由表可见, 针对含有目标尺度变换不大的行人和行人车辆检测数据集, 通过DRF纠正大雾、黑夜以及眩光引起的对比度降低产生的噪声, 可以有效改善行人及车辆的检测精度.在KAIST数据集上, YOLOv5-Add在mAP@0.5和mAP@[0.5∶ 0.95]指标上分别为72.5%和33.2%; 添加DRF纠正低对比度噪声后, 算法在检测精度上提升3.1%和1.9%.在LLVIP数据集上, YOLOv5-Add在mAP@0.5和mAP@[0.5∶ 0.95]指标上分别为95.5%和60.7%; 加入DRF后检测精度分别提升0.4%和2.1%.在FLIR_v2数据集上, 相比YOLOv5-Add, YOLOv5-Add-DRF的mAP@0.5和mAP@[0.5∶ 0.95]指标分别提升2.5%和1.1%.在小目标较多的行人车辆和航拍车辆数据集上, 纠正低对比度噪声可以提升部分目标的检测精度, 但一些尺寸差异较大的目标仍存在误检测或漏检的情况.添加SGA可以有效缓解尺度较小目标引起的对比度降低带来的影响.为了验证SGA中ST和GAM的有效性, 在DRF中分别加入ST和GAM, 分别记为DRF-ST和DRF-ST-GAM.

表4

Table 4

表4(Table 4)

表4 各算法在5个数据集上的消融实验结果 Table 4 Ablation experiment results of different algorithms on 6 datasets 数据集 YOLOv5-Add YOLOv5-Add-DRF YOLOv5-Add-DRF-SGA mAP@0.5 mAP@[0.5∶ 0.95] mAP@0.5 mAP@[0.5∶ 0.95] mAP@0.5 mAP@[0.5∶ 0.95] KAIST 72.5 33.2 75.6 35.1 76.5 36.0 LLVIP 95.5 60.7 95.9 62.8 96.4 63.9 FLIR 78.2 45.1 83.5 47.4 85.0 49.0 FLIR_v2 73.6 42.0 76.1 43.1 76.4 44.4 VEDAI 70.2 40.6 71.2 42.1 72.7 43.2 DroneVehicle 78.9 54.4 82.4 55.6 83.8 56.9

表4 各算法在5个数据集上的消融实验结果 Table 4 Ablation experiment results of different algorithms on 6 datasets

DRF添加不同组件后的指标值对比如表5所示, 由表可见, 在FLIR 数据集上, 相比DRF, DRF-ST在mAP@0.5和mAP@[0.5∶ 0.95]指标上分别提升0.6%和0.5%, 添加GAM后再次提升0.6%和0.9%, 这得益于GAM关注图像中的关键特征点并捕捉图像像素之间的依赖关系, 使小尺寸目标自行车的检测效果变优.在全部都是小尺寸目标的航拍车辆数据集上增添SGA后检测精度的提升效果更为明显.在VEDAI数据集上, DRF的mAP@0.5和mAP@[0.5∶ 0.95]指标分别为71.2%和42.1%.加入ST后, 可提取具有较强表征能力的特征, 提高小尺寸目标特征提取能力, 使检测精度分别提升0.5%和0.4%; 加入GAM结合不同尺度下目标特征后, 检测精度再次提升0.8%和0.4%.在DroneVehicle数据集上, DRF的mAP@0.5和mAP@[0.5∶ 0.95]指标分别为82.4%和55.6%; 添加ST后, 检测精度提升0.5%和0.6%; 而加入GAM后, 检测精度再次提升0.6%和0.5%.

表5

Table 5

表5(Table 5)

表5 SGA上不同组件在6个数据集上的消融实验结果 Table 5 Ablation experiment results of different components of SGA on 6 datasets 数据集 DRF DRF-ST DRF-ST-GAM mAP@0.5 mAP@[0.5∶ 0.95] mAP@.5 mAP@[0.5∶ 0.95] mAP@0.5 mAP@[0.5∶ 0.95] KAIST 75.6 35.1 75.9 35.4 76.2 35.7 LLVIP 95.9 62.8 96.0 63.0 96.4 63.6 FLIR 83.5 47.4 84.1 47.9 84.7 48.8 FLIR_v2 76.1 43.1 76.2 43.9 76.4 44.1 VEDAI 71.2 42.1 71.7 42.5 72.5 42.9 DroneVehicle 82.4 55.6 82.9 56.2 83.5 56.7

表5 SGA上不同组件在6个数据集上的消融实验结果 Table 5 Ablation experiment results of different components of SGA on 6 datasets

为了更直观地对比检测结果, DRF-SGA部分可视化结果如图6所示.

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 DRF-SGA在FLIR_v2数据集上的检测效果Fig.6 Detection result comparison of DRF-SGA on FLIR_v2 dataset

由图6可见, 在大雾天气能见度极低时, DRF-SGA可以检测到行人和车辆.在太阳眩光和大灯眩光下, DRF-SGA能够检测到对面的车辆.在具有冷热物体的繁忙城市环境中, DRF-SGA可以检测到所有冷热物体.在雨滴的积聚导致难以识别物体的光条纹情况下, DRF-SGA可以有效检测到车辆.值得注意的是, 这种优异的检测效果得益于DRF和SGA对于双模态网络模型带来的有效改善.