近年来, 目标检测在CNN和Transformer的双重推动下取得显著进展.CNN通过层次化特征提取和多尺度预测实现高效检测, 其中, YOLO系列通过跨阶段局部网络和路径聚合网络优化特征融合效率, 但在高密度场景中容易出现漏检, 且小目标检测精度不高.Transformer的DETR系列通过自注意力机制实现全局建模.Zhu等^[3]提出Deformable DETR, 采用稀疏采样, 有效降低计算复杂度, 但其动态查询机制在遮挡场景中容易产生冗余预测.Song等^[11]提出DAF-DETR(Dynamic Adaptation Feature Detection Transformer), 引入可学习位置编码和ResynNet(Resynthetic Network)骨干网络, 有效降低小目标漏检率, 但多头注意力机制同时也消耗过多计算资源.这两种架构在复杂场景中普遍面临目标形变、遮挡、跨域泛化等挑战.

域自适应旨在解决源域与目标域间的分布差异问题, 核心挑战在于如何在缺乏目标域标注时实现有效的知识迁移.现有方法主要围绕3个关键方向展开:基于数据增强的方法通过风格转换或混合样本生成弥合域间差异, 但对光照、尺度等复杂变化的适应性有限^[12]; 基于特征分布匹配的方法通过最小化域间统计差异(如最大均值差异或对抗训练)学习域不变特征, 但往往忽略局部几何结构对齐^[13]; 基于原型学习的方法构建类别特征中心, 保持语义一致性, 但在动态场景中面临原型漂移的挑战^[14].

近期, Westfechtel等^[15]提出GSDE(Gradual Source Domain Expansion), 迭代筛选高置信度目标样本作为伪标注数据, 逐步缩小域间差距.Zhu等^[16]提出PMTrans, 通过跨注意力机制实现图像块的自适应采样.上述方法虽取得一定进展, 但仍面临对齐粒度不足、动态适应缺失等挑战, 特别是在跨模态场景中的适应性有限.

现有域自适应目标检测通常围绕图像转换、特征对齐、原型对齐三个方向展开.基于图像转换的方法利用环形频谱迁移增强目标域数据, 但在复杂光照条件下容易产生伪影^[17].基于特征对齐的方法通过对抗训练实现全局特征匹配, 但忽略实例级几何差异, 导致小目标检测性能下降^[18].原型对齐方法构建类别原型拓扑, 约束跨域一致性, 但对噪声敏感且计算开销较高^[19].这些方法普遍存在如下不足:1)对齐粒度单一, 缺乏对局部几何特征的适应性; 2)动态适应能力不足, 难以应对目标域数据流式输入; 3)跨模态(如可见光-红外)适应效果有限.

针对现有域自适应方法在复杂场景中对背景干扰敏感、特征迁移效率较低的问题, 本文提出动态融合特征增强模块(DFFE), 通过数据集层面的动态融合与特征层面的自适应加权, 实现跨域特征的鲁棒增强.

在数据集层面上, 利用动态融合机制生成源域与目标域的混合样本, 缓解域偏移问题.在特征层面上设计双路异构注意力机制, 同时捕获空间多粒度信息和通道多粒度信息, 对混合特征进行空间与通道的选择性强化, 突出迁移性强的目标特征(如车辆、行人等), 抑制背景噪声与非迁移性特征.

2.1.1 动态融合机制

在无监督领域自适应方法中, 源域D_s={(x_{i, s}, y_{i, s}) }i=1Ns为带标签的数据集, 其中, N_s表示源域数据集大小, x_{i, s}表示源域样本, y_{i, s}表示x_{i, s}的标签.目标域D_t={x_{i, t} }i=1Nt为不带标签的数据集, 其中, N_t表示目标域数据集大小, x_{i, t}表示无标签的目标域样本.

给定来自源域数据集的一对样本(x_{i, s}, y_{i, s})和目标域数据集的一个样本及对应的独热(One-Hot)标签($x_{i, t}, \hat{y}_{i, t}$), 其中$\hat{y}_{i, t}$表示目标域样本的伪标签.通过动态融合机制得到第i个源域侧的混合样本

$\hat{x}_{i, s}=\lambda x_{i, s}+(1-\lambda) x_{i, t}$

和对应的混合标签

$\hat{y}_{i, s}=\lambda y_{i, s}+(1-\lambda) \hat{y}_{i, t}, $

其中λ 表示融合比.考虑到λ ∈ (0, 1), 这里选择与定义域(0, 1)匹配的β 分布(λ ~β (a, a))进行动态采样.相比高斯分布需额外截断或归一化的缺陷, β 分布可直接生成有效融合比, 实现源域特征与目标域特征的平滑插值.

在训练过程中, 通过调整a值以适应不同阶段的优化需求, 从而避免因固定比值导致的方法过拟合或随机性不足.

2.1.2 双路异构注意力机制

针对混合特征中前景目标与背景噪声的域迁移差异性, 设计双路异构注意力机制, 通过通道-空间感知注意力协同, 实现跨域特征的动态筛选, 增强方法的背景干扰抵抗能力.

由于动态融合生成的跨域特征中不同通道对目标检测任务的贡献度不同, 即高迁移通道注重车辆边缘纹理等跨域共享的语义特征, 而低迁移通道注重光照敏感的背景噪声.因此, 本文设计通道感知注意力策略, 通过自适应权重分配, 解决跨域特征迁移中的通道级偏差问题, 强化高迁移通道, 抑制低迁移通道.

首先, 提取混合样本的多尺度混合特征F_mix∈ R^{C× H× W}, 并沿空间维度进行全局平均池化, 生成通道描述符:

$\operatorname{GAP}\left(\boldsymbol{F}_{\mathrm{mix}}\right)=\frac{1}{H \times W} \sum_{i=1}^{H} \sum_{j=1}^{W} \boldsymbol{F}_{\mathrm{mix}}[:, i, j] \in \mathbf{R}^{C}, $

保留全局信息, 其中C表示通道维度.然后, 利用两层轻量多层感知机(Multilayer Perceptron, MLP)生成通道权重:

W_c=sigmoid(MLP(MLP(GAP(F_mix))))∈ R^C.

第1层MLP将维度C压缩至C/r(r为压缩比, 通常设为16), 第2层MLP将维度恢复至C, 增强非线性表达能力.该路径聚焦于跨域共享的通道特征, 如车辆纹理的频域特性.

空间感知注意力策略主要用于解决跨域特征的空间分布偏差问题, 通过空间权重强化目标密集区域的特征响应, 同时抑制无关区域干扰.

首先, 利用EfficientNet^[21]中的大核深度可分离卷积(Depthwise Convolution, DWConv)捕获上下文特征:

F_spatial=DWConv_{7× 7}(F_mix)∈ R^{1× H× W}.

然后, 利用1× 1卷积对特征进行线性映射, 并结合Sigmoid激活函数生成空间权重:

W_s=sigmoid(Conv_{1× 1}(F_spatial))∈ R^{1× H× W}.

将通道权重W_c及空间权重W_s通过加权及逐元素相乘等操作后, 得到最终权重:

W_fused=sigmoid((ϕ · W_c)☉W_s+β ),

用于后续残差增强, 其中, ☉表示逐元素相乘, β 表示可学习参数, 用于提供偏置补偿, ϕ 表示可学习系数, 用于调节通道注意力和空间注意力的贡献比例.

在特征预处理阶段, 对提取的多尺度混合特征F_mix进行1× 1卷积, 降维至C/4通道, 得到原始特征:

F_re=Conv_{1× 1}(F_mix),

平衡特征冗余抑制与计算资源开销.

之后, 多尺度混合特征F_mix与原始特征F_re通过残差连接, 获得增强特征:

F_en=F_mix+F_re􀱋W_fused,

有效保留关键域不变信息.

DFFE总体损失函数构造如下:

$\begin{array}{l} L_{\mathrm{DFFE}}= \left\|\boldsymbol{F}_{\text {en }}-\boldsymbol{F}_{\text {mix }}\right\|_{2}^{2}+\lambda_{\mathrm{DFFE}} {KL}\left({GAP}\left(\boldsymbol{F}_{\text {mix }}\right) \| \boldsymbol{F}_{\text {spatial }}\right), \end{array}$

约束增强特征F_en与多尺度混合特征F_mix的语义一致性, 其中, λ _DFFE表示超参数, KL(· )约束通道权重W_c和空间权重W_s分布对齐.

针对现有域自适应方法在类别不平衡和结构失配问题上的不足, 设计类别感知拓扑知识扩散模块(CATKD), 在局部层面通过类别原型构建每个类别的中心特征, 解决样本分布偏移问题.在全局层面以原型之间的拓扑关系为结构先验, 通过哈密顿回路约束构建全局原型记忆库, 并保持跨域语义一致性.

2.2.1 类别感知拓扑

首先, 采用动量更新策略构建当前迭代时刻t上源域和目标域中第m类原型:

$\boldsymbol{p}_{m}^{t}=\eta \boldsymbol{p}_{m}^{t-1}+(1-\eta) \frac{1}{\left|x_{m}\right|} \sum_{\boldsymbol{x}_{i} \in x_{m}} f\left(\boldsymbol{x}_{i}\right), $

其中, pmt-1表示上一迭代时刻t-1上源域和目标域中第m类原型, η 表示动量系数(默认为0.9), xm表示所有样本数量, x_m表示类别m的样本集合, f(· )表示样本特征提取函数.

然后, 分别计算源域和目标域的原型归一化相似度矩阵S, 第(i, j)个元素

$S_{i, j}=\frac{\boldsymbol{p}_{i} \cdot \boldsymbol{p}_{j}}{\left\|\boldsymbol{p}_{i}\right\| \cdot\left\|\boldsymbol{p}_{j}\right\|}, i=1, 2, \cdots, M, j=1, 2, \cdots, M . $

矩阵S主要用于构建车辆-行人、车辆-交通灯等类别间的固有空间关系.

为了获得覆盖全部类别的全局拓扑序列, 将类别原型视为节点V={1, 2, ···, Ca}, 以相似度矩阵定义加权完全图G, 其中图边权重w_{i, j}=S_{i, j}.哈密顿回路π 表示一个可访问每个类别一次且首尾相连的闭环序列, 通过下式得到一个π ^* :

$\pi^{* }=\arg \max _{\pi \in \Pi} \sum_{t=1}^{C a} w_{\pi_{t}, \pi_{t+1}}, \pi_{C a+1}=\pi_{1}, $

其中Π 表示所有哈密顿回路集合.定义哈密顿拓扑邻接矩阵A^ham, 第(i, j)个元素

$A_{i j}^{\mathrm{ham}}=\left\{\begin{array}{ll} 1, & (i, j) \text { 在回路 } \pi^{* } \text { 中相邻 } \\ 0, & (i, j) \text { 在回路 } \pi^{* } \text { 中不相邻 } \end{array}\right. $

由此得到行归一化后的拓扑扩散矩阵:

$\widehat{A}^{\mathrm{ham}}=D^{-1} A^{\mathrm{ham}}, $

其中D表示度矩阵.

2.2.2 双层知识扩散

首先, 通过对比学习聚合同类样本特征, 实现类内特征紧致性和类间特征分离性, 增强目标类别的跨域一致性并缓解小样本类别的特征退化问题, 相应对比损失如下:

$L_{\mathrm{cont}}=-\sum_{i=1}^{N_{s}} \ln \left(\frac{\exp \left(\frac{\boldsymbol{x}_{i} \boldsymbol{p}_{y_{i}}}{\tau}\right)}{\sum_{m=1}^{M} \exp \left(\frac{\boldsymbol{x}_{i} \boldsymbol{p}_{m}}{\tau}\right)}\right) .$

其中:τ 表示温度系数, 用于控制分布尖锐度; x_i 表示第i个样本的特征表示向量, y_i表示x_i的标签; N_s表示源域样本数, M表示类别原型总数; pyi表示与y_i对应的类别原型向量, p_m表示第m类类别原型向量.

然后, 利用哈密顿归一化拓扑扩散算子$\widehat{\boldsymbol{A}}^{\mathrm{ham}}$对原始原型矩阵P进行一次或多次的扩散更新, 得到拓扑扩散后的原型矩阵:

$\widetilde{\boldsymbol{P}}=\left(1-\alpha_{\mathrm{diff}}\right) \boldsymbol{P}+\alpha_{\mathrm{diff}} \widehat{\boldsymbol{A}}^{\mathrm{ham}} \boldsymbol{P}, $

其中α _diff∈ (0, 1)表示扩散系数.该更新使得每类原型在回路的相邻类别之间传递结构信息.

为了保持跨域类别关系的拓扑一致性, 最小化跨域矩阵差异, 相应结构损失如下:

$L_{\text {struct }}=\left\|\widehat{\boldsymbol{A}}_{\text {src }}^{\mathrm{ham}} \boldsymbol{S}^{\text {src }}-\widehat{\boldsymbol{A}}_{\mathrm{tgt}}^{\mathrm{ham}} \boldsymbol{S}^{\mathrm{tgt}}\right\|_{\mathrm{F}}^{2} $.

该函数保持车辆-行人、车辆-交通灯等类别关系的跨域稳定性, 提升对场景信息变化的鲁棒性, 其中, F表示约束全局结构一致性的Frobenius范数, $\widehat{\boldsymbol{A}}^{\mathrm{ham}}_{\mathrm{src}}$表示行归一化后的源域拓扑扩散矩阵, $\widehat{\boldsymbol{A}}^{\mathrm{ham}}_{\mathrm{tgt}}$表示行归一化后的目标域拓扑扩散矩阵, S^src表示源域相似度矩阵, S^tgt表示目标域的相似度矩阵.

同时, 为了进一步强化回路约束, 额外加入回路平滑正则, 得到哈密顿约束损失:

$L_{\mathrm{ham}}=\sum_{(i, j) \in E_{\mathrm{ham}}}\left\|\widetilde{\boldsymbol{p}}^{i}-\widetilde{\boldsymbol{p}}^{j}\right\|_{2}^{2}, $

使相邻类别原型不致发生剧烈跳变, 其中

$E_{\text {ham }}=\left\{\left(n_{t}, n_{t+1}\right) \mid t=1, 2, \cdots, C a, n_{c_{a+1}}=n_{1}\right\}, $

表示哈密顿回路的边集合(回路中相邻类别节点构成的边对集合), p˜i、 p˜j表示扩散更新后的原型矩阵 P˜中第i个类别、第j个类别对应的原型向量.

2.2.3 损失函数

最终得到CTAKD总体损失函数:

$L_{\text {CTAKD }}=\lambda_{\text {cont }} L_{\text {cont }}+\lambda_{\text {struct }} L_{\text {struct }}+\lambda_{\text {ham }} L_{\text {ham }}, $

解决样本分布偏移问题, 实现跨域语义一致性, 其中λ _cont、λ _struct、λ _ham表示相应损失的超参数.

在复杂场景(如无人机航拍、夜间/雨雾天驾驶)中, 目标检测面临两大核心挑战:空间形变与难样本检测.DAF-DETR^[11]引入可变形注意力机制, 但未与难样本挖掘结合.ESDA(Enhanced Soft Domain Adaptation)^[17]虽然关注前景-背景区分, 但缺乏空间形变适应能力.因此本文设计空间感知难样本挖掘模块(SAHSM), 通过空间-任务进行协同优化.空间层面通过可变形注意力机制适应不规则目标(如遮挡物), 解决空间形变问题.任务层面设计三级筛选机制, 动态分配前景-背景权重, 解决难样本检测问题.

2.3.1 可变形注意力机制

首先, 通过3× 3深度可分离卷积生成2K个空间偏移量, 其中K表示采样点数.采用高斯核函数对偏移特征软加权, 突出关键区域.第k个偏移采样点对应的软权重系数为:

$w_{k}=\exp \left(-\frac{\left\|\Delta \boldsymbol{p}_{k}\right\|^{2}}{2 \sigma^{2}}\right), $

其中, Δ p_k表示第k个偏移采样点的空间偏移量, σ 表示高斯核标准差, 控制权重衰减速率(默认为1.0).

然后, 采用可变形注意力机制动态获取感受野, 加权聚合偏移特征, 增强对遮挡目标的形变适应能力.聚合后的输出特征为:

$y_{p}=\sum_{k=1}^{K} w_{k} \varepsilon\left(\boldsymbol{p}+\Delta \boldsymbol{p}_{k}\right), $

其中, ε (p+Δ p_k)表示特征图ε 在位置p+Δ p_k处的特征值, 即偏移后采样点的特征.

最后, 形变对齐损失如下:

$L_{\text {deform }}=\sum_{k}\left\|\Delta \boldsymbol{p}_{k}-\Delta \boldsymbol{p}_{k-1}\right\|_{1} . $

2.3.2 三级筛选机制

由文献[22]可知, 学习过程中存在大量如图2所示的不匹配难样本和易样本.相比简单背景中样本的置信度, 复杂背景中样本的置信度往往较低.因此, 在融合软标签思想的基础上, 本文构建三级筛选机制, 在任务层面聚焦关键难样本.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 不同背景中的目标样本Fig.2 Target samples under different backgrounds

三级筛选机制实现过程如下.

1)筛选并保留置信度位于区间(0.2, 0.8)内的样本, 相应样本集合为:

ω _conf={0.2< pconf(i)< 0.8}.

该方式过滤高/低置信度噪声.值得注意的是:置信度大于0.8的样本通常已收敛, 再学习获得收益较低; 置信度小于0.2的样本多为背景噪声或其它内容, 强行学习容易导致模型退化.

2)计算预测框与真实框间的CIoU(Complete Intersection over Union Loss)差异, 剔除部分预测框, 进行几何一致性筛选, 满足几何条件筛选的候选样本集合为:

ω _geo={CIoU( bref(i), bgt(i))< 0.5},

其中, bref(i)、 bgt(i)分别表示第i个样本的预测框与真实框.保留CIoU< 0.5的框是为了优化定位不准确的样本.

3)通过类别原型距离过滤异常样本, 进行特征空间筛选.满足特征距离条件的样本集合为:

ω _feat={ fi-pyi2> τ },

其中, f_i表示第i个样本的特征向量, τ 表示特征距离阈值(默认为0.5).τ 设为0.5, 等价于要求样本与原型的余弦相似度低于0.875(强正样本对的判别边界).通过执行偏保守的筛选策略, 确保被挖掘的样本确实是显著偏离语义中心的异常值.

4)难样本集合

ω =ω _conf∩ ω _geo∩ ω _feat,

采用指数加权, 获得相应难样本加权损失为:

$L_{\text {hard }}=\frac{1}{|\omega|} \sum_{i \in \omega} \exp \left(\mu\left(1-p_{\text {conf }}^{(i)}\right)\right) L^{(i)}, $

其中, μ 用于控制聚焦强度, 即控制对难样本的重视程度(默认为2.0), L⁽ⁱ⁾表示第i个样本的原始监督损失.

5)SAHSM总体损失函数如下:

L_SAHSM=λ _deformL_deform+λ _hardL_hard,

优化空间-任务双层协同机制, 解决空间形变与难样本检测挑战, 其中λ _deform、λ _hard表示相应模块的超参数.

方法最终的损失函数表示如下:

L=L_det+λ ₁L_DFFE+λ ₂L_CTAKD+λ ₃L_SAHSM,

其中, λ ₁、λ ₂、λ ₃表示平衡相应损失项的超参数, L_det表示目标检测主损头, 用于监督模型完成目标分类与边界框回归等基本检测任务.

由实验可知, λ ₁=0.05, λ ₂=0.2, λ ₃=0.15时性能最优.

基于PyTorch框架实现HATKD.HATKD以YOL-Ov8s^[20]为基线方法, 将原先的骨干网络CSPDarknet替换为EfficientNet^[21]进行图像特征提取, 并在Ima- geNet上进行预训练.

所有训练和测试均在单张NVIDIA4090(显存24 GB)上进行, 批量大小设为8, 输入图像尺寸设为640× 640, 优化器选用AdamW(Adaptive Moment Esti-mation with Weight Decay), 初始学习率设为0.005.

实验选择在如下数据集上进行.

1)VisDrone-DET2019数据集^[7].不仅为目标检测、目标跟踪等任务提供丰富的数据支持, 还因差异显著的目标尺寸、复杂多样的背景等因素为研究引入巨大挑战.数据集由6 471幅训练图像和548幅测试图像组成, 涵盖各种天气状况下的城市街道、乡村区域等场景, 包含行人、汽车、自行车等类别.

2)UAVDT数据集^[8].面向无人机目标检测的基准数据集, 专为复杂场景中的算法验证而设计.数据集由24 143幅训练图像和16 592幅验证图像组成, 涵盖不同时段和不同天气下的城市街道、乡村道路、交通枢纽等场景.

3)RTTS数据集^[9].专门针对雾天场景目标检测任务构建的基准数据集, 共4 322幅图像, 涵盖不同时段、不同天气、不同雾霾下的城市道路、高速公路、乡村环境等场景, 包含行人、自行车、轿车等五种类别.

4)ExDARK数据集^[10].作为目前唯一公开的低光照条件下目标级标注数据集, 为极端光照条件下的研究提供关键基准.数据集由7 363幅图像组成, 涵盖月光环境、人工弱光源等10类典型低光照条件下的城市道路、室内环境等场景.

实验使用平均精度(Average Precision, AP)、IoU(Intersection over Union)阈值为0.5时的平均精度(AP₅₀)、IoU阈值为0.75时的平均精度(AP₇₅)作为核心评估指标.AP用于评估所有类别上的综合检测性能, AP₅₀、AP₇₅分别评估高IoU阈值及严格定位标准下的鲁棒性.

此外, 为了进一步评估HATKD在不同目标尺度下的检测性能, 使用小目标平均精度(Average Precision for Small Objects, AP_s)、中等目标平均精度(Average Precision for Medium Objects, AP_m)、大目标平均精度(Average Precision for Large Objects, AP_l)指标.

选择如下一系列代表性的目标检测方法进行对比实验:Deformable DETR^[3]、DAF-DETR^[11]、YOLO-v8s^[20]、DINO(DETR with Improved Denoising Anchor Boxes)^[23]、WDFS-DETR(Wavelet-Based Dual-Stage Feature-Enhanced DETR)^[24]、Faster R-CNN^[25]、CD-MNet(Coarse-Grained Density Map Network)^[26]、GL-SAN(Global-Local Self-Adaptive Network)^[27]、Clus-Det(Clustered Detection)^[28]、YOLOv5s^[29]、YOLO-v10-S^[30]、YOLOv11s^[31]、OD-DDA(Object Detector with Dual Dynamic Adaptation)^[32]、VSTDet^[33]、LEAF-YOLO^[34]、HIC-YOLOv5(Head, Involution and CBAM-YOLOv5)^[35]、AdaZoom(Adaptive Zoom Network)^[36]、SDPDet(Scale-Separated Dynamic Proposals for End-to-End Drone-View Object Detection)^[37]、YOLC(You Only Look Clusters)^[38]、DDQ(Dense Dis- tinct Queries)^[39]、MTW-DETR^[40]、SCSA(Spatial and Channel Synergistic Attention Module)^[41]、RT-DETR(Real-Time Detection Transformer)^[42].

3.2.1 定量对比

各方法在VisDrone-DET2019数据集上的指标值如表1所示, 表中黑体数字表示最优值, 斜体数字表示次优值.

表1

Table 1

表1(Table 1)

表1 各方法在VisDrone-DET2019数据集上的指标值 Table 1 Metric values of different methods on VisDrone-DET2019 dataset % 方法 AP AP50 AP75 APs APm APl RT-DETR 29.7 50.4 29.8 19.8 42.1 60.5 Deformable DETR 15.1 28.1 13.9 8.2 23.4 27.4 DAF-DETR - 37.8 - - - - DINO 29.4 46.2 29.1 22.9 38.4 44.5 WDFS-DETR - 47.5 33.3 - - - Faster R-CNN 21.4 40.7 20.3 11.6 33.9 54.9 CDMNet 29.2 49.5 29.8 20.8 40.7 41.6 GLSAN 30.7 55.6 22.9 - - - ClusDet 28.4 53.2 26.4 19.1 40.8 54.4 YOLOv5s 29.9 48.8 30.6 21.0 41.4 49.1 YOLOv8s 31.6 51.4 31.8 21.7 45.0 47.7 YOLOv10-S 29.4 48.3 30.3 20.6 40.5 46.6 YOLOv11s 31.9 52.0 - 22.3 - - OD-DDA 32.6 53.1 32.7 23.0 47.5 66.6 VSTDet-n 28.5 46.4 - - - - VSTDet-l 30.9 50.3 - - - - LEAF-YOLO 28.2 48.3 27.6 20.0 38.0 46.5 HIC-YOLOv5 24.9 43.0 24.4 15.8 35.2 42.8 HATKD 34.5 56.1 34.1 24.5 48.3 67.2

表1 各方法在VisDrone-DET2019数据集上的指标值 Table 1 Metric values of different methods on VisDrone-DET2019 dataset %

由表1可见, HATKD的综合检测性能最优, HATKD的AP值达到34.5%, 优于OD-DDA的32.6%和GLSAN的30.7%.在大目标检测指标AP_l上, 相比达到66.6%的OD-DDA, HATKD提升0.6%, 验证动态融合特征增强模块对无人机航拍图像中大尺度目标的适应性.在小目标检测指标AP_s上, 相比YOLOv8s的21.7%, HATKD提升2.8%, 验证空间感知难样本挖掘模块对小物体检测的有效性.

各方法在UAVDT数据集上的指标值如表2所示, 表中黑体数字表示最优值, 斜体数字表示次优值.由表可见, HATKD的AP值达到24.1%, 优于OD-DDA的22.7%及AdaZoom的19.6%.在大目标检测指标AP_l上, 相比达到46.7%的OD-DDA, HATKD提升1.6%, 由此验证动态融合特征增强模块对无人机航拍图像中大目标的捕捉能力.在小目标检测指标AP_s上, 相比达到13.0%的YOLOv8s, HATKD提升3.2%.在中等目标检测指标AP_m上, 相比达到35.1%的OD-DDA, HATKD提升1.3%, 表明类别感知拓扑知识扩散模块有效提升多尺度目标适应性.

表2

Table 2

表2(Table 2)

表2 各方法在UAVDT数据集上的指标值 Table 2 Metric values of different methods on UAVDT dataset % 方法 AP AP50 AP75 APs APm APl RT-DETR 11.3 20.0 11.6 7.8 18.8 19.0 Deformable DETR 19.1 32.8 20.8 11.8 33.6 22.2 Faster R-CNN 11.0 23.4 8.4 5.2 13.0 17.2 CDMNet 16.8 29.1 18.5 11.9 29.0 15.7 GLSAN 17.0 28.1 18.8 - - - ClusDet 13.7 26.5 12.5 9.1 25.1 31.2 YOLOv5s 16.5 29.1 16.7 11.9 26.3 28.9 YOLOv8s 16.6 28.4 17.2 13.0 26.0 28.9 YOLOv10-S 16.7 29.3 17.3 13.0 26.5 27.2 YOLOv11s 18.4 30.6 - - - - OD-DDA 22.7 37.9 24.3 14.9 35.1 46.7 VSTDet-n 17.7 30.9 - - - - VSTDet-l 18.6 2.7 - - - - AdaZoom 19.6 33.6 21.3 14.4 28.6 31.2 SDPDet 20.0 32.0 23.1 13.3 33.3 21.1 YOLC 19.3 30.9 20.1 10.9 32.2 25.5 HATKD 24.1 38.5 25.0 16.2 36.4 48.3

表2 各方法在UAVDT数据集上的指标值 Table 2 Metric values of different methods on UAVDT dataset %

各方法在RTTS数据集上的指标值如表3所示, 表中黑体数字表示最优值, 斜体数字表示次优值.由表可见, HATKD的AP值达到45.2%, 相比OD-DDA的43.8%, 提升1.4%, 验证动态融合特征增强模块与类别感知拓扑知识扩散模块在雾天场景中的协同有效性.在AP₇₅指标上, 相比OD-DDA的47.1%, HATKD提升0.9%, 验证其具有更强的模糊目标边界回归能力.在小目标检测指标AP_s上, 相比达到31.8%的MTW-DETR, HATKD提升0.5%, 验证空间感知难样本挖掘模块可有效提升雾霾环境下小物体检测的准确性.

表3

Table 3

表3(Table 3)

表3 各方法在RTTS数据集上的指标值 Table 3 Metric values of different methods on RTTS dataset % 方法 AP AP50 AP75 APs APm APl RT-DETR 34.3 60.1 35.6 30.0 40.9 46.8 Deformable DETR 20.7 40.1 19.9 12.7 24.0 36.6 DINO 25.6 47.5 25.7 19.1 27.9 47.2 YOLOv5s 35.1 60.7 38.7 - - - YOLOv8s 35.3 60.6 37.3 - - - YOLOv10-S 36.9 62.2 38.4 - - - YOLOv11s 42.3 69.8 42.5 - - - OD-DDA 43.8 73.8 47.1 30.5 57.0 67.2 DDQ 30.1 53.4 34.0 21.2 41.7 51.1 MTW-DETR 38.0 66.6 39.8 31.8 49.4 56.1 HATKD 45.2 75.5 48.0 32.3 58.6 68.5

表3 各方法在RTTS数据集上的指标值 Table 3 Metric values of different methods on RTTS dataset %

各方法在ExDARK数据集上的指标值如表4所示, 表中黑体数字表示最优值, 斜体数字表示次优值.由表可见, HATKD的AP值达到45.5%, 显著超越SCSA的43.0%和OD-DDA的43.2%.在小目标检测指标AP_s上, 相比达到21.7%的OD-DDA, HATKD提升1.8%.

表4

Table 4

表4(Table 4)

表4 各方法在ExDARK数据集上的指标值 Table 4 Metric values of different methods on ExDARK dataset % 方法 AP AP50 AP75 APs APm APl YOLOv8s 40.6 65.5 44.4 18.5 24.1 47.5 OD-DDA 43.2 67.7 46.2 21.7 22.7 50.2 SCSA 43.0 75.6 44.9 - - - HATKD 45.5 76.3 48.0 23.5 25.3 51.6

表4 各方法在ExDARK数据集上的指标值 Table 4 Metric values of different methods on ExDARK dataset %

3.2.2 定性对比

YOLOv8s和HATKD在UAVDT数据集上的检测结果如图3所示.由图可见, HATKD显著增强目标检测性能.由(d)、(h)可知, 在暗光源阴影或路边路灯干扰下, 即使检测目标仅显露局部特征(如车辆顶部或部分车体), HATKD依然能准确识别被遮挡车辆, 这说明结合动态融合特征增强模块与类别感知拓扑知识扩散模块可实现鲁棒检测.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 YOLOv8s和HATKD在UAVDT数据集上的检测结果Fig.3 Detection results of YOLOv8s and HATKD on UAVDT dataset

RT-DETR^[2]、DAF-DETR^[11]、YOLOv8s^[20]、MTW-DETR^[40]、HATKD在UAVDT数据集上低光照场景中的检测结果如图4所示.由图可见, YOLOv8s在强光源干扰和暗区域情形下存在明显的漏检和误检.虽然DETR系列具有不错的货车检测精度, 但小目标检测精度有待进一步提高.HATKD利用动态融合特征增强模块有效抑制光斑噪声对特征提取的干扰, 利用类别感知拓扑知识扩散模块建模包括车辆-道路边缘等在内的上下文关系, 成功消除YOLOv8s的类别混淆(如将发光的车辆等候站点误检为卡车)问题, 同时利用可变形注意力机制精准捕捉密集场景中被部分遮挡的目标(如被路灯灯杆遮挡的黑色轿车), 最终在确认检测框数量、目标定位精度、类别识别准确率上获得满意结果, 由此验证HATKD对低光照环境的鲁棒性.

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 各方法在UAVDT数据集上低光照场景中的检测结果Fig.4 Detection results of different methods under low-light scenes on UAVDT dataset

3.3.1 模块消融实验

HATKD包含3个模块:动态融合特征增强模块(DFFE)、类别感知拓扑知识扩散模块(CATKD)、空间感知难样本挖掘模块(SAHSM).使用基线方法YOLOv8s, 在其上分别加入相应模块, 验证各模块的性能, 相应消融实验结果如表5所示.

表5

Table 5

表5(Table 5)

表5 各模块的消融实验结果 Table 5 Ablation experiment results of different modules YOLOv8s DFFE CATKD SAHSM AP/% APs/% APm/% APl/% 参数量/M 浮点运算量/G √ - - - 16.6 13.0 26.0 28.9 11.2 28.6 √ √ - - 18.7 14.5 28.3 31.2 9.5 27.5 √ √ √ - 21.3 15.8 33.1 42.6 10.7 38.2 √ √ √ √ 24.1 16.2 36.4 48.3 11.5 44.4

表5 各模块的消融实验结果 Table 5 Ablation experiment results of different modules

由表5可见, 仅使用基线YOLOv8s时, AP值为16.6%.引入DFFE后AP值升至18.7%(+2.1%), 这表明动态融合机制和双路异构注意力机制结合的DFFE可有效抑制复杂背景的干扰, 相应AP_s值提升1.5%.

进一步引入CATKD后, AP值升至21.3%(+2.6%), CATKD通过构建类别原型拓扑(如车辆-行人空间关系矩阵), 优化跨域语义一致性对齐, 显著改善中等目标检测精度(AP_m值上升4.8%)和大目标检测精度(AP_l值激增11.4%).

最终添加SAHSM后, AP值达到24.1%(+2.8%), 其可变形注意力机制聚焦于遮挡目标(如被树冠遮挡的车辆), 配合三级筛选机制, 使小目标检测指标AP_s达到16.2%, 相比YOLOv8s, 提升3.2%.尽管浮点运算量因空间注意力计算增至44.4 G, 但参数量仅为11.5 M, 由此验证SAHSM的高效性.各模块间的协同工作— — DFFE提供抗干扰特征、CATKD优化语义结构迁移、SAHSM强化空间感知, 形成从数据到任务的闭环优化.

在NVIDIA GeForce RTX 4060 Laptop GPU(CU- DA:0)上以相同推理设置对方法进行端到端测速.具体设置如下:批次大小为1, 输入图像尺寸为640× 640, 使用半精度, 置信度为0.25, 交并比为0.7, 预热50次, 统计200次, 并使用150幅图像.相应测速结果如表6所示.

表6

Table 6

表6(Table 6)

表6 端到端测速结果 Table 6 End-to-end inference speed 方法 每幅图像的平均推理延迟/ms 帧率(帧/秒) 每幅图像的95百分位延迟/ms YOLOv8s 8.525 117.30 8.738 YOLOv8s+DFFE+CATKD+SAHSM 10.105 98.96 10.381

表6 端到端测速结果 Table 6 End-to-end inference speed

由表6可见, 针对每幅图像, YOLOv8s的平均推理延迟为8.525 ms, 加入3个模块后平均延迟为10.105 ms, 延迟开销提高约18.5%.在稳定性方面, 每幅图像的95百分位延迟由8.738 ms增加至10.381 ms提高约18.8%).因此, 尽管浮点运算量增幅较大, 但实际端到端推理速度下降幅度显著小于浮点运算量的增加比例, 这表明本文3个模块带来的部署开销总体上处于可控范围内.

各模块热力图的可视化结果如图5所示, 由图可见各模块对特征聚焦能力的递进式优化.相比YOLOv8s在复杂背景区域(如建筑物阴影)的弥散性响应, 引入DFFE后, 双路异构注意力机制通过捕获跨域混合样本的通道多粒度信息和空间多粒度信息, 使车辆等目标区域的热力响应更聚焦, 噪声干扰显著降低.叠加CATKD后, 进一步聚焦多目标场景中特征分布, 目标边缘的热力响应更清晰, 有效避免密集车辆间的特征混淆.

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 各模块热力图可视化结果Fig.5 Visualization results of heatmaps for different modules

再加入SAHSM后, 可变形注意力机制精准捕获被遮挡目标特征(如被树木部分遮挡的车辆), 配合三级筛选机制, 原本模糊的目标热力响应变得锐利, 且多尺度目标(从小型轿车到大型货车)的特征响应强度与目标尺度匹配度显著提升, 由此验证HATKD能有效应对无人机航拍图像中多尺度、高干扰特征.

下面选取一个具有代表性的漏检样本进行定性分析.YOLOv8s和HATKD的检测结果如图6所示.由图可观察到, YOLOv8s明显存在漏检及误检车辆目标的问题.

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 YOLOv8s和HATKD在漏检样本上的检测结果Fig.6 Detection results of YOLOv8s and HATKD on missed detection samples

结合图5的热力图可视化结果发现, YOLOv8s在目标及其邻近区域的特征响应分布较分散, 在密集背景区域存在明显的响应混淆.相比之下, HA- TKD在目标区域及其上下文范围内能产生更集中且边界更清晰的特征响应, 同时有效抑制密集区域中的无关干扰信息, 这有助于保留部分可观察目标的判别性线索, 有效缓解由遮挡或尺度变化引起的漏检或误检问题.

3.3.2 骨干网络消融实验

本节从替换骨干网络和引入模块两个方向分析HATKD的性能:骨干网络分别使用CSPDarknet^[20]和EfficientNet^[21], 再在基线方法YOLOv8s上添加3个模块.相应指标值如表7所示, 表中C表示CSP-Darknet, E表示EfficientNet.由表可见, 将骨干网络由CSPDarknet替换为EfficientNet后, 整体指标值稳定提升, 表明通过EfficientNet的上下文建模可获取一定收益.在不替换骨干网络时, 仅加入3个模块, 相比YOLOv8s, 性能也有显著提升.这表明Efficient- Net与3个模块在全局上下文建模和多尺度检测能力上可以互补, 促进检测性能的提升.

表7

Table 7

表7(Table 7)

表7 骨干网络的消融实验结果 Table 7 Ablation experiment results of backbone networks % 数据集 配置 AP AP50 APs APm APl VisDrone-DET2019 YOLOv8s(C) YOLOv8s(E) YOLOv8s(C)+DFFE+CTAKD+SAHSM YOLOv8s(E)++DFFE+CTAKD+SAHSM 31.6 32.8 33.6 34.5 51.4 53.0 54.6 56.1 21.7 22.6 23.7 24.5 45.0 46.1 47.2 48.3 47.7 50.5 60.0 67.2 UAVDT YOLOv8s(C) YOLOv8s(E) YOLOv8s(C)+DFFE+CTAKD+SAHSM YOLOv8s(E)++DFFE+CTAKD+SAHSM 16.6 17.8 21.6 24.1 28.4 30.1 34.9 38.5 13.0 13.7 14.9 16.2 26.0 27.2 31.7 36.4 28.9 30.2 41.0 48.3 RTTS YOLOv8s(C) YOLOv8s(E) YOLOv8s(C)+DFFE+CTAKD+SAHSM YOLOv8s(E)++DFFE+CTAKD+SAHSM 35.3 38.7 42.1 45.2 60.6 65.2 70.3 75.5 - 25.8 29.4 32.3 - 49.5 54.1 58.6 - 60.4 64.2 68.5 ExDARK YOLOv8s(C) YOLOv8s(E) YOLOv8s(C)+DFFE+CTAKD+SAHSM YOLOv8s(E)++DFFE+CTAKD+SAHSM 40.6 42.3 44.0 45.5 65.5 69.0 73.2 76.3 18.5 20.1 21.9 23.5 24.1 24.5 24.9 25.3 47.5 48.9 50.2 51.6

表7 骨干网络的消融实验结果 Table 7 Ablation experiment results of backbone networks %

3.3.3 跨域场景消融实验

为了深入剖析CTAKD与SAHSM在极端跨域场景(RTTS数据集上的雾天场景与ExDARK数据集上的低光照场景)中的核心作用, 设计两组消融实验.第1组实验移除CTAKD中的全局原型记忆库, 仅保留基于对比学习的类内特征紧致性约束, 旨在单独量化类别拓扑一致性对于建模跨域场景中上下文语义关系(如雾天中车辆-道路的相关性)的贡献.第2组实验采用功能替代式对比, 将SAHSM中的可变形注意力机制替换为均匀随机矩形遮挡(Random Erasing, 遮挡比例为30%)这一被动、均匀的数据增强策略.该设计旨在严格验证:相比静态的、由数据驱动的噪声注入, SAHSM采用的动态的、内容感知的空间聚焦机制是否为处理真实世界非结构化遮挡(如树枝交错、光斑干扰)的关键优势来源.

实验中骨干网络及DFFE保持一致, 通过跨域自适应损失L_CD-AP 、AP、AP_s、AP_l验证模块间的协同机制.

$L_{\mathrm{CD}-\mathrm{AP}}=A P_{\text {source }}-A P_{\text {target }}, $

其中, AP_source表示模型在源域数据上的平均精度, AP_target表示模型在目标域数据上的平均精度.具体消融实验结果如表8所示.表中A表示HATKD, B表示仅保留类内特征紧致性约束的方法, C表示可变形注意力机制替换为均匀随机矩形遮挡的方法.

表8

Table 8

表8(Table 8)

表8 跨域场景的消融实验结果 Table 8 Ablation experiment results on cross-domain scenarios % 数据集 组别 AP AP50 AP75 APs APl LCD-AP RTTS A B C 45.2 41.5 43.1 75.5 70.3 72.6 48.0 43.8 45.2 33.3 28.9 30.1 68.5 61.3 65.2 2.1 5.8 3.9 ExDARK A B C 45.5 40.8 42.7 76.3 70.5 72.2 48.0 42.9 44.8 23.5 20.7 21.9 51.6 46.9 49.3 1.8 6.5 4.6

表8 跨域场景的消融实验结果 Table 8 Ablation experiment results on cross-domain scenarios %

由表8可见, 在RTTS数据集上, 移除CTAKD的全局原型记忆库后AP值下降3.7%, 大目标检测指标AP_l骤降7.2%, 而L_CD-AP由2.1%增至5.8%, 这表明仅利用类内特征对齐难以有效构建雾天场景中目标特征的空间相关性, 而原型记忆库通过存储源域拓扑结构(如车与道路的相对位置), 为目标域提供上下文先验知识, 缓解雾霾导致的特征漂移问题.使用均匀随机矩形遮挡替代SAHSM中的可变形注意力机制后, 在RTTS数据集上的AP₇₅值下降2.8%, 在ExDARK数据集上的AP_s值下降1.6%, 这表明均匀随机矩形遮挡仅能模拟局部像素缺失情形, 但可变形注意力机制可动态聚焦目标关键区域(如雾中车辆的车灯区域), 实现对非结构化遮挡的精准建模.无论是雾天场景还是低光照场景, 大目标检测指标AP_l对拓扑结构更敏感(B中AP_l值下降幅度大于AP_s值), 而小目标检测指标AP_s对空间注意力机制更依赖(C中AP_s值下降幅度大于AP_l值), 由此可见大目标检测精度受上下文影响更大, 而小目标检测精度受局部特征完整性影响更强.

3.3.4 三级筛选机制消融实验

为了验证SAHSM中置信度-几何-特征三级筛选机制对难样本挖掘的贡献, 在RTTS、ExDARK数据集上进行实验, 逐级移除筛选条件, 量化各阶段(置信度筛选、几何一致性筛选、特征空间筛选)对检测性能的影响.使用如下3类变体:仅保留置信度筛选及几何一致性筛选、仅保留置信度筛选及特征空间筛选、仅保留置信度筛选.

实验中DFFE、CTAKD及骨干网络保持一致, 仅调整SAHSM的三级筛选机制, 通过AP、AP₇₅、AP_s、AP_l指标揭示多层次过滤的必要性.难样本召回率表示方法在预先定义的难样本集上的召回能力, 即被正确检测的难样本数占全部难样本真实目标数的比例, 该指标值越高, 说明方法对遮挡、密集分布、小尺度及低对比度等复杂场景中目标的检测能力越强.相应消融实验结果如表9所示.表中A表示HATKD, B表示仅保留置信度筛选及几何一致性筛选的方法, C表示仅保留置信度筛选及特征空间筛选的方法, D表示仅保留置信度筛选的方法.

表9

Table 9

表9(Table 9)

表9 三级筛选机制的消融实验结果 Table 9 Ablation experiment results of three-level filtering mechanism % 数据集 组别 AP AP75 APs APl 难样本召回率 RTTS A B C D 45.2 43.8 44.3 42.1 48.0 46.1(↓ 1.9) 47.2(↓ 0.8) 44.5(↓ 3.5) 32.3 30.5(↓ 1.8) 31.1(↓ 1.2) 28.7(↓ 3.6) 68.5 65.3(↓ 3.2) 66.7(↓ 1.8) 62.4(↓ 6.1) 100(基准) 82 88 75 ExDARK A B C D 45.5 43.9 44.6 41.7 48.0 46.3(↓ 1.7) 47.1(↓ 0.9) 43.8(↓ 4.2) 23.5 21.8(↓ 1.7) 22.4(↓ 1.1) 20.2(↓ 3.3) 51.6 49.1(↓ 2.5) 50.3(↓ 1.3) 47.5(↓ 4.1) 100(基准) 79 85 70

表9 三级筛选机制的消融实验结果 Table 9 Ablation experiment results of three-level filtering mechanism %

由表9可得, 移除特征空间筛选会导致雾天场景中AP_l值下降3.2%, 低光照场景中AP_s值下降1.7%, 这验证特征空间筛选通过原型距离过滤异常样本, 有效避免几何一致的错误样本(如被树影遮挡的车辆)干扰方法训练, 同时显著提升雾天大目标检测的鲁棒性.移除几何一致性筛选后, 雾天场景中AP₇₅值下降0.8%, 低光照场景中AP₇₅值下降0.9%, 这验证几何一致性筛选通过筛选高精度定位框提升目标边界预测的准确性, 对小目标检测精度提升尤为关键.仅保留置信度筛选导致AP值显著下降, 这验证单一筛选的局限性.高置信度目标可能包含语义模糊目标, 需要结合几何一致性筛选与特征空间筛选, 避免过拟合噪声.

综合数据集场景差异性与三级筛选机制的多层过滤可知:由于光照噪声引发低光照场景(ExDARK数据集)中的特征空间分布混乱, 导致AP_s值对特征筛选的依赖性显著高于雾天场景(RTTS数据集); 由于雾霾导致雾天场景中的目标边缘模糊, 导致AP₇₅值受几何筛选的影响幅度更大, 这凸显定位偏差修正的重要性.因此, 本文的三级筛选机制(置信度筛选初步过滤低质量预测、几何一致性筛选保障定位准确性、特征空间筛选优化语义一致性)显著提升对遮挡和模糊目标的检测鲁棒性, 为跨场景目标检测提供兼顾精准性与泛化性的难样本处理范式.

为了验证三级筛选机制的有效性, 选取如下经典难样本处理方法作为对比方法:OHEM(Online Hard Example Mining)^[43]、Focal Loss^[44]、GHM(Gra-dient Harmonizing Mechanism)^[45].OHEM在线挖掘高损失样本, 强化困难样本训练.Focal Loss引入调制因子, 降低易分类样本权重, 提升对难样本的关注.GHM基于梯度分布对样本进行自适应加权, 缓解样本不均衡问题.上述方法均从不同角度对难样本进行挖掘与优化, 将它们引入基线方法(Base-line)有助于全面评估HATKD在复杂场景中的性能, 其中, Baseline表示移除三级筛选机制的HATKD.

基于相同设置, 在VisDrone-DET2019数据集上进行训练, 相应消融实验结果如表10所示.

表10

Table 10

表10(Table 10)

表10 不同难样本挖掘方法的消融实验结果 Table 10 Ablation experiment results of different hard sample mining methods % 方法 AP APs APl Baseline+OHEM 32.7 23.0 65.7 Baseline+Focal Loss 33.2 24.9 66.1 Baseline+GHM 32.9 24.1 66.3 Baseline+SAHSM 34.5 24.5 67.2

表10 不同难样本挖掘方法的消融实验结果 Table 10 Ablation experiment results of different hard sample mining methods %

由表10可看出, HATKD在AP、AP_s、AP_l指标上均最优.值得注意的是, 在对域间差异最敏感的大目标检测(AP_l)上, HATKD取得显著的性能提升, 这验证通过几何一致性与特征空间筛选, 能有效缓解因域偏移导致的目标上下文信息损失问题.相比仅依赖损失排序的OHEM、平等对待所有难样本的Focal Loss及进行全局梯度均衡的GHM, 本文的置信度-几何-特征三级筛选机制能更精准地辨识并强化在跨域适应性上具有较高价值的样本, 为复杂场景中的鲁棒检测提供更优的解决方案.