细粒度图像分类(FGVC)任务主要面向同一对象大类内部相近子类的识别问题, 核心在于挖掘局部细节差异并建立稳定的判别特征.围绕这一目标, 现有方法大致可分为基于部件建模的方法和基于注意力机制的方法.

基于部件建模的方法强调判别性区域的显式建模.Lin等^[4]提出B-CNN(Bilinear CNN), 通过双线性特征交互提升局部模式表达能力, 为细粒度识别提供经典建模框架.Han等^[5]提出P-CNN(Part-Based Convolutional Neural Networks), 进一步结合部件定位与部件分类过程, 提高局部判别区域的利用效率.Zheng等^[6]提出MA-CNN(Multi-attention Convolu-tional Neural Network), 通过多注意力通道分组方式增强局部特征组织能力, 能从多个互补区域中提取判别信息.总之, 这类方法通常依赖较明确的局部结构假设, 优势在于能突出关键细节, 但对部件划分质量和特征稳定性较敏感.

基于注意力机制的方法更强调网络对判别区域的自适应聚焦.随着Transformer结构在视觉任务中的广泛应用, 相关研究逐渐从显式部件建模转向隐式关系建模.He等^[7]提出TransFG, 利用自注意力机制刻画图像块之间的长程依赖关系, 提升细粒度判别能力.Chen等^[8]提出DCL(Destruction and Con-struction Learning), 破坏与重建图像结构, 引导方法摆脱对单一局部模式的依赖.近年来, 多模态学习策略进一步将语义信息引入细粒度分类过程, 缓解训练样本不足带来的表示受限问题^{[9, 10]}.尽管上述方法在FGVC任务中取得较优效果, 但当类别差异进一步减弱时, 仅依赖固定部件或静态注意力分配机制往往难以持续刻画最关键的判别边界.

相比FGVC, 超细粒度图像分类(Ultra-FGVC)任务更强调对极微弱类别差异的识别能力.在执行这类任务时, 类别间差异往往难以被直接感知, 而类内变化又容易受到外部成像条件影响, 因此方法不仅需要提取细粒度细节, 还需要具备较强的边界辨识能力.围绕这一特点, 现有研究主要可归纳为基于数据增强的方法和基于对比学习的方法.

基于数据增强的方法通常对图像施加扰动, 用于提升方法对微弱差异的敏感性.Yu等^[11]提出MaskCOV(Mask Covariance Network), 采用随机掩码策略, 从不完整视觉信息中学习更具鲁棒性的表示.这类方法能在一定程度上扩充训练样本形态, 但也存在破坏关键细节信息的风险, 尤其是在类别间差异本就极小的场景中, 过强的扰动可能削弱真正具有判别作用的视觉线索.

基于对比学习的方法侧重关注特征空间的结构优化.Yu等^[1]提出Mix-ViT, 结合Transformer与卷积结构, 同时建模全局上下文与局部细节.Yu等^[2]提出CLE-ViT, 将对比学习直接融入Transformer框架.Yu等^[3]提出SPARE, 借助自监督区域擦除, 增强方法对互补信息的利用能力.Chen等^[12]提出FDCL-DA, 进一步结合特征蒸馏、对比学习和前景背景分离等策略, 提升表示质量.总之, 这类方法已表明特征空间约束对于Ultra-FGVC具有重要作用, 但其负样本选择或类别关系建模多依赖静态设定, 难以随训练进程及时调整关注重点.

因此, 现有研究虽然在Ultra-FGVC任务上取得一定进展, 但对于训练过程中动态变化的类别混淆关系仍缺乏有效建模.这也说明, 依赖静态样本构造或固定类别关系, 不足以充分刻画Ultra-FGVC任务中最困难的判别边界.

本文提出基于动态混淆发现的超细粒度图像分类网络(DCD-Net), 整体架构如图1所示.

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 DCD-Net整体架构Fig.1 Overall architecture of DCD-Net

设训练数据集$D=\left\{\left(I_{i}, y_{i}\right)\right\}_{i=1}^{N}$, 其中, N表示样本数, I_i表示第i幅图像, y_i表示I_i的真实类别标签.DCD-Net的核心目标是在训练过程中持续识别当前最易混淆的类别关系, 并围绕这些关系对特征表示进行针对性优化, 从而提高Ultra-FGVC的区分能力.

为了实现上述目标, DCD-Net由动态混淆发现模块(DCDM)和混淆感知双重对比学习模块(CDCLM)组成.DCDM依据模型预测概率分布构建混淆亲和矩阵, 并在全局范围内求解类别配对关系, 找出训练阶段最容易相互误判的类别.CDCLM以该配对结果为依据构造训练批次, 并通过类内层次约束和混淆类别间判别性约束优化特征表示.两者通过混淆配对表T形成闭环协同:DCDM负责发现主要混淆关系, CDCLM负责围绕这些关系强化判别边界.

设骨干特征提取器$f_{\theta}: \mathbf{R}^{H \times W \times 3} \longrightarrow \mathbf{R}^{d}$, 作用是将输入图像集合中的元素分别映射为d维特征表示.考虑到训练初期网络尚未形成稳定的判别能力, 若过早引入混淆关系建模, 可能导致配对结果偏离真实类别边界, 因此本文采用两阶段训练策略, 包含预热阶段和混淆训练阶段.在预热阶段, 采用标准随机采样, 仅使用交叉熵损失L_CE, 获得稳定的基础特征表示; 在混淆训练阶段, 在每个周期开始时更新混淆配对表T, 然后进行混淆感知采样, 并联合优化交叉熵损失和对比损失.这种训练方式能兼顾收敛稳定性与混淆关系建模的有效性.

2.2.1 混淆亲和矩阵构建

为了描述训练过程中类别间的混淆程度, 本文构建混淆亲和矩阵$\boldsymbol{A} \in \mathbf{R}^{C \times C}$, 其中C表示类别数.与传统混淆矩阵通过最终预测标签统计误分类次数不同, 混淆亲和矩阵利用预测概率描述“ 某一类样本有多大可能被判成另一类” .因此, 矩阵元素A_ij表示类别i的样本被预测为类别j的平均概率, 比硬标签统计更细致地反映当前模型的混淆模式, 并为后续类别配对提供依据.

对于每个类别i, 收集属于该类别的所有训练样本, 并计算平均预测概率分布.取平均的目的在于降低单个样本预测噪声的干扰, 使矩阵更稳定地反映类别层面的混淆规律.具体而言, 给定训练参数θ , A中元素定义如下:

A_ij=E_{(I, y)~D, y=i}[softmax(f_θ (I))_j],

其中, softmax(f_θ (I))_j表示样本I被预测为类别j的概率, E_{(I, y)~D, y=i}(·)表示数据集D上对所有真实标签y为i的样本的对应输出取数学期望.A_ij反映网络将类别i的样本I误判为类别j的倾向.A_ij值(i≠ j)越大, 说明两类之间的混淆越严重, 而对角元素A_ii的值较高则表明网络对该类别的识别较准确.

上述构造方式具有如下优势.1)在整个训练集上统计矩阵元素, 能较全面地反映当前的类别混淆分布.2)softmax概率函数在统一尺度下量化类别间的混淆程度, 便于不同类别对之间横向对比.3)矩阵通常是非对称的, 即类别i错判为j的程度与类别j错判为i的程度可能不同, 能更准确地描述Ultra-FGVC中的方向性误差.

2.2.2 全局最优混淆配对

混淆亲和矩阵A揭示哪些类别之间最容易产生混淆.最直接的做法是为每个类别选取与其混淆值最大的类别作为配对对象, 但这样会导致部分被高频配对的类别在训练中反复被采样, 而其它类别得不到充分关注, 造成类别间训练不均衡.

为此, 本文将混淆配对建模为全局优化问题, 在全局范围内寻找最优的一对一配对方案.这里的一对一映射是指:每个类别在当前训练阶段只与一个最需要重点区分的类别配对, 同时每个目标类别也只能被一个类别选中.

在Ultra-FGVC任务中, 困难类别往往呈现较突出的相互混淆关系, 因此这种配对方式更适合刻画训练过程中真正需要强化的判别边界.具体地, 目标是求解双射映射

T:{0, 1, …, C-1}→ {0, 1, …, C-1},

使所有配对的总混淆程度最大, 得到全局最优混淆配对表:

T^* =arg maxT∑i=0C-1A_{i, T(i)},

其中, T(i)表示在当前映射关系下, 与原始类别i配对的目标混淆类别.混淆配对表T满足双射约束, 即每个类别仅与一个目标类别配对.该分配问题可由匈牙利算法高效求解, 时间复杂度为O(C³).借助这一求解方式, 网络能在全局范围内获得总混淆程度最大的类别配对结果, 并在每个训练周期重新更新, 从而持续跟踪混淆关系的变化情况.

2.2.3 动态更新机制

随着训练推进, 网络对各类别的识别能力发生变化, 原有的混淆配对关系也可能不再准确, 因此混淆配对表T需要在训练过程中动态更新.具体做法是:每个训练周期开始时, 对整个训练集进行一次前向传播, 收集所有样本的预测概率, 重新计算混淆亲和矩阵A, 再使用匈牙利算法求解新的最优配对表T^* , 从而保证混淆配对表始终与网络当前状态保持一致.

CDCLM以DCDM给出的类别配对结果为依据, 对特征表示进行针对性优化.一方面通过类内层次约束S_intra增强同类样本的特征一致性, 另一方面通过混淆类别间判别性约束S_inter扩大困难类别之间的特征间隔.为了缓解Ultra-FGVC中样本数量有限导致的特征表示受限问题, 本文在图像块分块特征上施加上述约束, 同时尽量保持原始图像的语义结构.整体训练流程如算法1所示.

算法1 DCD-Net训练算法

输入 训练数据集D, 骨干特征提取器f_θ , 预热周期数E_warmup, 总训练周期数E, 类别数C

输出 模型训练权重参数θ ^*

初始化混淆配对表T:i→ i, i∈ {0, 1, …, C-1}

设置训练参数θ =0

FOR 当前周期 e=1 到 E DO

打乱数据集D

IF e<E_warmup THEN

∥预热阶段

FOR D中未分块的原始批次B(标准随机采样)DO

对B应用图像分块, 形成新的批次B_aug

前向传播, 对B_aug中每个样本都进行一次映射, 得到向量集合{f_i}=f_θ (B_aug)

计算交叉熵损失L_CE

反向传播并更新训练参数: $\theta \leftarrow \theta-\nabla_{\theta} L_{\mathrm{CE}}$

END FOR

ELSE

∥混淆训练阶段

使用f_θ (·)获得特征表示并更新混淆亲和矩阵A

求解最优配对T^*

更新混淆配对表:T← T^*

FOR D中未分块的原始批次B(基于T混淆感知采样) DO

对B应用图像分块, 形成新的批次B_aug

前向传播, 对B_aug中每个样本都进行一次映射, 得到向量集合{f_i}=f_θ (B_aug)

计算对比损失L_contrast, 交叉熵损失L_CE

总损失L=L_CE+L_contrast

反向传播并更新: $ \theta \leftarrow \theta-\nabla_{\theta} L $

END FOR

END IF

END FOR

RETURN θ ^*

2.3.1 对比损失函数

为了形成更清晰的类别边界, 本文设计作用于图像分块特征的双重对比损失.具体地, 每个输入图像(记为源图像)被划分为h×w个局部块(如3×3), 并将各块重新缩放至原始尺寸.这样既增加训练样本数量, 也在源图像与局部块之间建立层次化的对应关系.与CLE-ViT^[2]中通过掩码重建获得自监督信号的做法不同, 本文引入分块操作的目的在于利用原图-局部块的对应关系约束同类特征分布, 从而提升类内表示的一致性.

在此基础上, 分别构造类内层次约束S_intra和混淆类别间判别性约束S_inter.S_intra用于保持同类样本与其局部块之间的特征一致性, S_inter用于扩大混淆类别之间的特征间隔.二者共同作用于特征空间, 使同类样本分布更集中, 易混淆类别之间的距离更大.

类内层次约束S_intra要求源图像与其对应局部块之间的特征距离小于同类不同样本之间的特征距离, 从而在每个类别内部建立层次化的表征关系.设批次中类别c的所有样本特征集合为F_c, 对于来自类别c的特征f_i, 定义同类距离为该特征到同类其它特征的平均L2距离:

$d_{\mathrm{pos}}\left(\boldsymbol{f}_{i}\right)=\frac{1}{\left|F_{c} \backslash\left\{\boldsymbol{f}_{i}\right\}\right|} \sum_{\boldsymbol{f}_{j} \in F_{c} \backslash\left\{\boldsymbol{f}_{i}\right\}}\left\|\boldsymbol{f}_{i}-\boldsymbol{f}_{j}\right\|_{2} .$

对于局部块特征, 进一步定义块-源距离为该块特征与其对应源图像特征f_source之间的L2距离:

d_patch(f_i)=‖ f_i-f_source‖₂,

其中f_source表示产生该局部块的原始图像对应的特征.当d_patch<d_pos时强制执行类内层次约束:

$\begin{array}{l} S_{\text {intra }}= \frac{1}{\left|\left\{\boldsymbol{f}_{i}\right\}\right|} \sum_{\boldsymbol{f}_{i} \in\left|\boldsymbol{f}_{i}\right|} \max \left\{0, \gamma-\left(d_{\text {pos }}\left(\boldsymbol{f}_{i}\right)-d_{\text {patch }}\left(\boldsymbol{f}_{i}\right)\right)\right\} \end{array}, $

其中γ 表示控制块-源邻近性约束的层次约束权重.

混淆类别间判别性约束S_inter在推开混淆类别对的同时拉近同类特征.设批次中混淆类别T(c)的所有样本特征集合为F_T(c), 对于来自类别c的特征f_i, 定义它到该混淆类别所有特征的平均L2距离:

$d_{\text {neg }}\left(\boldsymbol{f}_{i}\right)=\frac{1}{\left|F_{T(c)}\right|} \sum_{f_{k} \in F_{T(c)}}\left\|\boldsymbol{f}_{i}-\boldsymbol{f}_{k}\right\|_{2} .$

类间约束要求混淆类别间的距离至少大于同类距离m个单位(m表示混淆类别间边界权重), 即

d_neg>d_pos+m,

则

$\begin{array}{l} S_{\text {inter }}=\frac{1}{\left|\left\{\boldsymbol{f}_{i}\right\}\right|} \sum_{\boldsymbol{f}_{i} \in\left\{\boldsymbol{f}_{i}\right\}} \max \left\{0, m-\left(d_{\text {neg }}\left(\boldsymbol{f}_{i}\right)-d_{\text {pos }}\left(\boldsymbol{f}_{i}\right)\right)\right\} \end{array}.$

结合上述两个约束, 得到对比损失:

L_contrast=S_inter+S_intra.

该双重约束共同作用于特征空间:局部块特征在各自对应的源图像特征周围紧密聚集, 同类样本之间保持适度距离, 而易混淆类别之间的特征间隔被尽可能地拉大.

2.3.2 混淆感知采样策略

混淆感知采样策略根据DCDM识别的类别配对关系构建训练批次.首先随机选择n个采样类别, 并通过混淆配对表T获得对应的混淆类别.然后从每个类别采样k个样本形成训练批次.这样构造批次的目的是让网络在一次训练中同时看到当前类别和最容易与其混淆的类别, 采样得到的批次为:

$B=\bigcup_{i=1}^{n}\left[P\left(c_{i}, k\right) \cup P\left(T\left(c_{i}\right), k\right)\right], $

其中P(x, k)表示从类别x中采样k幅图像.因此单个批次共包含2nk幅图像.

例如, 当n(n=2)个类别且每类k(k=2)个样本时:

1)原始类别:{麻雀, 知更鸟}.

2)混淆类别:{鹪鹩, 雀类}(来自混淆配对表T).

3)最终批次B:{麻雀, 麻雀, 鹪鹩, 鹪鹩, 知更鸟, 知更鸟, 雀类, 雀类}.

针对B中每幅图像执行图像分块(如3×3=9块)操作, 得到B_aug, 特征提取后每幅图像对应1+9=10个特征向量.这样既能在一定程度上缓解Ultra-FGVC中的样本稀缺问题, 也能保证双重对比学习同时利用类间混淆关系和类内块-源层次关系.

本文在5个超细粒度数据集和1个细粒度数据集上验证DCD-Net的有效性.超细粒度数据选自Cotton80、SoyLocal、SoyGene、SoyAgeing、SoyGlobal数据集, 这些数据集普遍具有类别差异微弱、单类样本数量有限的特点, 对特征表征能力和模型泛化能力提出较高要求.以SoyGene为例, 该数据集类别数为1 100, 能较好地检验方法在大规模类别条件下的识别性能.

作为对照, 进一步在细粒度视觉分类常用的CUB-200-2011数据集上进行实验, 考察方法在一般细粒度场景中的适用性.

具体数据集信息如表1所示.

表1

Table 1

表1(Table 1)

表1 实验数据集 Table 1 Experimental datasets 粒度 名称 类别数 训练集 测试集 Cotton80 80 240 240 SoyLocal 200 600 600 超细粒度 SoyGene 1110 12763 11143 SoyAgeing 198 4950 4950 SoyGlobal 1938 5814 5814 细粒度 CUB-200-2011 200 5994 5794

表1 实验数据集 Table 1 Experimental datasets

实验基于PyTorch实现DCD-Net, 并在单张NVIDIA RTX 4090 GPU上训练.所有输入图像均调整至512×512, 然后经由中心裁剪调整至448×448.数据增强策略包括随机水平翻转、随机缩放裁剪及基于ImageNet统计量的归一化处理.混淆感知采样策略设置n(n=1)个原始类别, 每类k(k=2)个样本, 共产生2nk(2nk=4)幅图像.经图像分块后, 图像被划分为2×2=4个局部块, 每块调整至原始图像尺寸, 总有效批次大小为16.

训练遵循两阶段策略:预热阶段(前20个周期)使用标准随机采样, 仅以交叉熵损失L_CE和预热系数为0.1进行预热训练; 随后激活CDCLM, 切换到混淆感知采样, 设置混淆类别间边界权重m=1.0, 层次约束权重γ =0.1.优化器采用AdamW(Adaptive Moment Estimation with Weight Decay), 初始学习率设为0.001, 权重衰减设为1×10^-4, 开启混合精度训练.学习率调度采用预热-余弦退火策略:前20个周期进行线性预热, 随后采用余弦退火衰减.所有网络训练200个周期, 根据验证准确率进行早停.每个训练周期更新一次混淆配对表T, 配对求解采用匈牙利算法.

选择如下对比方法进行实验.1)以ResNet(Residual Network)为骨干网络的方法:Sim-CLR^[13]、MoCo v2^[14]、BYOL(Bootstrap Your Own Latent)^[15]、CutMix^[16]、ADL(Attention-Based Dropout Layer)^[17]、Cutout^[18].2)以ViT-B(Vision Transfor-mers-Base)为骨干网络的方法:ViT、DeiT(Data-Efficient Image Transformers)^[19]、SIM-Trans(Structure Information Modeling Transformer)^[20].3)以ResNet与ViT为混合骨干网络的方法Hybrid^[21].4)以Swin Transformer^[22]为骨干网络的方法CLE-ViT^[2].

各方法在5个超细粒度数据集上的对比结果如表2所示.在表中, 黑体数字表示最优值, 斜体数字表示次优值, ADL(α)表示训练时注意力响应图中前α 个最显著的高响应区域被抑制, Cutout(β)表示掩码尺寸为β ×β , L表示线性, FT表示微调评估.由表可见, Hybrid分类准确率偏低.SimCLR(FT)在Cotton80、SoyGene数据集上分类准确率分别为51.67%和62.68%, 表明缺乏对易混淆类别针对性建模时, 随机负样本难以支撑超细粒度的准确判别.Cutout的分类准确率虽在部分数据集上有所改善, 但在各数据集间波动较大.DCL、MaskCOV、SPARE等Ultra-FGVC方法的分类准确率明显提升; Mix-ViT、CLE-ViT等Transformer方法竞争力同样较强.FDCL-DA采用Swin-B^[21]骨干网络, 在SoyGene、SoyAgeing数据集上分类准确率分别达到84.62%和85.13%, 是本文重点对照的强基线方法之一.

表2

Table 2

表2(Table 2)

表2 各方法在超细粒度数据集上的分类准确率 Table 2 Classification accuracy of different methods on ultra-fine-grained datasets % 方法 骨干网络 Cotton80 SoyLocal SoyGene SoyAgeing SoyGlobal SimCLR(FT) ResNet-50 51.67 37.33 62.68 46.18 42.54 SimCLR(L) ResNet-50 41.25 29.17 29.62 64.73 13.48 MoCo v2(FT) ResNet-50 45.00 32.67 56.49 38.26 29.26 MoCo v2(L) ResNet-50 30.42 27.67 26.58 59.13 12.99 BYOL(FT) ResNet-50 52.92 33.17 60.65 49.53 41.35 BYOL(L) ResNet-50 47.92 25.50 35.13 64.75 18.44 Cutout(16) ResNet-50 55.83 37.67 61.12 63.68 47.06 Cutout(8) ResNet-50 54.58 31.67 62.46 65.70 44.65 ADL(0.25) ResNet-50 43.75 34.67 55.19 51.56 39.35 ADL(0.5) ResNet-50 40.83 28.00 52.18 61.70 29.50 CutMix ResNet-50 45.00 26.33 66.39 62.28 30.31 DCL ResNet-50 53.75 45.33 71.41 73.19 42.21 MaskCOV ResNet-50 58.75 46.17 73.57 75.86 50.28 SPARE ResNet-50 60.42 44.67 79.41 75.72 56.45 ViT ViT-B 52.50 38.83 53.63 66.95 40.57 DeiT ViT-B 54.17 38.67 66.80 69.54 45.34 TransFG ViT-B 54.58 40.67 22.38 72.16 21.24 SIM-Trans ViT-B 54.58 25.00 15.46 70.69 70.69 Hybrid ViT-B, ResNet-50 50.83 37.00 71.74 73.56 18.82 Mix-ViT ViT-B, ResNet-50 60.42 56.17 79.94 76.30 51.00 Swin-B Swin-B 53.75 40.00 84.10 77.33 73.39 CLE-ViT Swin-B 63.33 47.17 78.50 82.14 75.21 FDCL-DA ViT-B 52.08 45.33 62.26 75.07 45.39 FDCL-DA Swin-B 62.92 53.33 84.62 85.13 79.72 DCD-Net ViT-B 65.42 57.33 75.11 82.57 67.61 DCD-Net Swin-B 68.33 64.83 85.59 85.31 80.74

表2 各方法在超细粒度数据集上的分类准确率 Table 2 Classification accuracy of different methods on ultra-fine-grained datasets %

基于Swin-B骨干网络的DCD-Net在上述5个数据集上均取得最高的分类准确率.在SoyLocal数据集上, DCD-Net分类准确率为64.83%, 比Mix-ViT提升8.66%, 说明DCD-Net在该数据集上具有较大优势.在SoyGene、SoyGlobal数据集上, DCD-Net分类准确率分别达到85.59%和80.74%, 超过FDCL-DA(基于Swin-B骨干网络)的84.62%和79.72%.在Cotton80、SoyAgeing数据集上, DCD-Net同样保持领先.

表3进一步给出各方法在SoyAgeing数据集的5个子集上的分类准确率.在表中, 黑体数字表示最优值, 斜体数字表示次优值, L表示线性, FT表示微调评估.由表可见, 基于Swin-B骨干网络的DCD-Net的平均分类准确率为85.31%, 高于FDCL-DA的85.13%, 整体表现更稳定.不过从各子集来看, DCD-Net并非全面领先:FDCL-DA在R4子集上分类准确率为87.68%, 略高于DCD-Net的87.58%; 在R6子集上同样如此; 在R1、R5子集上两者持平.这一现象说明, 在不同生长阶段或拍摄条件下, 超细粒度类别的混淆模式存在一定差异, 本文的动态更新机制在整体均值上更具优势, 但对部分特定子集中较难识别的样本仍有改进空间, 后续可针对不同子集特点设计更有针对性的混淆建模策略.

表3

Table 3

表3(Table 3)

表3 各方法在SoyAgeing数据集5个子集上的分类准确率 Table 3 Classification accuracy of different models on five subsets of SoyAgeing dataset % 方法 骨干网络 R1 R3 R4 R5 R6 平均值 SimCLR(FT) ResNet-50 53.64 45.66 45.35 50.40 35.86 46.18 SimCLR(L) ResNet-50 70.00 66.57 64.24 68.38 54.44 64.73 MoCo v2(FT) ResNet-50 42.93 38.59 38.99 38.99 31.82 38.26 MoCo v2(L) ResNet-50 62.73 56.16 61.31 65.96 49.49 59.13 BYOL(FT) ResNet-50 55.35 48.38 50.40 49.60 43.94 49.53 BYOL(L) ResNet-50 71.11 66.16 65.76 64.65 56.06 64.75 Cutout(16) ResNet-50 70.20 61.92 62.32 69.70 54.24 63.68 Cutout(8) ResNet-50 66.87 64.04 67.78 73.43 56.36 65.70 ADL(0.25) ResNet-50 53.54 54.34 55.15 52.83 41.92 51.56 ADL(0.5) ResNet-50 66.67 58.89 64.75 68.48 49.70 61.70 CutMix ResNet-50 65.56 59.19 64.24 68.79 53.64 62.28 DCL ResNet-50 76.87 73.84 76.16 76.16 62.93 73.19 MaskCOV ResNet-50 79.80 74.65 79.60 78.28 66.97 75.86 SPARE ResNet-50 78.28 79.90 78.69 77.27 64.44 75.72 ViT ViT-B 69.29 64.55 70.40 71.01 59.49 66.95 DeiT ViT-B 73.03 70.40 69.09 74.65 60.51 69.54 TransFG ViT-B 74.95 74.55 74.24 76.26 60.81 72.16 SIM-Trans ViT-B 69.90 73.23 73.13 73.94 63.23 70.69 Hybrid ViT-B, ResNet-50 77.17 76.97 74.75 76.36 62.53 73.56 Mix-ViT ViT-B, ResNet-50 79.29 77.17 77.98 79.19 67.88 76.30 Swin-B Swin-B 77.78 79.19 80.10 81.92 67.68 77.33 CLE-ViT Swin-B 80.81 83.33 84.24 86.36 75.96 82.14 FDCL-DA ViT-B 73.94 75.25 77.37 80.51 68.28 75.07 FDCL-DA Swin-B 86.36 85.96 87.68 86.77 78.89 85.13 DCD-Net ViT-B 84.34 82.63 84.75 84.75 76.36 82.57 DCD-Net Swin-B 86.36 87.27 87.58 86.77 78.59 85.31

表3 各方法在SoyAgeing数据集5个子集上的分类准确率 Table 3 Classification accuracy of different models on five subsets of SoyAgeing dataset %

为了考察各方法在一般细粒度任务上的适用性, 进一步在细粒度数据集CUB-200-2011上进行实验.对比方法如下:Mix-ViT^[1]、SPARE^[3]、Trans-FG^[7]、Mask-COV^[11]、DeiT^[18]、SIM-Trans^[19].各方法的分类准确率如表4所示.由表可见, 采用Swin-B骨干网络的DCD-Net的分类准确率达到91.5%, 高于TransFG的91.1%和SIM-Trans的91.3%.虽然该提升幅度小于在超细粒度数据集上的提升幅度, 但这说明本文的动态更新机制和混淆感知采样策略并不局限于类别差异极弱的场景, 在FGVC任务中同样能发挥作用, DCD-Net具备较好的泛化能力.

表4

Table 4

表4(Table 4)

表4 各方法在CUB-200-2011数据集上的分类准确率 Table 4 Classification accuracy of different methods on CUB-200-2011 dataset 方法 骨干网络 分类准确率/% MaskCOV ResNet-50 86.6 SPARE ResNet-50 86.8 TransFG ViT-B 91.1 SIM-Trans ViT-B 91.3 DeiT ViT-B 90.0 ViT ViT-B 90.6 Mix-ViT ViT-B 90.7 DCD-Net ViT-B 90.8 DCD-Net Swin-B 91.5

表4 各方法在CUB-200-2011数据集上的分类准确率 Table 4 Classification accuracy of different methods on CUB-200-2011 dataset

为了进一步分析各模块的作用, 以仅使用交叉熵损失L_CE的网络为基线网络, 逐步引入DCDM和CDCLM, 相应分类准确率如表5所示, 表中黑体数字表示最优值.

表5

Table 5

表5(Table 5)

表5 各模块消融实验结果 Table 5 Ablation experiment results of each module DCDM CDCLM 分类准确率/% Cotton80 SoyGene - - 58.33 76.84 ✓ - 62.50 82.07 - ✓ 65.00 83.18 ✓ ✓ 68.33 85.59

表5 各模块消融实验结果 Table 5 Ablation experiment results of each module

由表5可见, 基线网络在Cotton80、SoyGene数据集上的分类准确率分别为58.33%和76.84%.加入DCDM后, 分类准确率分别升至62.50%和82.07%, 说明在训练过程中显式识别混淆类别关系有助于增强网络对困难边界的关注.仅引入CDCLM后, 在Cotton80、SoyGene数据集上的分类准确率分别达到65.00%和83.18%, 表明围绕困难类别构造特征约束能直接改善判别能力.进一步地, 当两个模块同时使用时, 分类准确率升至68.33%和85.59%, 说明动态更新机制与混淆感知采样策略之间具有较好的协同作用.

Mix-ViT^[1]、CLE-ViT^[2]和DCD-Net在样本图像上的注意力图如图2所示.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 各方法的注意力图Fig.2 Attention maps of different methods

由图2可看到, Mix-ViT和CLE-ViT虽然能关注部分目标区域, 但其响应范围相对分散, 容易同时覆盖背景或非关键部位.

相比之下, DCD-Net的高响应区域更多集中在目标边界及判别性区域附近, 在植物叶片和鸟类样本上均表现出更清晰的前景聚焦特征.这说明在动态更新机制的引导下, 网络能更有效地关注与类别判别直接相关的视觉线索.

为了验证CDCLM中各约束的必要性, 分析类内层次约束S_intra和混淆类别间判别性约束S_inter的各自贡献.仅使用S_intra、仅使用S_inter及两者组合后的分类准确率如表6所示, 表中黑体数字表示最优值.

表6

Table 6

表6(Table 6)

表6 约束函数对DCD-Net性能的影响 Table 6 Effect of constraint functions on DCD-Net performance Sintra Sinter 分类准确率/% Cotton80 SoyGene ✓ - 62.08 81.45 - ✓ 63.75 82.73 ✓ ✓ 68.33 85.59

表6 约束函数对DCD-Net性能的影响 Table 6 Effect of constraint functions on DCD-Net performance

由表6可见, 当仅使用类内层次约束S_intra时, 在Cotton80、SoyGene数据集上的分类准确率分别为62.08%和81.45%, 说明块-源层次关系对特征学习具有一定的正向作用, 但在缺乏显式的类别分离约束时, 性能提升空间有限.仅使用混淆类别间判别性约束S_inter时, 分类准确率分别提升至63.75%和82.73%, 相比仅用类内层次约束分别提升1.67%和1.28%.两种约束同时使用时, 分类准确率进一步升至68.33%和85.59%, 这一明显的提升验证两者在特征学习中发挥不同的、相互补充的作用:S_intra通过层次化约束保持类内特征的一致性, 而S_inter着力拉大最易混淆类别之间的特征距离, 二者协同作用才能达到最优效果.

为了探讨图像分块策略对网络训练的影响, 在结合DCDM和CDCLM的基础上, 对不同的图像分块数量进行对比实验, 结果如表7所示, 表中黑体数字表示最优值.由表可见, 当保持原图不进行分块时, 在Cotton80、SoyLocal数据集上的分类准确率分别为65.97%和50.50%.当分块数量增加时, 分类准确率都有所上升.实验表明, 适当的分块有助于网络聚焦于局部细粒度判别性区域, 不同数据集对分块数量的敏感度有所不同, 从而带来的性能增益也存在显著差异.

表7

Table 7

表7(Table 7)

表7 图像分块数量对DCD-Net性能的影响 Table 7 Effect of the number of image blocks on DCD-Net performance 分块数量 分类准确率/% Cotton80 SoyLocal 不分块 65.97 50.50 分2块 68.33 61.16 分4块 66.67 64.83 分6块 67.08 64.83

表7 图像分块数量对DCD-Net性能的影响 Table 7 Effect of the number of image blocks on DCD-Net performance

为了分析混淆类别数量对网络学习的影响, 在Cotton80数据集上, 联合DCDM和CDCLM, 设置不同的混淆采样类别数.当混淆采样类别数为2时, 分类准确率达到最高值(68.75%).当继续增加类别数后, 分类准确率反而降至67.50%, 并且显存占用与计算复杂度显著增加.这表明引入较多次要的负样本对, 不仅不会提升网络的分类能力, 反而会影响主混淆类的分类, 从而影响网络的分类能力.

为了分析预热系数对网络收敛效果及泛化性能的作用, 在Cotton80数据集上, 联合DCDM和CDC-LM, 测试不同的预热系数对网络训练的影响, 具体如表8所示.表中黑体数字表示最优值, 预热系数定义为预热周期占总训练周期数的比例.

表8

Table 8

表8(Table 8)

表8 预热系数对DCD-Net性能的影响 Table 8 Effect of warmup ratio on DCD-Net performance 预热 系数 0 0.05 0.1 0.15 0.2 0.25 0.35 分类 准确率/% 61.25 65.41 68.33 67.91 63.75 65.83 64.58

表8 预热系数对DCD-Net性能的影响 Table 8 Effect of warmup ratio on DCD-Net performance

由表8可见, 当预热系数为0(即不采用预热)时, 分类准确率为61.25%, 表明在训练中直接施加类内层次约束和混淆类别间判别性约束容易导致网络偏离真实的目标特征.当预热系数为0.1时, 分类准确率达到最高值(68.33%), 这说明初期平稳的学习有利于网络平稳建立基础表征空间.然而, 当预热系数过高时, 由于约束介入过晚, 网络在有限的训练周期内无法充分优化混淆边界, 导致分类准确率出现不同程度的下降.

为了全面评估网络在不同规模数据集上的性能表现, 在Cotton80(小规模, 80类)、SoyLocal(小规模, 200类)、SoyGlobal(大规模, 1 938类)、SoyGene(大规模, 1 110类)数据集上, 对比显存占用、训练速度、推理速度及混淆矩阵浮点运算量(FLOPs), 结果如表9所示.

表9

Table 9

表9(Table 9)

表9 数据集规模对DCD-Net性能的影响 Table 9 Effect of data size on DCD-Net performance 数据集 显存占用/MB 训练速度/帧/秒 推理速度/帧/秒 浮点运算量/GB 内存占用/MB Cotton80 8385 17.4 50.2 0.001 0.15 SoyLocal 8387 16.0 49.7 0.008 0.92 SoyGene 8411 18.7 59.1 1.426 28.20 SoyGlobal 8423 18.0 57.1 7.328 85.97

表9 数据集规模对DCD-Net性能的影响 Table 9 Effect of data size on DCD-Net performance

由表9可见, 无论数据集规模大小, 由于使用同样的网络, 显存占用均稳定维持在8 385~8 423 MB 之间.然而, 混淆矩阵浮点运算量随着数据集类别数的增加出现显著上升, 从小数据集的 0.001 G升到大数据集的 7.328 G, 并且混淆矩阵的内存占用也从小数据集的0.15 MB升至大数据集的85.97 MB.在数据吞吐量方面, 受到数据分布及类别数量等因素的综合影响, 在Cotton80、SoyLocal小规模数据集上, DCD-Net保持相当均衡的吞吐率.在规模较大和类别数较多的SoyGlobal、SoyGene数据集上, 训练速度与推理速度反而实现进一步的提升.这一现象充分验证DCD-Net在处理大规模高维图像分类任务时, 能更充分地调用底层硬件资源.

本文进一步考察混淆类别间边界权重m和层次约束权重γ 对DCD-Net性能的影响.随着m从0.5增至1.0, DCD-Net的分类准确率逐步提升, 并在m=1.0时达到66.67%的最高值.当m继续增大时, 分类准确率开始下降, 并在m=2.0时降至64.58%.这说明边界约束并非越强越好, 过大的间隔要求可能削弱特征空间内部原有的聚类结构.类似地, 层次约束权重γ 也会影响块特征与源图像特征之间的关系建模.当γ =0.05时, DCD-Net的分类准确率为65.42%; 当γ =0.1时, 分类准确率升至66.67%; γ 继续增大到0.2后, 分类准确率略降至66.25%.这一结果表明, 适中的层次约束更有利于在保持语义一致性的同时提升判别能力.