在ResNet-34残差网络中, 首先使用7× 7的卷积层和最大池化层提取图像的浅层特征, 池化层的目的是对特征图进行下采样, 减小特征图的尺寸, 理论上间接增大后续卷积层的感受野, 保证获取更多的特征信息, 但是随着卷积核的增大和引入, 池化层会丢失大量的原始图像信息.因此, 需要提取更加细微的特征.

本文利用一个3× 3小卷积核替换首层7× 7卷积核并删除池化层, 同时减小卷积层的步长和填充大小, 平衡网络参数和特征表达, 在有效提取底层特征的同时尽可能保留原始图像的信息.

首层卷积核尺寸前后卷积操作对比如图1所示, 以尺寸为10× 10的图像为例, 分别进行7× 7卷积操作、最大池化操作和3× 3卷积操作, 提取浅层特征, 卷积后的尺寸可表示为

N= W-K+2PS+1, (1)

其中, N表示输出特征图像尺寸, W表示输入图像尺寸, K表示卷积核尺寸, S表示卷积步长, P表示填充大小.

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 修改首层卷积核尺寸前后卷积操作对比Fig.1 Comparison of convolutional operations before and after modifying the size of the first layer convolutional kernel

根据式(1)可以计算出, 10× 10的图像经过ResNet-34的首层7× 7卷积层和最大池化层后, 输出特征图尺寸为3× 3, 不利于后续深层网络的特征表达.经过减小步长和填充的3× 3卷积层后, 输出特征图像仍为10× 10.经过卷积层和池化层的图像尺寸特征损失可表示为

N2-W2N2× 100%, (2)

其中, W表示输入图像尺寸, N表示输出特征图像尺寸.

由式(2)可以计算出, 在经过7× 7卷积后, 图像尺寸特征损失为75%, 输出后的特征图像经过最大池化层后特征损失为64%.由此可知, 对于小尺寸的原始图像, 减小卷积核尺寸、步长和填充大小会提取到更细微的特征, 有效减少图像原始信息的丢失.

CNN虽然能够自动提取图像特征, 但是特征仅由网络提取的各类特征叠加而成, 缺少高级认知的指导.受人类视觉系统的启发, CNN在特征提取时对于不同特征的倚重应有所不同.对此, 本文提出双分支多注意力机制(DAM)模块, 综合考虑通道和空间提取的特征对于关键区域的贡献度并赋予权重, 通过特征与权重的乘积和, 确定关键特征区域, 降低由单一特征不充分引起的歧义, 增强全局特征和局部关键特征的表达能力.

DAM结构如图2所示, 每个分支由通道注意力机制和空间注意力机制组成.通道注意力机制提取通道显著特征纹理, 可以减少图像复杂背景对分类方法训练的影响.空间注意力机制在空间的尺度上进一步筛选显著特征.本文将ECA(Efficient Channel Attention)通道注意力机制和Spatial Attention^[24]空间注意力机制中的sigmoid函数替换为ReLU函数.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 DAM模块结构图Fig.2 Structure of DAM module

在第1个分支中, 将ECA注意力机制的全局平均池化替换为全局最大池化, 可更加关注局部特征.输入特征F∈ R^{C× H× W}, 其中, (H, W)为特征图的空间维度, C为通道数.DAM同时推导2个分支的2个一维通道注意力特征矩阵Mc₁∈ R^{C× 1× 1}、Mc₂∈ R^{C× 1× 1}和2个二维空间注意力特征矩阵Ms₁∈ R^{1× H× W}、Ms₂∈ R^{1× H× W}, 总体注意力最终输出为:

$F_{out}=\sigma(Fs_{1}\oplus Fs_{2}), $

其中,

Fs₁=Ms₁ⓧFc₁,

表示第1分支输出特征,

Fs₂=Ms₂ⓧFc₂,

表示第2分支输出特征, Fc₁表示第1分支输出的通道特征, Fc₂表示第2分支输出的通道特征, σ(· )表示ReLU激活函数.

第1个分支首先经过全局最大池化, 获取局部通道信息, 得到1个一维矢量.然后经过自适应调整卷积核尺寸的一维卷积和ReLU激活函数, 进行通道特征提取, 得到通道特征权重矩阵:

Mc₁=σ(Conv1d(Gmaxpool(F))),

其中Gmaxpool(· )表示全局最大池化.最后, 将F与Mc₁相乘, 得到通道特征:

Fc₁=FⓧMc₁.

将通道特征Fc₁通过最大池化和平均池化, 得到2个特征图

Fsmax1∈ R^{1× H× W}, Fsavg1∈ R^{1× H× W}.

经过Concat操作, 拼接2个特征图, 采用卷积核尺寸7× 7和激活函数ReLU的卷积层进行特征提取, 得到空间特征权重矩阵:

Ms₁=σ(Conv2d(Concat[Maxpool(Fc₁); Avgpool(Fc₁)]))=σ(Conv2d[Concat( Fsmax1; Fsavg1)]),

其中, Concat(· )表示通道方向上的级联操作, Maxpool(· )表示空间方向上的最大池化, Avgpool(· )表示平均池化.

将通道输出的特征Fc₁与经过空间注意力机制得到的特征矩阵Ms₁相乘, 得到第1条分支的特征:

Fs₁=Ms₁ⓧFc₁.

第2个分支首先经过全局平均池化, 获取全局通道信息.然后经过自适应调整卷积核尺寸的一维卷积和ReLU激活函数进行特征提取, 得到权重矩阵:

Mc₂=σ(Conv1d(Gavpool(F))),

其中Gavpool(· )表示全局平均池化.最后, 将F与Mc₂相乘, 得到通道特征:

Fc₂=Mc₂ⓧF.

将通道特征Fc₂通过最大池化和平均池化, 得到2个特征图

Fsmax2∈ R^{1× H× W}, Fsavg2∈ R^{1× H× W}.

经过Concat操作, 拼接2个特征图, 采用卷积核尺寸7× 7和ReLU激活函数的卷积层进行特征提取, 得到空间特征权重矩阵:

Ms₂=σ(Conv2d(Concat[Maxpool(Fc₂); Avgpool(Fc₂)]))=σ(Conv2d[Concat( Fsmax2; Fsavg2)]).

将通道输出的特征Fc₂与经过空间注意力得到的特征矩阵Ms₂相乘, 得到第2条分支的特征:

Fs₂=Ms₂ⓧFc₂.

由于sigmoid激活函数两端饱和, 在接近饱和区时, 变换过于缓慢, 导数趋于0, 在反向传播时, 权重几乎不更新, 导致无法完成深层网络的训练.本文的注意力机制使用ReLU激活函数, 可表示为

R(x)=max(x, 0)= 0, x< 0x, x> 0(3)

由式(3)可知, ReLU激活函数在反向传播不断更新参数的过程中都是分段线性进行的, 并且为非饱和激活函数, 能够加快训练收敛速度, 防止梯度消失.

随着网络层数的加深, 浅层参数的微弱变化经过多层线性变换与激活函数后会被放大, 导致反向传播梯度较小, 参数更新速度较慢, 最终使网络训练难以收敛.针对该问题, 本文在DAM模块后采用批量归一化方法(Batch Normalization, BN), 缓解梯度消失, 加快收敛.

对于超参数化的深度神经网络模型, 通常使用随机梯度下降(Stochastic Gradient Descent, SGD)或Adam(Adaptive Moment Estimation)优化器优化模型, 但是此类优化器只优化训练损失值, 容易导致模型质量次优, 从而无法保证模型的泛化能力.训练损失Ls(w)在模型参数w处通常是非凸的, 具有多个局部最小值甚至全局最小值, 这些最小值可能会产生相似的Ls(w)值, 使模型具有明显不同的泛化性能.

受损失图片的锐度和泛化之间联系的启发, Foret等^[23]提出SAM, 在领域内寻找均匀的低损失值参数, 而不是寻找只具有低损失值的某个参数.由于计算邻域参数而非计算单个参数, 损失平面比其它优化方法更平坦, 反而增强模型的泛化能力.

SGD和SAM这2种优化器的超平面图如图3所示.由图可见, SGD优化器训练的ResNet收敛到的一个尖锐的最小值, 而SAM训练相同的ResNet时, 收敛到一个平坦的最小值.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 两种损失的超平面图Fig.3 Hyperplanes of 2 types of loss

给定一个训练数据集

$\begin{aligned} & \mathrm{S} \triangleq \bigcup_{\mathrm{i}=1}^{\mathrm{n}}\left\{\left(\boldsymbol{x}_i, y_i\right)\right\}, \end{aligned}$

模型参数w∈ W⊂R^d, 每个数据点损失函数为

l∶ w× x× y→ R⁺,

训练集损失定义为

L_S(w)≜ 1n∑i=1nl(w, x_i, y_i),

总体损失定义为

L_γ (w)≜E_{(x, y)~D}[l(w, x, y)].

模型训练的目标是寻找使总体损失L_γ (w)最小的参数w.使用训练损失L_s(w)估计总体损失L_γ (w)以寻求学习一个较好的泛化模型.对于∀ ρ> 0, 从分布γ生成的训练集s上, 损失函数可表示为

$\begin{aligned} & L_\gamma(\boldsymbol{w}) \leqslant \max _{\|\boldsymbol{\epsilon}\|_2 \leqslant \rho} L_S(\boldsymbol{w}+\boldsymbol{\epsilon})+h\left(\frac{\|\boldsymbol{w}\|_2^2}{\rho^2}\right), \end{aligned}$

其中函数h(· )∶ R⁺→ R⁺表示严格递增函数.

为了得到损失函数L_γ (w)的极小解, 将上面不等式的右侧重写, 得到的损失函数可表示为

$\begin{aligned} & L_\gamma(\boldsymbol{w}) \leqslant\left[\max _{\|\boldsymbol{\epsilon}\|_2 \leqslant \rho} L_S(\boldsymbol{w}+\boldsymbol{\epsilon})-L_S(\boldsymbol{w})\right]+ L_S(\boldsymbol{w})+h\left(\frac{\|\boldsymbol{w}\|_2^2}{\rho^2}\right), \end{aligned}$

其中,

$\begin{aligned} & \max _{\|\boldsymbol{\epsilon}\|_2 \leqslant \rho} L_S(\boldsymbol{w}+\boldsymbol{\epsilon})-L_S(\boldsymbol{w})\end{aligned}$

可通过测量训练损失从w移动到相邻近的参数值增加的速度, 获得L_s在w处的锐度, 然后将此锐度值与训练损失本身和w大小的正则化相加.鉴于特定函数h(· )受细节的影响较大, 使用 λ‖w‖22ρ2替换第2项的超参数λ, 产生标准的正则化项, 建立如下SAM以选择参数值, 参数值可表示为:

$\begin{aligned} & \min _{\boldsymbol{w}} L_S^{\mathrm{SAM}}(\boldsymbol{w})+\lambda{\|\boldsymbol{w}\|_2^2, } \\ & \text { where } L_S^{\mathrm{SAM}}(\boldsymbol{w}) \max _{\|\epsilon\|_p \leqslant \rho} L_S(\boldsymbol{w}+\boldsymbol{\epsilon}), \end{aligned}$ (4)

其中, p∈ [1, +∞ ], 表示一个超参数.

SAM会阻止模型收敛到最小值, 为了最小化 LSAMS(w), 推导一个有效的近似值 ∇wLSAMS(w), 通过内部最大化进行微分, 能将SGD直接应用于SAM目标.通过$L_{S}(w+\epsilon)$的一阶泰勒展开近似内部最大化问题, 可表示为

$\begin{aligned} & \boldsymbol{\epsilon}^* (\boldsymbol{w}) \triangleq \arg \max _{\|\boldsymbol{\epsilon}\|_p \leqslant \rho} L_S(\boldsymbol{w}+\boldsymbol{\epsilon}) \approx \\ & \arg \max _{\|\boldsymbol{\epsilon}\|_p \leqslant \rho} L_S(\boldsymbol{w})+\boldsymbol{\epsilon}^{T} \nabla_{\boldsymbol{w}} L_S(\boldsymbol{w})= \\ & \arg \max _{\|\boldsymbol{\epsilon}\|_p \leqslant \rho} \boldsymbol{\epsilon}^{\mathrm{T}} \nabla_{\boldsymbol{w}} L_S(\boldsymbol{w}), \end{aligned}$

其中$\epsilon$近似于0.反之, 求解该近似值的值$\hat{\epsilon}(w)$, $\hat{\epsilon}(w)$可表示为

$\begin{aligned} & \hat{\boldsymbol{\epsilon}}(\boldsymbol{w})=\rho \operatorname{sign}\left(\nabla_w L_S(\boldsymbol{w})\right) \frac{\left|\nabla_w L_S(\boldsymbol{w})\right|^{q-1}}{\left(\left\|\nabla_w L_S(\boldsymbol{w})\right\|_q^q\right)^{\frac{1}{p}}}, \end{aligned}$ (5)

其中,

1p+ 1q=1,

|· |^q-1表示元素绝对值和的幂.

将式(5)代入式(4), 并微分, 得

$\begin{aligned} & \nabla_w L_S^{\mathrm{SAM}}(\boldsymbol{w}) \approx \\ & \nabla_w L_S(\boldsymbol{w}+\hat{\boldsymbol{\epsilon}}(\boldsymbol{w}))= \\ & \left.\frac{\mathrm{d}(\boldsymbol{w}+\hat{\boldsymbol{\epsilon}}(\boldsymbol{w}))}{\mathrm{d} \boldsymbol{w}} \nabla_w L_S(\boldsymbol{w})\right|_{w+\hat{\boldsymbol{\epsilon}}(\boldsymbol{w})}= \\ & \left.\nabla_w L_S(\boldsymbol{w})\right|_{w+\hat{\boldsymbol{\epsilon}}(\boldsymbol{w})}+\left.\frac{\mathrm{d} \hat{\boldsymbol{\epsilon}}(\boldsymbol{w})}{\mathrm{d} \boldsymbol{w}} \nabla_w L_S(\boldsymbol{w})\right|_{w+\hat{\boldsymbol{\epsilon}}(\boldsymbol{w})} . \end{aligned}$

可以通过自动微分直接计算近似值 ∇wLSAMS(w).为了加快计算速度, 删除二阶项, 获得最终梯度近似值:

$\begin{aligned} & \left.\nabla_w L_S^{\mathrm{SAM}}(\boldsymbol{w}) \approx \nabla_w L_S(\boldsymbol{w})\right|_{w+\hat{\boldsymbol{\epsilon}}(\boldsymbol{w})} .\end{aligned}$ (6)

使用SGD优化器实现SAM目标 LSAMS(w), 并使用式(6)计算目标函数梯度, 从而实现SAM.

本文将SGD优化器和SAM一起使用, 寻找具有一致低损失值的邻域参数, 通过同时最小化损失值和最小化损失锐度, 改善模型泛化能力.

近年来, CNN一直向着更深更宽的网络结构发展, 分类精度也得到不断提升.然而当CNN层数不断加深时, 容易出现梯度消失或梯度爆炸的问题, 从而导致性能下降.

He等^[5]提出ResNet, 原始输入通过跳跃连接与经过卷积层的输出直接连接的残差块, 残差块结构如图4(a)、(b)所示.

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 三种残差块Fig.4 Three types of residual block

图4(c)为本文融合DAM的残差块(简记为D-Block).常规残差块(简记为Block)由2个卷积核尺寸为3× 3的卷积组成, 使用残差分支跳跃连接.常规的降维残差块(简记为R-Block)由2个3× 3卷积和残差分支组成, 残差分支中采用1× 1卷积降维.D-Block由2个3× 3卷积和残差分支组成, 残差分支包含1× 1卷积降维和DAM模块, 对特征权重进行重新分配, 进而区分特征的贡献度.在每次卷积后, 输出的特征图像经过BN层和ReLU层, 防止梯度消失, 加快收敛, 增强网络层间的特征关系.

常规的残差网络虽然性能较优, 但是无法为图像的关键特征分配较高的权重.本文在残差分支中融合DAM模块, 设计具有注意力机制的残差块, 提高对关键特征的表达能力.改进前后的残差函数拟合关系如图5所示.

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 改进前后的残差函数拟合关系Fig.5 Fitting relationship of residual function before and after improvement

融合注意力机制的拟合函数可表示为

F(x)=H(x)+D(x),

其中, F(x)表示待拟合对象, x表示学习输入, H(x)表示残差函数, D(x)表示DAM注意力机制函数.

通过CNN的反向传播机制, 学习H(x)的参数以拟合F(x)-D(x), 达到进一步拟合F(x)的效果.

本文网络(DAMSNet)由多个残差块(Block)和融合DAM的残差块(D-Block)串联而成, 网络结构如图6所示.

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 DAMSNet总体结构图Fig.6 Overall architecture of DAMSNet

主干网络部分包括如下7个阶段.

1)阶段1.输入图像尺寸为32× 32, 对输入图像进行图像增强预处理操作, 即随机翻转、填充后随机剪切和cutout操作, 提高分类方法对图像微小畸变的适应能力, 提高分类方法的鲁棒性.

2)阶段2.将增强后的图像输入网络的第1层3× 3卷积, 对特征映射降维, 进行浅层特征提取.

3)阶段3.将输出的特征图经过3组Block(称为Layer1)进行深层特征提取和1组D-Block进行特征映射降维.

4)阶段4.将输出的特征图经过3组Block(称为Layer2)进行深层特征提取和1组D-Block进行特征映射降维.

5)阶段5.将输出特征图经过5组Block(称为Layer3)进行更深层特征提取和1组D-Block进行特征映射降维.

6)阶段6.将输出特征图经过2组Block(称为Layer4)提取图像高层抽象特征.

7)阶段7.输出结果结构, 利用平均池化层提取残差块输出特征映射信息, 经过全连接层输出图像分类结果.

总之, DAMSNet针对ResNet-34的改进如下.

1)为了减少ResNet的第1层7× 7卷积和池化操作丢失图像的一部分特征信息, 采用3× 3卷积替换7× 7卷积, 删除池化层, 同时减小该卷积层的步长和填充大小, 以此避免图像原始特征的流失.

2)为了合理分配不同特征的比重, 在残差分支中加入DAM模块, 提高关键特征权重, 加强有效特征的流动.

3)为了防止只优化训练损失值导致模型次优的问题, 引入SAM, 结合SGD优化器优化网络, 寻找最优的邻域参数值, 增强模型泛化能力.

本文实验采用的操作系统为Ubuntu18.04.硬件环境为:NVIDIA Tesla P100显卡、60 GB内存.软件环境为:Pytorch1.9.1、CUDA11.1、CUDNN8.05.编程语言为Python3.8.

选择CIFAR-10、CIFAR-100、SVHN数据集作为实验数据集.自然图像数据集CIFAR-10包含10种类别图像, CIFAR-100数据集包含100种类别图像.街牌号数据集SVHN包含10种类别图像.具体数据集信息如表1所示.

表1

Table 1

表1(Table 1)

表1 实验数据集 Table 1 Experimental datasets 名称 图像尺寸 分类数 训练集数量 测试集数量 CIFAR-10 32× 32 10 50000 10000 CIFAR-100 32× 32 100 50000 10000 SVHN 32× 32 10 73257 26032

表1 实验数据集 Table 1 Experimental datasets

实验采用图像分类常用指标— — 分类准确率作为评价指标.

影响DAMSNet的参数有融合注意力机制的残差块嵌入的位置与数量、网络层数、残差网络的第1层卷积核尺寸k、学习率lr、网络训练迭代次数.

本文首先使用ResNet-34, 在k=3, lr=0.001, 迭代次数为200时, 分析残差块插入的位置与数量对分类准确率的影响.确定最优的嵌入位置和数量后, 分析不同网络层数、k、lr及迭代次数对分类准确率的影响, 从而选择最佳网络参数.

本文实验均在数据增强后的数据集上进行.

以ResNet-34为基础, 划分为4个Layer, 如图6所示.ResNet-34共有3个降维残差块(R-Block), 由于降维前使用注意力机制会在降维时损失更多的有用特征, 为了防止重复多次使用注意力机制造成特征冗余, 本文在特征映射降维处嵌入融合DAM的残差块(D-Block).

为了深入研究嵌入D-Block位置和数量对分类准确率的影响, 本文设计嵌入D-Block的8种排列组合方式, 如图7所示.

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 D-Block位置和数量的8种排列方式Fig.7 Eight position and quantity arrangements of D-Block

嵌入不同位置及不同数量的D-Block在3个数据集上对分类准确率的影响如图8所示.由图可以看出, 排列方式H在CIFAR-10、CIFAR-100、SVHN数据集上分别取得94.91%、77.95%、96.29%的分类准确率, 均为最高值.因此, 在3个特征降维处嵌入3个D-Block拟合效果最佳.

图8

Fig.8

	Figure Option ViewDownloadNew Window
	图8 不同位置和数量D-Block对分类准确率的影响Fig.8 Influence of different positions and numbers of D-Block on classification accuracy

网络层数能够影响分类方法表示特征的能力, 当层数过少时, 可能导致特征表达能力不足.反之, 网络层数过多可能会出现过拟合以及神经网络特征层之间的特征冗余等问题.本文选用现在主流的残差网络ResNet-18、ResNet-34、ResNet-50、ResNet-101以及ResNet-152, 将本文在1.5节总结的改进之处分别嵌入上述残差网络中, 得到DAMSNet-18、DAMS-Net-34、DAMSNet-50、DAMSNet-101以及DAMSNet-152, 在CIFAR-10、CIFAR10、SVHN数据集上进行训练, 网络层数对分类准确率的影响如表2所示.由表可见, DAMSNet-34在3个数据集上的分类准确率均最优.

表2

Table 2

表2(Table 2)

表2 不同网络层数对分类准确率的影响 Table 2 Influence of different numbers of network layers on classification accuracy % 网络 CIFAR-10 CIFAR-100 SVHN DAMSNet-18 95.53 78.09 95.64 DAMSNet-34 96.21 79.31 96.38 DAMSNet-50 94.32 78.26 95.72 DAMSNet-101 92.22 76.65 93.62 DAMSNet-152 93.31 75.23 94.53

表2 不同网络层数对分类准确率的影响 Table 2 Influence of different numbers of network layers on classification accuracy %

网络第1层的特征表达能力决定其对原始图像的特征提取能力, 因此网络第1层卷积核尺寸的选择至关重要.在DAMSNet-34的基础上, 分别使用大小为3× 3、5× 5、7× 7、9× 9、11× 11的卷积核, 在其它参数均相同的情况下进行实验, 不同尺寸卷积核对分类准确率的影响如图9所示.

图9

Fig.9

	Figure Option ViewDownloadNew Window
	图9 不同卷积核尺寸对分类准确率的影响Fig.9 Influence of different convolutional kernel sizes on classification accuracy

由图9可见, 随着卷积核尺寸的增大, 分类准确率并没有上升, 却在尺寸为3× 3的卷积核上得到最优值, 继续增大卷积核尺寸可能会出现特征提取能力退化的现象, 从而导致分类准确率下降.

迭代次数能够直接影响模型的泛化能力.在CIFAR-10、CIFAR-100、SVHN数据集上, 网络在不同迭代次数下的测试集准确率和训练集损失变化曲线如图10所示.由图可见:对于CIFAR-10数据集, 在迭代次数为200轮时, 测试集准确率达到96.21%; 对于CIFAR-100数据集, 在迭代次数为250轮时, 测试集准确率达到79.51%; 对于SVHN数据集, 在迭代次数为150轮时, 测试集准确率达到96.90%.因此, 本文在CIFAR-10、CIAFR-100和SVHN数据集上, 迭代次数分别采用200轮、250轮和150轮.

图10

Fig.10

	Figure Option ViewDownloadNew Window
	图10 不同迭代次数下的损失和准确率对比Fig.10 Comparison of loss and accuracy with different iteration times

DAMSNet采用SGD进行优化, SGD可表示为

w_t+1=w_t-η 1n∑x∈βΔ l(x, w_t),

其中, n表示批尺寸, η表示学习率.

由上式可知, 在批尺寸相同时, 学习率能够直接影响模型的权重更新, 进而影响模型收敛.在批尺寸为64, 其它参数相同的情况下, 分别取

lr₁=0.001, lr₂=0.005, lr₃=0.01.

设置动态调整学习率, 动态调整策略为初始学习率0.1, 当验证集损失在10轮内没有下降时, 分别取lr₄、lr₅、lr₆、lr₇学习率降至原来的0.4、0.5、0.6、0.7倍.

不同学习率对分类准确率的影响如图11所示, 由图可见, 学习率lr₅在CIFAR-10、CIFAR-100、SVHN数据集上分类准确率分别为96.63%, 80.39%, 97.48%, 均为最优值.

图11

Fig.11

	Figure Option ViewDownloadNew Window
	图11 不同学习率对分类准确率的影响Fig.11 Influence of different learning rates on classification accuracy

为了验证DAMSNet的先进性, 在CIFAR-10、CIFAR-100、SVHN数据集上进行对比实验.

对比分类方法如下:ResNet-34^[5], Efficient-Nets^[25], GhostNet^[26], CAPR-DenseNet^[6], Multi-Res-Net^[8], DFR-DenseNet^[9], 文献[10]网络, CANAS^[11], SSE-GAN^[12], Couplformer^[21], MMA-CCT-7/3× 2^[22], FAVOR+(Fast Attention via Positive Orthogonal Random Features Approach)^[27].

本文的分类准确率对比实验数据来源如下:1)未开源的代码优先采用对比网络对应论文提供的实验结果; 2)通过论文提供的开源代码复现.

各网络在3个数据集上的分类准确率对比如表3所示, 表中黑体数字表示最优值.由表可得出, DAMSNet在3个数据集上的分类准确率最高.

表3

Table 3

表3(Table 3)

表3 各网络在3个数据集上的分类准确率 Table 3 Classification accuracy comparison of different networks on 3 datasets % 网络 CIFAR-10 CIFAR-100 SVHN ResNet-34 87.79 69.41 91.51 EfficientNets 94.01 75.96 93.32 GhostNet 94.92 77.15 93.86 CAPR-DenseNet 94.24 78.84 94.95 Multi-ResNet 94.65 78.68 - DFR-DenseNet 94.51 - - 文献[10]方法 94.51 - - CANAS 93.21 72.72 - SSE-GAN 85.14 - 92.92 Couplformer 93.54 73.92 94.26 MMA-CCT-7/3× 2 94.74 77.50 - FAVOR+ 91.42 72.56 93.21 DAMSNet 96.51 80.50 97.60

表3 各网络在3个数据集上的分类准确率 Table 3 Classification accuracy comparison of different networks on 3 datasets %

使用GANs的SSE-GAN分类准确率最低, 虽然加入半监督学习, 在SVHN数据集上的分类准确率达到92.92%, 但是在CIFAR-10数据集上的分类准确率为85.14%.这是由于半监督学习难以控制生成的结果, 生成的样本可能会出现不合理的情况, 如图像中出现奇怪的颜色或形状, 所以分类效果不稳定.

残差-密集类网络的分类准确率有所提升, 如Multi-ResNet和DFR-DenseNet在CIFAR-10数据集上分别为94.65%和94.51%, 这是因为残差-密集类传递信息的方式与常规卷积网络不同, 该类采用跳跃连接的方式, 可提高特征的重利用率, 有效缓解网络深度的增加带来的梯度弥散和网络退化等问题.对于常规卷积网络, 如CANAS, 采用线性堆叠卷积层的方式增加网络深度, 间接增大网络的感受野, 有效提取更多的全局特征, 在分类难度较大的CIFAR-100数据集上, 分类准确率为72.72%, 但特征重利用率较低.

使用注意力机制的网络, 如加入通道注意力机制的EfficientNets, 在3个数据集上的分类准确率分别达到94.01%、75.96%、93.32%, 效果明显优于CANAS和SSE-GAN, 这是因为加入的通道注意力机制可以为重要通道特征分配较高权重, 但是单一的注意力机制无法充分考虑通道特征和空间特征, 效果差于DAMSNet.

基于Transformer的自注意力机制的网络, 如Couplformer、MMA-CCT-7/3× 2等, 分类准确率在CIFAR-100数据集上有所提升, 但是Transformer是一种全局注意力机制, 不能有效捕捉图像中的局部信息, 泛化能力较差.

对比后发现, 对于从局部特征和全局特征出发、充分提取通道域特征和空间域特征、提高模型泛化能力的问题, DAMSNet效果最优, 这表明DAMSNet的有效性和优越性.

为了进一步验证DAMSNet的有效性, ResNet-34和DAMSNet-34在CIFAR-10、SVHN数据集上的分类混淆矩阵如图12所示, 图中列出预测正确、预测错误的各类样本的数量.DAMSNet-34在CIFAR-10、SVHN数据集上正确分类的样本数量远多于ResNet-34, 预测错误的样本数量远少于ResNet-34, 说明DAMSNet-34能够有效区分各种类别, 具有较强的分类性能.

图12

Fig.12

	Figure Option ViewDownloadNew Window
	图12 ResNet-34和DAMSNet-34在2个数据集上的混淆矩阵Fig.12 Confusion matricies of ResNet-34 and DAMSNet-34 on 2 datasets

为了进一步观察提出的DAM本文注意力机制的效果, 选择如下注意力机制进行对比:Frequency Channel Attention)^[16]、Coordinate Attention^[17]、Spatial Attention Pyramid^[18]、Couplformer^[21]、Performer^[27].

各注意力机制在CIFAR-10数据集上的可视化图像如图13所示.

图13

Fig.13

	Figure Option ViewDownloadNew Window
	图13 加入不同注意力机制后的可视化图像Fig.13 Visualized images after employing different attention mechanisms

由图13可以清晰地观察到, Spatial Attention Pyramid、Frequency Channel Attention采用单一的注意力机制, 分类效果明显不佳, 易受外界因素的干扰.Coordinate Attention未能综合考虑局部特征和全局特征, 效果不稳定.Couplformer、Performer基于全局上下文信息计算每个位置的权重, 而在图像分类中, 像素之间的上下文关系不是全局的, 故泛化能力较差.DAM从局部特征和全局特征出发分配权重, 能够更加高效利用关键特征, 例如, DAM能够注意到鹿的鹿角和腿、飞机的机翼等细节特征.相比其它注意力机制, DAM更全面提取关键特征, 更关注细节, 从而增加网络分类结果的可信度.

为了验证修改第1层卷积核尺寸、删除池化层, 在残差分支中使用DAM模块以及引入SAM的有效性, 在CIFAR-10、CIFAR-100、SVHN数据集上进行消融实验.

定义如下网络:Net_1表示在DAMSNet-34中去掉SAM, Net_2表示在DAMSNet-34中去掉残差分支中使用的DAM模块, Net_3表示在DAMSNet-34中不修改第1层卷积核尺寸并删除池化层.

各网络具体消融实验结果如表3所示.表中黑体数字表示最优值.由表可见, DAMSNet-34中各模块对网络性能都有一定影响.

表4

Table 4

表4(Table 4)

表4 各网络的消融实验结果 Table 4 Ablation experiment results of different networks % 网络 分类准确率 CIFAR-10 CIFAR-100 SVHN DAMSNet-34 96.51 80.50 97.60 Net_1 94.30 77.62 96.07 Net_2 90.71 74.13 94.80 Net_3 87.79 69.41 91.51

表4 各网络的消融实验结果 Table 4 Ablation experiment results of different networks %

各网络在3个数据集上不同迭代次数下的分类准确率对比如图14所示.

图14

Fig.14

	Figure Option ViewDownloadNew Window
	图14 迭代次数不同时各网络的分类准确率Fig.14 Classification accuracies of different networks with different iteration times

由图14可知, 分类准确率由高到低依次为DAMSNet-34, Net_1, Net_2, Net_3, 从而验证引入SAM可以有效寻找均匀最小值的邻域参数, 提高模型泛化能力.修改第1层卷积核尺寸、删除池化层, 能够有效减少原始图像特征损失, 缓解特征提取能力退化的问题.在残差分支中使用DAM, 能够有效提高对关键特征的关注度.

实验表明, 同时改进第1层卷积核尺寸、删除最大池化层, 使用DAM以及引入SAM时, 网络性能得到一定的提升.