InvCNet的训练和测试过程如图1所示.以单幅图像为例, 设输入的皮肤镜图像X∈ R^{3× w× h}, 其中, w表示图像宽度、h表示图像高度.

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 InvCNet的训练和测试过程Fig.1 Training and test processes of InvCNet

在训练过程中, 数据增强模块用于扩展输入数据的数量或解决数据不平衡问题.模块采用3种数据变化方式:旋转变化、尺度变化、随机剪裁.数据增强模块的输出直接输入InvCNet中.

InvCNet包含特征提取模块和分类模块.经典CapsNet的特征提取模块包含卷积层、初级胶囊层、数字胶囊层.InvCNet的特征提取模块由5个关键部分组成:内卷层、卷积层、全局注意力机制(GAM)、初级胶囊层和数字胶囊层.

对于给定的输入图像, 特征提取模块首先通过内卷层提取内卷层特征Φ ⁰∈ R3×w0×h0, 其中w⁰、h⁰分别表示经过内卷层后特征图的宽度与高度.然后经过卷积核大小为10、步长为2的卷积层后提取卷积层特征Φ ¹∈ RC×w1×h1, 其中, w¹、h¹表示经过卷积层后特征图的宽度与高度, C表示通道数.经过全局注意力机制, 得到新的特征图Φ ²∈ RC×w2×h2, 其中w²、h²表示经过全局注意力机制后特征图的宽度与高度.在初级胶囊层中, Φ ²经过卷积、重塑、挤压操作后生成初始胶囊u∈ R^{n× d}, 其中, n表示初始胶囊数量, d表示尺寸.随后, 初始胶囊通过动态路由进入数字胶囊层.数字胶囊层将胶囊映射到分类类别中, 生成数字胶囊v_j∈ R^D, j=1, 2, …, N, 其中, D表示数字胶囊的尺寸, N表示皮肤镜图像的类别.v_j随后被输入分类模块中.该分类模块的分类规则是:分别计算N个数字胶囊v_j的模长, 选择最大模长对应的类别为预测输出.

在测试过程中, 将待分类的皮肤镜图像输入已训练好的InvCNet中, 可由分类模块输出预测类别.测试过程中的输入图像不需要经过数据增强模块.

本文在特征提取模块中引入内卷操作.内卷是一种神经网络算子, 引入自适应感受野, 能较好地处理图像细节和局部特征^[33].内卷运算可看作是卷积运算的逆运算, 具有空间特异性和通道不变性.

假设Z_{i, j}∈ R^C是位于位置(i, j)的C通道像素向量, 则经过内卷操作后得到的输出特征映射Y_{i, j}∈ R^C, 其中

${{Y}_{i}}_{, j, k}=\sum\limits_{\left( u, v \right)\in {{\Delta }_{K}}}{{{H}_{i}}_{, j, u+\left\lfloor K/2 \right\rfloor , v+\left\lfloor K/2 \right\rfloor , \left\lceil kG/C \right\rceil }{{Z}_{i}}_{, j, k}}$,

Z_{i, j, k}表示Z_{i, j}的第k个元素,

Δ _K=[-⌊K/2」, …, ⌊K/2」]☉[-⌊K/2」, …, ⌊K/2」],

表示对像素进行卷积的邻域偏移量集合, ⌊· 」表示下取整, 「· ⌉表示上取整, ☉表示笛卡尔乘积, K表示内卷核大小, G表示共享相同内卷核的组数.

位置(i, j)的内卷核为:

H_{i, j}=R(W¹g(W⁰Z_{i, j}))∈ R^{K× K× G},

其中, R(· )表示Reshape操作, g(· )表示批量归一化和非线性激活的联合处理函数, 权重矩阵W⁰∈ RC¯×C、W¹∈ R(K×K×G)×C¯表示线性变换, 通过1× 1卷积实现, C¯=C/r, r表示通道维度控制比率.

内卷操作过程如图2所示, G=1.对于Z_{i, j}, 经过线性变换后, 得到长度为1× 1× K²的向量.再对得到的内卷核进行展开操作, 生成的内卷核H_{i, j}大小为K× K× 1, 这意味着同一组像素集合将使用相同的内卷核.然后, 将内卷核应用于Z_{i, j}, 进行矩阵相乘操作, 生成K× K× C的输出.最后, 通过求和运算, 将来自K× K邻域的信息汇总, 输出长度为C的像素向量Y_{i, j}.内卷操作的计算复杂度与特征通道的数量呈线性增长.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 内卷操作过程Fig.2 Involution operation

InvCNet的特征提取模块还引入全局注意力机制(GAM).全局注意力机制增强跨维度的交互作用, 可同时捕捉三个维度的特征, 减少信息弥散, 提升神经网络的性能^[34].考虑到内卷和卷积的特殊性以及皮肤癌图像的特征, 全局注意力机制被添入卷积层和初级胶囊层之间, 用于减少卷积和池化操作带来的特征图信息损失.

全局注意力机制的流程图如图3所示.GAM包含通道注意力子模块和空间注意力子模块.给定输入特征图Φ ¹∈ RC×w1×h1, 中间状态

F=M_c(Φ ¹)☉Φ ¹,

其中, M_c(· )表示通道注意力操作, ☉表示元素相乘.

输出

Φ ²=M_s(F)☉F,

其中M_s(· )表示空间注意力操作

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 全局注意力机制流程图Fig.3 Flowchart of GAM

通道注意子模块流程图如图4所示.模块首先使用三维排列保留三维信息(通道深度、空间宽度及高度), 即通过置换得到 Φ11∈ Rw1×h1×C.然后用两层多层感知器(Multi-layer Perceptron, MLP)放大跨维通道空间依赖关系.最后通过逆排列与激活函数得到新的特征图.通道注意力具体计算公式如下:

M_c(Φ ¹)=σ (P(MLP(MLP( Φ11)))),

其中, σ (· )表示sigmoid函数, P(· )表示置换函数, 用于调整中间特征的三维排列, MLP(· )表示感知器层.

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 通道注意力子模块流程图Fig.4 Flowchart of channel attention submodule

为了关注空间信息, 空间注意子模块使用两个卷积层进行空间信息融合.由于最大池化减少信息, 并会产生负面影响, 因此空间注意力模块不采用池化操作, 以进一步保留特性映射, 但有时会显著增加参数量.空间注意子模块流程图如图5所示.模块计算公式如下:

M_s(F)=σ (Conv2(Conv1(F))),

其中, Conv1(· )表示卷积核大小为7× 7、通道缩减比为r的卷积操作, Conv2(· )表示卷积核大小为7× 7, 还原通道数量的卷积操作.

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 空间注意力子模块流程图Fig.5 Flowchart of spatial attention submodule

初级胶囊层和数字胶囊层都属于胶囊层.与CapsNet一样, InvCNet在初级胶囊层使用卷积、重塑和挤压, 生成初始胶囊向量u∈ R^{n× d}.数字胶囊层包含线性变换和动态路由两个子模块.线性变换子模块提供变换权重矩阵W ij2∈ R^{d× D}, 并和初始胶囊u作用, 生成第i个胶囊被归为第j类的预测向量 ûij∈ R^{n× D}.动态路由子模块根据 ûij计算数字胶囊向量v_j.令

${{s}_{j}}=h\left( {{{\hat{u}}}_{ij}} \right)=\sum\limits_{i}{{{c}_{ij}}}{{\hat{u}}_{ij}}\in {{R}^{n}}^{\times D}$,

其中c_ij为耦合系数, 表示初级胶囊i与数字胶囊j之间的相对强度.则数字胶囊向量为:

v_j=squash(s_j)= sj21+sj2sjsj,

其中squash(· )表示挤压函数.

动态路由具体过程如算法1所示.

算法1 动态路由过程

输入 ( ûij, r, l)

输出v_j

对第l层所有胶囊i和第l+1层所有胶囊j,

b_ij← 0

进行r次迭代:

对第l层所有胶囊i, c_i← softmax(b_i)

对第l+1层所有胶囊$j, {{s}_{j}}\leftarrow \sum\limits_{i}{{{c}_{ij}}{{{\hat{u}}}_{ij}}}$

对第l+1层所有胶囊j, v_j← squash(s_j)

对所有的胶囊i和胶囊j, b_ij← b_ij+ ûijv_j

返回 v_j

分类器模块计算数字胶囊的L₂范数, 即

${{v}_{j}}_{2}=\sqrt{v_{j1}^{2}+v_{j2}^{2}+\ldots +v_{jD}^{2}}$.

然后, 将模长最大胶囊的索引号作为预测的分类标签y, 即

y=argmaxj=1, 2, …, Nvj2.

InvCNet使用间隔(Margin)损失函数提高正确类别的概率.对于第k类, 损失函数为:

L_k=T(y, k)max(0, m⁺- vk)²+λ (1-T(y, k))max(0, vk-m^-)².

其中:λ 表示非负正则参数; m⁺和m^-表示非负实数, m⁺+m^-=1; T(y, k)表示类别指示函数, 如果y=k, T(y, k)=1, 否则T(y, k)=0.

总损失是所有数字胶囊的损失之和.

本文采用ISIC2017^[30]、HAM10000^[31]、ISIC- 2018^[32]、ISIC2019数据集, 分别用于验证InvCNet在多分类任务及两分类任务上的有效性.

HAM10000数据集包含10 015幅皮肤镜图像, 每幅图像尺寸为450× 600.数据集共包括7类皮肤病变:AKIEC(Actinic Keratosis/Intra Epithelial Ca- rcinoma)、BCC(Basal Cell Carcinoma)、BKL(Benign Keratosis)、DF(Dermatofibroma)、MEL(Melanoma)、NV(Melanocytic Nevi)和VASC(Vascular Lesions), 示例如图6所示.

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 HAM10000数据集上7种皮肤病变图像示例Fig.6 Seven types of skin lesion images on HAM10000 dataset

ISIC 2017、ISIC2018、ISIC2019数据集是由ISIC(International Skin Imaging Collaboration)发布的大规模皮肤镜图像数据集.ISIC2017数据集包含2 000幅训练图像、150幅验证图像和600幅测试图像.图像尺寸为767× 576至6 621× 4 441不等.数据集包括3类疾病:黑色素瘤(Melanoma, MEL)、脂溢性角化病(Seborrheic Keratosis, SEB)、良性痣(Nevus, NV).通常可利用ISIC2017数据集进行两分类任务, 即黑色素瘤-良性痣(MEL-NV)两分类任务和脂溢性角化病-良性痣(SEB-NV)两分类任务.ISIC2018数据集包含10 015幅训练图像、193幅验证图像和1 512幅测试图像, 类别与HAM10000数据集一致, 包含7类疾病数据.ISIC2019数据集包含25 533幅图像, 并在ISIC2018数据集的基础上增加鳞状细胞癌(Squamous Cell Carcinoma, SCC)类别.

皮肤镜图像数据存在严重的类别不平衡现象, 导致模型在进行分类时会倾向于预测样本数量较多的类别, 因此, 需要采用数据增强技术对训练集上的少数类数据进行扩充.

在HAM10000数据集上, 遵循文献[5]的数据处理方式, 对数据集进行训练-验证-测试划分, 提取828幅图像作为测试集.为了便于对比, 使用与文献[5]一致的数据增强方法增加训练集上的样本数量, 并将处理后的数据图像保存为224× 224的PNG格式.

由于ISIC2019数据集未提供训练-验证-测试的划分, 本文考虑采用训练集∶ 验证集∶ 测试集为8∶ 1∶ 1的比例划分原始数据集.在ISIC系列数据集上, 也采用与文献[5]一致的数据增强方法扩充训练集, 并将处理后的图像保存为224× 224的PNG格式.

经过数据增强后, HAM10000、ISIC2017、ISIC-2018、ISIC2019数据集的训练数据集数量分别增至53 639幅、6 000幅、46 900幅、80 000幅.各数据集增强前后各子集数据分布情况如图7所示.

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 数据增强前后4个数据集的分布情况Fig.7 Distribution of 4 datasets before and after augmentation

实验环境配置如下:操作系统为Ubuntu18.04, 显卡配置为NVIDIA GeForce RTX 3090, 显存为24 GB; 软件平台为Python3.9, CUDA 10.2, Pytorch 1.10.2.

使用准确率(Accuracy, Acc)、精确率(Precision, Pre)、召回率(Recall, Rec)、特异性(Specificity, Spe)和F1分数(F1-Score)进行评估, 具体公式如下:

Acc=TP+TNT,

Pre=TPTP+FP,

Rec=TPTP+FN,

Spe=TNTN+FP

F1⁃score=2Precision·RecallPrecision+Recall,

其中, TN表示真阴性, TP表示真阳性, FP表示假阳性, FN表示假阴性, T表示样本总数.

在处理多分类问题时, 精确度衡量的是对总体样本的预测, F1分数和召回率表示对某一类别的预测, 因此, 必须单独计算每类的F1分数和召回率.

在InvCNet中, 设置内卷层滤波器尺寸为7× 7, 内卷层的滤波器层数为1层, 卷积层滤波器尺寸为10× 10.在训练阶段, 在HAM10000、ISIC2018数据集上共训练125个迭代周期, 初始学习率设为0.1.在ISIC2017数据集上, 共训练100个迭代周期, 初始学习率设为0.01.在ISIC2019数据集上共训练120个迭代周期, 学习率设为0.1.使用Adam(Adaptive Moment Estimation)作为训练网络的优化器, 设置指数衰减率β ₁=0.9, β ₂=0.999.训练过程采用余弦退火算法调整学习率, 批次大小设为32.在InvCNet中, 设置边际损失函数的超参数m⁺=0.9, m^-=0.1, λ =0.5.

为了验证InvCNet的有效性, 进行对比实验.

首先在ISIC2017数据集上进行实验, 对比方法包括:DenseNet-201(Dense Convolutional Network with 201 Layers)^[35]、Inception-v3^[36]、ResNet-50(50- Layers Residual Network)^[37]、MobileNetV3^[38].另外, 为了考察数据增强的效果, 在数据增强前和数据增强后都训练InvCNet.为了区分, 使用InvCNet(No-Aug)表示InvCNet只对未增强数据进行训练.

考虑到在ISIC2017数据集开展的是两个两分类任务, 采用准确率、召回率、特异性衡量网络的分类性能, 此外还采用模型复杂度(参数量)和运算量(浮点数运算数(Floating-Point Operations, FLOPs), 衡量网络运行效率.

各方法在ISIC2017数据集的MEL-NV、SEB-NV两分类子任务上的性能对比如表1所示, 表中黑体数字表示最优值.由表可见, InvCNet在多数指标上取得最优值.通常较高的召回率会带来较低的特异性, 较高的特异性会带来较低的召回率, 但是, InvCNet在MEL-NV子任务上取得较好的平衡.对于SEB-NV分类任务, InvCNet在准确率和特异性上取得最优值.值得注意的是, InvCNet(NoAug)在召回率上表现更优.一个可能的原因是数据增强虽在一定程度上提升网络性能, 但造成过拟合, 使InvCNet在多数类(NV)上表现出更好的分类结果.此外, InvCNet不仅在准确性上明显优于对比方法, 而且在模型复杂度上远低于对比方法.虽然InvCNet的FLOPs为11.3 G, 略高于MobileNetV3, 但InvCNet只有0.58 M个参数, 约为MobileNetV3(1.53 M个参数)的38%.

表1

Table 1

表1(Table 1)

表1 各方法在ISIC2017数据集上的性能对比 Table 1 Performance comparison of different methods on ISIC2017 dataset 方法 MEL-NV/% SEB-NV/% 参数量/M FLOPs/G 准确率 召回率 特异性 准确率 召回率 特异性 DenseNet-201 81.37 51.28 90.08 84.47 77.78 88.25 20.20 8.00 Inception-v3 80.00 56.41 87.02 80.75 73.33 81.93 22.80 5.73 ResNet-50 81.18 48.72 90.84 82.61 75.56 83.97 25.60 4.20 MobileNetV3 74.71 69.97 75.21 79.30 76.84 87.78 1.53 0.22 CapsNet 76.47 0.02 98.73 76.40 73.54 88.89 1.88 1.56 InvCNet(NoAug) 80.59 36.75 93.64 89.03 75.56 92.11 0.58 1.13 InvCNet 83.73 72.65 87.02 93.38 64.44 100.00 0.58 1.13

表1 各方法在ISIC2017数据集上的性能对比 Table 1 Performance comparison of different methods on ISIC2017 dataset

HAM10000、ISIC2018、ISIC2019数据集均为多分类数据集, 各方法在这3个数据集上的分类性能对比如表2所示, 表中黑体数字表示最优值.由表可看到, InvCNet在分类准确率上明显优于其它方法.在ISIC2018数据集上, InvCNet在所有指标上都取得最优值.值得注意的是, InvCNet仅用简单的内卷-卷积结构便取得有竞争力的结果, 表明其在多分类任务上的有效性.

表2

Table 2

表2(Table 2)

表2 各方法在3个数据集上的性能对比 Table 2 Performance comparison of different methods on 3 datasets % 数据集 方法 准确率 精确率 召回率 F1分数 HAM10000 DenseNet-201 91.54 83.48 82.02 82.12 Inception-v3 89.98 80.04 76.47 77.93 ResNet-50 90.10 70.87 63.94 65.46 MobileNetV3 89.73 74.73 65.80 65.30 CapsNet 85.61 54.02 60.80 55.60 InvCNet(NoAug) 89.37 71.79 73.20 70.90 InvCNet 95.65 83.98 78.90 80.60 ISIC2018 DenseNet-201 81.81 76.29 66.10 70.07 Inception-v3 81.94 78.21 66.55 71.43 ResNet-50 80.95 75.79 65.39 69.69 MobileNetV3 80.01 78.14 64.37 69.94 CapsNet 79.50 66.46 64.79 65.32 InvCNet(NoAug) 81.02 72.09 70.90 71.10 InvCNet 89.15 82.86 75.78 78.18 ISIC2019 DenseNet-201 81.39 80.20 73.20 76.54 Inception-v3 85.42 84.91 81.60 83.22 ResNet-50 80.76 79.6 75.33 77.41 MobileNetV3 80.36 77.16 72.92 74.98 CapsNet 78.74 68.32 63.70 64.60 InvCNet(NoAug) 77.69 52.40 53.50 52.94 InvCNet 87.19 85.30 57.10 68.41

表2 各方法在3个数据集上的性能对比 Table 2 Performance comparison of different methods on 3 datasets %

在ISIC2017数据集上, 选择如下SOTA(State- of-the-Art)方法:IRv2-SA^[5]、SSAC^[6]、SDL^[7]、GP CN-NDTEL(Global-Part CNN Model with Data-Trans-formed Ensemble Learning)^[8]、ARLCNN(Attention Residual Learning CNN)^[9]、MSLANet^[10]、ResNet152-HRL(ResNet152 with Hierarchical Representation Learning)^[39].

各方法的性能对比如表3所示, 表中黑体数字表示最优值.

表3

Table 3

表3(Table 3)

表3 InvCNet和SOTA方法在ISIC2017数据集上的性能对比 Table 3 Performance comparison of InvCNet and SOTA methods on ISIC2017 dataset % 方法 MEL-NV SEB-NV 准确率 召回率 特异性 准确率 召回率 特异性 IRv2-SA - - - 90.48 61.11 97.20 SSAC 83.50 55.56 90.33 91.20 88.90 91.60 SDL 88.80 - - 92.50 - - GP-CNN-DTEL 85.00 65.80 37.60 93.50 72.22 97.30 ARL-CNN 85.00 65.80 89.60 86.80 87.80 86.70 MSLANet 84.20 58.10 90.50 93.80 94.90 92.60 Resnet152-HRL 85.80 74.00 96.10 92.90 88.20 97.60 InvCNet 83.73 72.65 87.02 93.38 64.44 100.00

表3 InvCNet和SOTA方法在ISIC2017数据集上的性能对比 Table 3 Performance comparison of InvCNet and SOTA methods on ISIC2017 dataset %

由表3可知, 在MEL-NV子任务上, Inv-CNet的性能与SOTA方法性能相当.在SEB-NV子任务上, InvCNet取得最好的特异性(100%).

在HAM10000、ISIC2018、ISIC2019数据集上, 选取的SOTA方法如下.

1)HAM10000数据集上:IRv2-SA^[5]、AFConv-CapsNet^[27]、FixCaps^[26]、文献[40]方法、IM-CNN(Interpretability-Based Multimodal CNN)^[41].

2)ISIC2018数据集上:MSRNet^[42]、文献[43]方法.

3)ISIC2019数据集上:文献[44]方法、SCDNet^[45]、Spiking VGG-13^[46]、wide-ShuffleNet^[47].

InvCNet和SOTA方法在3个数据集上的性能对比如表4所示.表中黑体数字表示最优值.由表可知, 在HAM10000数据集上, InvCNet在准确率上取得最高值(95.65%).同时, FixCaps和InvCNet的网络参数量相当, 但是相比FixCaps, InvCNet在准确率、精确率、召回率、F1分数上分别提高1.57%、1.87%、4.00%、3.30%.在ISIC2018数据集上, InvCNet取得最高的精确度(82.86%), 其它指标取得次优.InvCNet在ISIC2019数据集上的表现并不理想.主要原因是该数据集的数量相对更多, 图像更复杂多变.相比深层的网络结构, InvCNet仅凭简单的内卷-卷积浅层结构提取特征能力是有限的, 导致其未获得较优的分类性能.

表4

Table 4

表4(Table 4)

表4 InvCNet和SOTA方法在3个数据集上的性能对比 Table 4 Performance comparison of InvCNet and SOTA methods on 3 datasets 数据集 方法 准确率/% 精确率/% 召回率/% F1分数/% 参数量/M FLOPs/G HAM10000 IRv2-SA 93.47 82.76 71.86 75.29 47.50 25.46 FixCaps 94.08 82.11 74.90 77.30 0.50 3.48 文献[40]方法 95.29 88.35 92.58 89.99 - - AFConv-CapsNet 95.24 - 95.37 95.02 - - IM-CNN 95.10 - - - - - InvCNet 95.65 83.98 78.90 80.60 0.58 1.13 ISIC2018 MSRNet 86.20 80.00 61.00 69.20 - - 文献[43]方法 90.15 80.74 84.00 82.04 - - InvCNet 89.15 82.86 75.78 78.18 0.58 1.13 ISIC2019 文献[44]方法 94.92 79.80 80.36 80.08 5.98 1.58 SCDNet 92.91 92.18 92.19 92.18 - - Spiking VGG-13 89.57 89.66 90.70 89.65 - - wide-ShuffleNet 84.80 75.15 70.71 72.61 - - InvCNet 87.19 85.30 57.10 68.41 0.58 1.13

表4 InvCNet和SOTA方法在3个数据集上的性能对比 Table 4 Performance comparison of InvCNet and SOTA methods on 3 datasets

总之, InvCNet在皮肤镜图像的分类任务上有一定优势.这主要取决于两个方面:一方面, InvCNet是基于胶囊网络的, 不仅能学习用于特征提取和图像分类的优秀权重, 还能学习如何编码皮肤镜图像特征的姿势和空间关系.另一方面, InvCNet引入内卷算子和全局注意力机制, 能利用图像的通道信息, 并利用通道信息和空间信息之间的相互作用.

在设计InvCNet网络结构时, 需要考虑内卷层滤波器尺寸、内卷层数量、卷积层滤波器尺寸对性能的影响.2.3节给出这些参数的设置.本节将进一步在HAM10000数据集上分析这些参数.

在InvCNet其它参数不变的条件下, 首先验证内卷层中滤波器尺寸变化对分类准确率的影响.实验为内卷滤波器设置4种尺寸:3× 3、5× 5、7× 7、9× 9.在4种尺寸下, InvCNet的分类准确率分别为86.47%, 91.91%, 95.65%, 93.84%.InvCNet在滤波器尺寸为7× 7时达到最优值, 即95.65%, 因此将InvCNet的滤波器尺寸设为7× 7.

InvCNet内卷层数量表示在早期阶段使用图像通道信息的能力.在InvCNet其它参数不变的条件下, 验证内卷层数量对分类准确率的影响.令内卷层的数量为1, 2, 3, 相应InvCNet的分类准确率为95.65%, 92.27%, 93.59%.可明显看出, 增加内卷层深度并不能提高模型的分类性能, 并且只使用1层内卷就能获得最优分类精度.

虽然3层内卷比2层内卷显示出更高的准确率, 但时间成本会明显增加.此外, 当进一步增加层数时, 损失也不会收敛.因此, InvCNet的内卷层数设为1是较合理的.

下面在InvCNet其它参数不变的条件下验证卷积层滤波器尺寸对分类准确率的影响.在实验中, 将卷积层滤波器尺寸从5× 5调整为21× 21.InvCNet的分类准确率随卷积层滤波器尺寸变化情况如表5所示.

表5

Table 5

表5(Table 5)

表5 卷积层滤波器尺寸对InvCNet性能的影响 Table 5 Classification accuracy of InvCNet with different convolution kernel sizes % 卷积层滤波器尺寸 分类准确率 5× 5 89.73 7× 7 90.09 9× 9 92.27 10× 10 95.65 13× 13 94.08 15× 15 89.97 18× 18 94.68 21× 21 78.38

表5 卷积层滤波器尺寸对InvCNet性能的影响 Table 5 Classification accuracy of InvCNet with different convolution kernel sizes %

由表5可看出, InvCNet在卷积层滤波器尺寸等于10× 10时达到最优值.在一定范围内, 随着卷积层滤波器尺寸的变化, 分类准确率先上升后下降.这些结果表明, 使用中等尺寸的卷积核比使用小尺寸卷积核和大尺寸卷积核更好.本文推测, 扩大感受野可使方法有效利用更多的空间信息, 但过大的感受野可能会引入无关信息或噪声, 从而影响分类准确率.

InvCNet涉及两个模块:内卷层和全局注意力机制.为了验证这两个模块的有效性, 进行相关的消融实验.

2.6.1 内卷层

为了确定引入内卷层的有效性, 设计InvCNet的两个变形.

1)InvCNet-1.不包含内卷的InvCNet, 2)InvCNet-2.内卷层和卷积层位置交换的InvCNet.

InvCNet-1、InvCNet-2、InvCNet的分类准确率分别为91.42%, 93.84%, 95.65%.InvCNet具有最优性能, 交换内卷和卷积位置的InvCNet-2次优, 没有内卷层的InvCNet-1最低.因此可认为, 在早期阶段嵌入内卷层可提高方法性能, 而且内卷和卷积的位置不能互换.

为了进一步验证内卷层的作用, InvCNet-1和InvCNet在卷积层后的5个通道特征图如图8所示.由图可看出, 有内卷操作的InvCNet利用内卷提供丰富的细节信息和语义特征, 可强调目标部分的边缘和勾勒前景与背景等.内卷操作对每个像素生成不同的内卷核, 可通过所有通道从该像素学习权重.这个属性允许内卷在单幅特征图中提供各种模式和丰富的特征.此外, 内卷通过所有通道将内卷核应用于一个单个像素及其近邻, 并再次求和(内卷操作见图2).由于该内卷核的权重是从该像素生成的, 因此将该内卷核应用于其近邻并对其求和可聚合上下文关系, 从而对长范围依赖性进行建模.由此, 内卷层对于生成具有区分度的特征十分重要.

图8

Fig.8

	Figure Option ViewDownloadNew Window
	图8 InvCNet-1和InvCNet在卷积层后的特征图对比Fig.8 Comparison of feature maps after convolution layer obtained by InvCNet-1 and InvCNet

2.6.2 全局注意力机制

目前, 在深度学习中已提出多种注意机制, 常用的包括SENet^[48]、CBAM(Convolutional Block Atten- tion Module)^[49]、BAM(Bottleneck Attention Modu- le)^[50]、Triplet Attention^[51]及本文提出的全局注意力机制(GAM).SENet通过挤压和激励操作建模图像通道之间的关系, 自适应学到每个通道的重要性, 但会忽略图像的位置信息, 出现过拟合现象.CBAM是一种将通道注意力操作和空间注意力操作顺序放置的注意力机制, 而BAM 则是并行排列.但这两种方法都忽略通道与空间之间的相互作用, 丢失跨维度信息.TAM利用通道、空间宽度和空间高度这三个维度中每对之间的注意力权重提高效率.然而, 注意力操作每次仍应用于其中两个维度, 而不是所有三个维度.

在上述注意力机制中, CBAM与GAM整体结构类似, 均由通道注意力操作及空间注意力操作顺序排列组成, 但两种方法在子模块的设计上有所区别.

给定输入特征图F^c∈ R^{C× w× h}, CBAM的通道注意力模块和空间注意力模块计算公式如下:

$M_{c}^{1}({{F}^{c}})=\sigma (MLP(F_{\text{Avg}}^{c})+MLP(F_{\text{Max}}^{c})))$,

$M_{s}^{1}({{F}^{c}})=\sigma ({{f}^{7\times 7}}([F_{\text{Avg}}^{s}; F_{\text{Max}}^{s}]))$.

其中: Mc1(· )表示通道注意力操作, Ms1(· )表示空间注意力操作, 与GAM加以区分; FAvgc表示对输入特征图进行全局平均池化, FMaxc表示对输入特征图进行全局最大池化; F^s表示输入空间注意力模块的特征图; f^{7× 7}(· )表示卷积核大小为7× 7卷积操作; [ FAvgs; FMaxs]表示对特征进行拼接.

在通道注意力模块中, GAM对输入图像进行置换及还原增强跨维度的信息交互, 同时考虑三个维度的信息, 而CBAM采用全局池化, 忽略跨维度信息的相互作用.在空间注意力模块中, GAM去除池化操作, 采用一个通道压缩卷积和一个通道还原卷积进行空间信息融合, 而CBAM只采用一个卷积操作对拼接的池化特征图进行压缩.

为了验证InvCNet引入GAM的有效性, 另外设计7种InvCNet的变体(InvCNet-3~InvCNet-9), 用不同的注意力模块替换GAM或不用注意力模块.这些变体的具体设计如表6所示.值得注意的是, InvCNet-8及InvCNet-9采用的注意力机制为GAM的变体, InvCNet-8采用通道注意力和空间注意力并行的排列方式, InvCNet-9采用先空间注意力后通道注意力的排列方式, 分别用GAM-P和GAM-R表示两种方法的注意力机制.

表6

Table 6

表6(Table 6)

表6 注意力机制的消融实验结果 Table 6 Ablation experiment results of attention mechanisms % 模型 内卷层 注意力机制 准确率 CapsNet × × 85.61 InvCNet-1 × GAM 91.42 InvCNet-3 √ × 91.17 InvCNet-4 √ SE 93.47 InvCNet-5 √ CBAM 93.84 InvCNet-6 √ BAM 93.35 InvCNet-7 √ TAM 94.56 InvCNet-8 √ GAM-P 89.25 InvCNet-9 √ GAM-R 92.75 InvCNet √ GAM 95.65

表6 注意力机制的消融实验结果 Table 6 Ablation experiment results of attention mechanisms %

由表6可见, 经典的CapsNet没有内卷层也没有注意力机制, 性能最差.对比InvCNet-1和Inv- CNet-3可知, 内卷和注意力机制任一模块的引入能有效且相似地提升方法性能, 当然两个模块同时引入更能大幅提升准确率.在保持引入内卷层的情况下, 加入其它注意力机制均能在不同程度上提升方法性能, 但仍比不上全局注意力机制.此外, 本文发现, GAM子模块的排列方式对方法性能也有影响.顺序注意力比并行注意力性能更优, 并且通道一阶的性能优于空间一阶.本文推测造成这种结果的原因可能是:从空间的角度上看, 通道注意力是全局应用的, 而空间注意力是局部的, 在早期利用全局信息对于高质量特征图的生成具有积极贡献.