ResNet通过残差连接拟合残差项, 对当前层与前续层特征进行相加, 在实现网络模型加深的同时提高性能.DenseNet^[8]中每层向网络增加特征且保持其它特征不变, 以更少参数量和计算量获得更好的收敛率和更高的性能, 这是由于密集连接方式可以明确区分输入特征和新特征, 不会导致信息流被破坏, 进一步缓解梯度消失和网络退化问题.

但DenseNet最终决策仅利用最终密集块特征, 具有丰富定位信息的浅层特征并不能充分传递到最终决策层, 并且采用单一下采样容易造成信息丢失, 导致难以识别影像中影像学特征不明显的肺炎特征.为此, 本文设计深浅层密集连接, 在下采样同时将网络输入特征与密集块特征进行密集连接, 对不同分辨率的深层语义信息与浅层定位信息进行深度融合, 获取多分辨率特征图中的丰富信息, 并防止丢失一些图像的细节信息, 这在一定程度上弥补肺炎病灶的影像学信息不明显的缺陷, 跨层密集连接还实现整个网络的隐式深度监督, 改善网络中的信息流和梯度, 在降低参数的同时避免过拟合, 提高网络的特征表征能力.

X光片中存在肺炎病灶与周围组织对比不明显的问题, 通道注意力机制可以增强肺炎相关的特征通道, 全局平均池化(Global Average Pooling, GAP)是频域分析中一种特例的特征分解, 等价于离散余弦变换(Discrete Cosine Transform, DCT)的最低频率分量, 但GAP取均值也难以表达出整个空间信息.例如:SE使用空间维度压缩后的特征向量对特征通道进行增强, 这样会忽略同一通道上特征的空间信息.为此, 本文设计坐标频率注意力(Coordinate Frequency Attention, CFA), 框架如图2所示.DCT替代GAP, 利用卷积运算在x方向空间信息中建立特征间依赖关系, 同时在y方向空间中保留精确的位置信息, 以空间方向和位置相互补充的方式增强感兴趣目标的表达.此外, 建模整个空间多频率分量中的通道相互关系, 并以残差学习方式与两个方向的空间多频率分量信息进行融合, 提高稳定性和鲁棒性.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 CFA框架图Fig.2 Structure of CFA

设定H、W分别为输入特征图U的高、宽, C为通道数.DCT基本参数为:

$B_{:, h, w}^{c}=\cos \left(\frac{\pi h}{H}\left(i+\frac{1}{2}\right)\right) \cos \left(\frac{\pi w}{W}\left(j+\frac{1}{2}\right)\right)$,

其中,

h∈ {0, 1, …, (H-1)(C-1)},

i∈ {0, 1, …, H-1},

w∈ {0, 1, …, (W-1)(C-1)},

j∈ {0, 1, …, W-1}.

令h=w=0, DCT最低频分量为:

$\begin{aligned} D C T_{:, 0, 0}^{c}= & \sum_{i=0}^{H-1} \sum_{j=0}^{W-1} U_{:, i, j} B_{:, 0, 0}^{c}=\sum_{i=0}^{H-1} \sum_{j=0}^{W-1} U_{:, i, j}= \\ & \operatorname{GAP}(U), \end{aligned}$

可以看出相比SE, DCT应用的最低频分量GAP(U)包含更多频率分量信息.引入其它分量:

$\begin{aligned} D C T_{i, j} & =\sum_{h=0}^{H-1} \sum_{w=0}^{W-1} U_{:, i, j} B_{:, h, w}= \\ & \operatorname{GAP}(U)+U_{:, 0, 1} B_{:, 0, 1}+\cdots+U_{:, H-1, W-1} B_{:, H-1, W-1} .\end{aligned}$

本文设计的DCT可以沿整个空间方向提取多频率的通道分量信息F^c, 以及沿空间的x方向与y方向分别提取多频率的通道空间分量信息F^m与Fⁿ, 即

Fⁿ=DCT(U_{:, :, w})= ∑h=1H∑w=1WU_{:, :, w} B∶, ∶, wm,

F^m=DCT(U_{:, h, :})= ∑h=1H∑w=1WU_{:, h, :} B∶, h, ∶n,

其中, m、h取值范围相同, n、w取值范围相同.频率分量 Bh, wc、 B∶, wm和 Bh, ∶n为多组频域分量中计算特征结果最优的一组频率分量.

合并多频率分量信息F^m和Fⁿ, 然后利用卷积运算(Conv)和分割(Split), 生成2个二维特征矩阵:

D^m, Dⁿ=Split(Relu(BN(conv(F^m© Fⁿ)))),

其中, © 为拼接, Relu(· )为激活函数, BN(· )为批量归一化.F^c通过全连接层(FC)生成, 将其与2个二维特征矩阵相加, 生成注意力权重:

W^m=ϕ (conv(D^m+fc(Relu(fc(F^c))))),

其中ϕ (· )为Sigmoid函数.最后对两个空间方向上生成的二维权重W^m和Wⁿ进行加权.

密集块和过渡层中引入坐标频率注意力, MADenseNet包含4个不同深度的坐标频率密集块, 深度和密集单元个数相同, 分别为6、12、24、16, 可以自适应地突出有价值的肺炎特征, 提高网络的表征能力, 融合不同分辨率深浅层信息.

肺炎病灶与周围组织间存在边缘模糊问题, 尽管采用坐标频率注意力增强肺炎特征, 可以更好地识别病灶类别, 但部分空间信息保留只能关注到整个通道的类别, 难以充分学习病灶的空间信息, 从而导致网络分类决策受到潜在背景和噪声的影响, 这种现象更容易在浅层定位信息与深层语义信息融合中发生.

此外, 深浅层特征直接融合网络难以精准关注病灶区域, 需要同时关注肺炎的类别信息和空间位置信息.

为此, 本文在多分辨率深浅层信息中, 构造由空间注意力门和交叉注意操作组成的多分辨率空间注意力门, 充分利用深浅层特征提升网络学习肺炎特征的能力.其中空间注意力门对不同分辨率的浅层特征和深层特征进行融合, 利用包含空间位置信息的浅层和包含上下文信息的深层生成空间权重, 进行语义式交互增强.空间注意力门结构如图3所示.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 空间注意力门结构图Fig.3 Structure of spatial attention gate

浅层特征U^l为网络输入和前续密集块的特征图, 深层特征U^h为当前密集块的特征图.首先, U^l与U^h相乘, 得到权重α .然后U^l和U^h分别通过两组1× 1卷积和相加, 其中通道数被压缩到1/8, 分别输入BN、ReLU和1× 1卷积中, 通过Sigmoid函数获得浅层空间注意力权重 β˙∈ [0, 1]^{H× W}和深层空间注意力权重 β︿∈ [0, 1]^{H× W}, 最后拼接增强后的深浅层特征图, 得到空间注意力门输出:

$\boldsymbol{U}^{S 1}=\left(\boldsymbol{U}^{l} \cdot \alpha \cdot \widetilde{\boldsymbol{\beta}}\right) \Subset\left(\boldsymbol{U}^{h} \cdot \alpha \cdot \widehat{\boldsymbol{\beta}}\right)$

此外, 设计如图4所示的交叉注意操作, 进一步交叉相乘, 在语义式交互增强的深浅层特征中, 建立病灶信息的相互依赖关系.

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 交叉注意操作流程图Fig.4 Flowchart of cross attention operation

首先在浅层特征图、深层特征图和融合后特征图中分别利用1× 1卷积生成3个矩阵Q、K、V.然后利用K乘Q和K^T乘Q, 以K· Q+K^T· Q的相加方式进行叠加, 可以表示浅层特征和深层特征之间的相关程度.最后使用Sigmoid函数(ϕ (· ))生成空间注意权重, 对V加权并使用残差学习, 获得交叉注意操作最终输出:

U^S2=ϕ (K· Q+K^T· Q)· V+U^S1.

尽管交叉注意操作可以捕获水平方向和垂直方向的上下文信息, 在空间维度上生成传播路径, 对目标建立联系, 但单次操作生成的传播路径有限, 像素与像素周围的连接仍然稀疏, 难以获得充足的上下文信息.为此, 对交叉注意增强后的深浅特征图再进行交叉注意操作, 通过两次循环覆盖全部传播路径, 从所有像素中获取远程相互依赖关系.对U^S2使用1× 1卷积生成 Q˙、 K˙、 V˙, 然后以相同操作获得最终输出:

$\boldsymbol{U}^{S}=\phi\left(\widetilde{\boldsymbol{K}} \cdot \widetilde{\boldsymbol{Q}}+\widetilde{\boldsymbol{K}}^{\mathrm{T}} \cdot \widetilde{\boldsymbol{Q}}\right) \cdot \widetilde{\boldsymbol{V}}+\boldsymbol{U}^{S 1}$

MADenseNet有4个多分辨率空间注意力门, 深浅层特征图通道数分别为128、256、512、512, 对深浅层特征进行语义式交互增强, 建立病灶信息的相互依赖关系, 使网络精准关注病灶区域, 并减少特征提取中的噪声.

实验采用如下4个数据集.1)广州市妇幼保健中心的肺炎X光片ChestXRay2017^[19], 共1 583幅正常图像和4 273幅肺炎图像.2)文献[20]的肺炎相关X光片数据集, 共234幅正常图像和221幅新冠肺炎图像.3)文献[21]的肺炎相关X光片数据集, 共8 552幅正常图像、5 674幅肺炎图像和7 598幅新冠肺炎阴性图像.4)文献[22]的肺炎相关X光片数据集, 共6 845幅正常图像、10 192幅肺炎图像和7 660幅新冠肺炎图像.此外, 本文合并1)、3)、4)数据集上正常图像和肺炎图像, 使用较大的样本量进行进一步研究和可视化对比.

实验环境为Windows Server 2019系统, 256 GB内存, 搭载2块3 GHz的36核处理器, 并采用2块泰坦第V代显卡, 基于GPU的Pytorch框架搭建网络, 使用随机梯度下降(Stochastic Gradient Descent, SGD)优化器进行优化, 采用0.01的初始学习率和每10个周期0.9的衰减策略, 设置权重衰减值为1e^-4, 训练周期为250, 训练批处理大小为48.

根据模型预测结果分类错误个数和正确个数, 得到真正类(True Positive, TP)、假正类(False Positive, FP)、假负类(False Negative, FN)、真负类(True Negative, TN).准确率(Accuracy)为全部类预测正确的比例, 精确率(Precision)为正类且模型预测正确占所有正类的比例, 召回率(Recall)为模型预测的正类占所有正类的比例, F1分数如下:

F1=2× Precision×RecallPrecision+Recall.

ROC(Receiver Operating Characteristic)曲线是以敏感度即真正类率(True Positive Rate, TPR)为纵轴、假正类率(False Positive Rate, FPR)为横轴进行绘制.将ROC曲线下面积定义为AUC(Area Under Curve), 越靠近左上角AUC值越大, 表示模型的排序和分类性能越优.评价指标均是值越大表示模型越优.TPR值等于召回率, FPR和TNR(True Negative Rate)定义如下:

$\begin{array}{l}F P R=\frac{F P}{F P+T N}, \\ T N R=\frac{T N}{F P+T N} .\end{array}$

为了评估坐标频率注意力的有效性, 在深浅层密集连接的基础上, 与4种通道注意力机制进行对比, 结果如表1所示.

表1

Table 1

表1(Table 1)

表1 各注意力机制的指标值对比结果 Table 1 Index comparison of different attentions 注意力机制 参数量/M 准确率 召回率 AUC 深浅层密集连接 30.69 0.9453 0.9765 0.9167 +挤压激励注意力 +5.39 0.9521 0.9789 0.9325 +高效通道注意力 +1.69 0.9487 0.9765 0.9249 +高斯上下文自注意力 +9.87 0.9589 0.9813 0.9399 +坐标注意力 +4.15 0.9572 0.9836 0.9348 +坐标频率注意力 +6.83 0.9658 0.9859 0.9487

表1 各注意力机制的指标值对比结果 Table 1 Index comparison of different attentions

从表1可以看出, 高效通道注意力使用一维卷积替换挤压激励注意力中的全连接层, 参数量增加最少, 但在肺炎识别上表现略差.坐标注意力获得更高的性能提升, 在高效通道注意力基础上沿两个空间方向聚合特征, 可以较好地保留部分空间信息.相比深浅层密集连接, 高斯上下文自注意力的准确率和AUC值分别提升1.43%和2.53%, 在Transfor-mer基础上利用高斯方程计算注意权重, 学习上下文特征间的相互依赖关系, AUC值提升明显, 具有较优的肺炎识别能力.相比深浅层密集连接, 坐标频率注意力的准确率和AUC值分别提升2.17%和3.49%, 对深浅层特征提取空间x、y方向和通道的多频率分量信息, 在空间多频率分量信息中建立特征间依赖关系的同时保留精确的位置信息, 以通道间相互关系、方向和位置互补的方式增强感兴趣目标的表达, 在肺炎识别中获得最优性能和最佳鲁棒性.

为了评估MADenseNet结构的有效性, 进行5组选择, 基础模型为DenseNet121.1)网络1.缩减部分通道数.2)网络2.在部分通道数缩减的基础上进行整个网络的深浅层密集连接.3)网络3.在深浅层密集连接DenseNet121中引入坐标频率注意力.4)网络4.在网络3基础上, 对深浅层特征引入交叉注意操作.5)网络5.在网络4基础上, 在深浅层密集连接的连接处引入空间注意力门, 即MADenseNet.

最终各网络的消融实验结果如表2所示, DenseNet121、网络2和网络5的热力图结果如图5所示, 红色程度越深表示网络对这个区域的关注度越高.

表2

Table 2

表2(Table 2)

表2 5组实验消融的结果 Table 2 Results of 5 sets of ablation experiments 网络 参数量/M 训练时间/s 准确率 召回率 AUC DenseNet121 53.07 17186 0.9521 0.9813 0.9273 网络1 28.39 10167 0.9299 0.9649 0.9002 网络2 30.69 10513 0.9453 0.9765 0.9167 网络3 37.52 11324 0.9658 0.9859 0.9487 网络4 41.37 11879 0.9761 0.9906 0.9637 网络5 45.36 12198 0.9915 0.9953 0.9882

表2 5组实验消融的结果 Table 2 Results of 5 sets of ablation experiments

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 各网络的热力图Fig.5 Heat maps of different networks

由表2可见, 相比DenseNet121, 网络1的参数量下降明显, 但准确率和AUC值降低2.33%和2.71%.网络2的参数量减少42.17%, 训练时间降低40.84%, 而整体性能仅略微降低, 表明采用深浅层密集连接可大幅提高模型效率.由图5(c)可见, 网络2关注区域主要集中在胸腔内部, 较好地避免关注外部区域所导致的识别误差, 浅层定位信息与深层语义信息进行深度融合, 可获得更多图像细节信息, 进一步学习肺炎影像学特征.网络3以较少参数量获得近2%的性能提升, 表明坐标频率注意力在对比低的X光片中, 能自适应地增强包含病灶信息的通道, 提高网络表征能力.相比网络3, 网络4的准确率和AUC值分别提高1.07%和1.58%, 对病灶信息建立远程依赖关系, 可以较好识别肺炎.

相比网络4, 网络5的准确率和AUC值分别提高1.58%和2.54%, 空间注意力门对浅层特征与深层特征进行语义式交互增强, 利用浅层细节信息和深层语义信息, 可以更好地聚焦到肺炎特征.肺炎病灶特征不明显且对比度较低, 网络容易关注到其它类似肺炎的特征, 而提取较多的无用信息.由图5(d)可见, 网络关注区域更集中, 识别无错误, 可看出更多具有区分性的特征被学习, 表明语义式交互深浅层特征可以更集中和更精准地定位到病灶区域, 同时降低特征提取过程中的噪声.

相比DenseNet121, 网络5在准确率和AUC值上分别提高4.14%和6.57%, 训练时间降低29.02%, 在性能和效率上均提升明显.

本节选择如下对比网络:1)CNN网络.VGG19^[3]、ResNet101^[4]、密集挤压激励网络(Dense Squeeze-and-Excitation Network, DSENet)^[23]、REG-NETX-3.2GF^[24]、ConvNeXt-B^[25].2)Transformer网络.Swin Transformer-B^[26]、PoolFormer-B^[27].3)CNN结合Transformer网络.Conformer-B^[17]、Next-Vit-B^[28].在ChextXRay2017数据集上, 各网络的具体分类结果如表3所示.

表3

Table 3

表3(Table 3)

表3 各网络在ChestXRay2017数据集上的对比结果 Table 3 Result comparison of different networks on ChestXRay2017 dataset 网络 类型 参数量/M 训练时间/s 准确率 精确率 召回率 F1 AUC VGG19 CNN 1096.09 24194 0.9333 0.9491 0.9602 0.9546 0.9104 ResNet101 CNN 324.28 18792 0.9418 0.9559 0.9648 0.9603 0.9223 DSENet CNN 93.74 18132 0.9607 0.9612 0.9825 0.9734 0.9392 REGNETX-3.2GF CNN 72.66 17953 0.9538 0.9673 0.9696 0.9684 0.9405 ConvNeXt-B CNN 464.97 19987 0.9658 0.9744 0.9789 0.9766 0.9547 Swin Transformer-B Transformer 460.34 20746 0.9573 0.9809 0.9602 0.9704 0.9548 PoolFormer-B Transformer 389.88 19793 0.9692 0.9835 0.9742 0.9788 0.9649 Conformer-B 混合 710.11 22018 0.9709 0.9789 0.9813 0.9801 0.9622 Next-Vit-B 混合 238.18 18439 0.9726 0.9835 0.9789 0.9812 0.9673 MADenseNet CNN 45.36 12198 0.9915 0.9967 0.9953 0.9929 0.9882

表3 各网络在ChestXRay2017数据集上的对比结果 Table 3 Result comparison of different networks on ChestXRay2017 dataset

由表3可知, ResNet101通过残差连接重构学习过程和重定向网络信息流, 相比VGG19, 性能和效率得到提升.基于架构搜索的REGNETX-3.2GF以较少参数量获得更优性能.DSENet利用SE和非对称卷积改进DenseNet121, 性能获得明显提升.相比ResNet101, ConvNeXt-B使用较大的7× 7卷积核, 准确率和AUC值分别提升2.55%和3.51%.相比5个CNN网络, MADenseNet以较高计算效率获得明显的性能提升.

Swin Transformer-B获得与REGNETX-3.2GF相近的肺炎识别性能.相比Swin Transformer-B, Pool-Former-B采用更通用的模型结构, 准确率和AUC值分别提升1.24%和1.06%.相比这2个Transformer模型, MADenseNet采用近10%参数量获得较大的性能提升.Conformer-B采用双分支并行, 以交互方式融合局部特征和全局特征, 以较大的模型参数量获得较高的肺炎识别能力.工业部署场景中设计的CNN-Transformer混合架构Next-Vit-B, 以Confor-mer-B近1/3参数量获得小幅性能提升.相比Next-Vit-B, MADenseNet的参数量和AUC值分别提升1.05%和1.54%.

MADenseNet可以提取更多的有效特征, 具有最高识别率和最好特征表征能力, 对X光片肺炎样本的识别能力最优.

各网络的ROC曲线如图6所示.由图可见, MADenseNet具有明显的优势和鲁棒性.

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 各网络在ChestXRay2017数据集上的ROC曲线Fig.6 ROC curves of different networks on ChestXRay2017 dataset

各网络的PR曲线如图7所示, 图中准确率越高, 召回率越低, 越向上方凸出、包围面积就越大, 表示网络效果越优.由图可看出, MADenseNet性能明显最优, 能更好地识别肺炎.

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 各网络在ChestXRay2017数据集上的PR曲线Fig.7 PR curves of different networks on ChestXRay2017 dataset

在2.1节描述的合并数据集上, 将MADenseNet与性能较优的ConvNeXt、PoolFormer和Next-Vit进行对比, 并对比X光片上融合DenseNet和Trans-former的混合模型Hybrid Model^[14].各网络的具体分类结果如表4所示, PR曲线如图8所示.选择8例肺炎较难识别的患者, 各网络生成的热力图和分类错误结果对比如图9所示.

表4

Table 4

表4(Table 4)

表4 各网络在合并数据集上的结果对比 Table 4 Result comparison of different networks on merged dataset 网络 训练时间/s 准确率 召回率 AUC ConvNeXt 119922 0.9694 0.9699 0.9694 PoolFormer 113856 0.9807 0.9819 0.9805 Next-Vit 106321 0.9834 0.9836 0.9834 Hybrid Model 131894 0.9893 0.9901 0.9893 MADenseNet 74828 0.9946 0.9955 0.9945

表4 各网络在合并数据集上的结果对比 Table 4 Result comparison of different networks on merged dataset

图8

Fig.8

	Figure Option ViewDownloadNew Window
	图8 各网络在合并数据集上的PR曲线Fig.8 PR curves of different networks on merged dataset

图9

Fig.9

	Figure Option ViewDownloadNew Window
	图9 各网络在8例图像上的热力图Fig.9 Heat maps of different networks for 8 example images

由表4、图8和图9可以看出, MADenseNet计算效率和识别性能最佳.

从图9可看出, ConvNeXt在图像II、III、IV、VI、VII上判错, PoolFormer在图像I、II、V、VI上判错.Hybrid在图像IV、VII上判错, MADenseNet在图像VII上判错.相比PoolFormer, ConvNeXt关注区域相对更大, 虽然关注区域形状更贴合胸腔轮廓, 但难以捕获可区分特征, 说明识别区域大但识别能力不足.PoolFormer识别肺炎相关特征和背景的能力不强, 会出现关注到胸腔外部的情况(见图像I), 且关注区域较易出现规则的矩形形状(见图像V、VI).Hybrid Model利用全局信息和局部信息学习更丰富特征, 总体识别准确率更高, 网络也能更好地关注胸腔区域, 但还是会出现关注无病灶区域和肺炎病灶难以识别(见图像IV)的问题.MADenseNet在多分辨率深浅层信息中建立病灶信息的相互依赖关系, 具有最佳的肺炎识别能力.

为了验证MADenseNet的鲁棒性和泛化能力, 在2.1描述的第2个、第3个和第4个公开的肺炎相关X光片数据集上进行对比实验, 选择如下对比网络:VGG19^[3]、COVID-CAPS^[6]、Crawling+GSEN(Gray-Scale Spatial Exploitation Net)^[20]、ViT-B32^[21]、DenseNet and DLMNN(Deep Learning Modified Neural Network)^[22]、E-DiCoNet^[29]、CoroNet^[30].

各网络在3个公开数据集上的对比结果如表4~表6所示.由表可见, MADenseNet均取得较优性能.

表5

Table 5

表5(Table 5)

表5 各网络在第1个公开数据集上的对比结果 Table 5 Result comparison of different networks on public dataset 1) 网络 敏感度 特异度 准确率 精确率 VGG 0.8296 0.9396 0.9233 - COVID-CAPS 0.9000 0.9580 0.9570 - E-DiCoNet 0.9815 0.9148 0.9407 0.9815 Crawling+GSEN 0.9340 0.9808 0.9560 0.9273 MADenseNet 0.9836 1.0000 0.9912 0.9811

表5 各网络在第1个公开数据集上的对比结果 Table 5 Result comparison of different networks on public dataset 1)

表6

Table 6

表6(Table 6)

表6 各网络在第2个公开数据集上的对比结果 Table 6 Result comparison of different networks on public dataset 2) 网络 敏感度 特异度 准确率 AUC DenseNet121 0.9100 0.8700 0.8813 0.9000 MobileNet 0.9200 0.9400 0.9316 0.9500 COVID-CAPS 0.9000 0.9500 0.9500 0.9700 ViT-B32 0.9600 0.9600 0.9600 0.9910 MADenseNet 0.9835 0.9864 0.9813 0.9947

表6 各网络在第2个公开数据集上的对比结果 Table 6 Result comparison of different networks on public dataset 2)

表7

Table 7

表7(Table 7)

表7 各网络在第3个公开数据集上的对比结果 Table 7 Result comparison of different networks on public dataset 3) 网络 准确率 AUC CoroNet 0.9500 - DenseNet and DLMNN 0.9916 0.9880 MADenseNet 0.9957 0.9913

表7 各网络在第3个公开数据集上的对比结果 Table 7 Result comparison of different networks on public dataset 3)