假定一组含有C个通道, 大小为H× W的特征可表示为一个张量X∈ R^{C× H× W}, 三重交互关注由3个平行的分支组成, 通过转置的方式分别捕捉(H, W)、(C, W)、(H, C)维度之间的依赖关系, 如图2所示.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 三重交互关注模块示意图Fig.2 Illustration of triplet interactive attention module

图2中的第1个分支用于捕捉空间维度的重要信息, 可直接对输入特征进行关注操作.首先, 对输入特征X进行降维, 减少参数量, 这里采用1× 1卷积层实现特征的加权融合, 通过学习得到的权重使网络尽可能保留完整的信息.再由卷积核大小为7× 7及输出通道数为1的卷积层生成关注特征.采用sigmoid函数将其归一化至[0, 1], 得到(H, W)维度的关注权重矩阵:

α =δ (W²* σ (W¹* X)),

其中, W¹表示1× 1的卷积, W²表示7× 7的卷积, * 表示卷积操作, σ (· )表示ReLU函数, δ (· )表示sigmoid函数.将X与所得权重矩阵α 相乘可得到空间维度的关注特征:

$\tilde{X}=X\otimes \alpha \in {{R}^{C\times H\times W}}$

其中$\otimes $表示哈达玛积.

第2个分支需要先对输入特征X进行转置, 得到X₁∈ R^{H× C× W}.再对转置特征X₁采用1× 1卷积融合特征, 采用7× 7卷积及sigmoid函数生成关注权重矩阵:

${{\alpha }_{1}}=\delta (W_{1}^{2}* \sigma (W_{1}^{1}* {{X}_{1}}))\in {{R}^{1\times C\times W}}$,

其中, $W_{1}^{1}$表示1× 1的卷积核, $W_{1}^{2}$表示7× 7的卷积核.最后, 将X₁与所得权重矩阵α ₁进行哈达玛积, 并转置(Trans)回原始的输入维度, 即可得到(C, W)跨维度关注的结果:

${{\tilde{X}}_{1}}=Trans({{X}_{1}}\otimes {{\alpha }_{1}})\in {{R}^{C}}^{\times H\times W}$.

从而实现通道维度和空间维度的交互关注.

类似地, 第3个分支将输入特征X转置得到X₂∈ R^{W× H× C}, 并对转置特征进行相似操作, 得到(H, C)维度的关注权重矩阵:

${{\alpha }_{2}}=\delta (W_{2}^{2}* \sigma (W_{2}^{1}* {{X}_{2}}))\in {{R}^{1\times C\times W}}$,

其中, $W_{2}^{1}$表示1× 1的卷积核, $W_{2}^{2}$表示7× 7的卷积核.将X₂与关注权重矩阵α ₂相乘, 并转置回输入维度, 得到(H, C)跨维度关注的结果:

${{\tilde{X}}_{2}}=Trans({{X}_{2}}\otimes {{\alpha }_{2}})\in {{R}^{C}}^{\times H\times W}$.

最后, 有效融合3个分支生成的关注特征, 得到最终的关注特征:

${{\tilde{X}}_{TIA}}=f(\tilde{X}, {{\tilde{X}}_{1}}, {{\tilde{X}}_{2}})$,

其中f(· )表示融合算子.

本文采用最大化、拼接、相乘和平均4种方式实现关注特征的融合.

1)最大化.取三组关注特征对应通道对应像素位置的最大值:

${{\tilde{X}}^{m}}_{TIA}=\max (\tilde{X}, {{\tilde{X}}_{1}}, {{\tilde{X}}_{2}})$.

2)拼接.按通道维度拼接三组关注特征, 通过1× 1卷积减少通道数:

$\tilde{X}_{TIA}^{c}=W*\left[ \begin{matrix} {\tilde{X}} & {{{\tilde{X}}}_{1}} & {{{\tilde{X}}}_{2}} \\ \end{matrix} \right]$.

3)相乘.将三组关注特征的对应元素相乘:

${{\tilde{X}}^{t}}_{TIA}=\tilde{X}\otimes {{\tilde{X}}_{1}}\otimes {{\tilde{X}}_{2}}$.

4)平均.将3组关注特征的对应元素取平均:

${{\tilde{X}}^{a}}_{TIA}=\frac{1}{3}(\tilde{X}+{{\tilde{X}}_{1}}+{{\tilde{X}}_{2}})$..

为了充分提取具有更好表示能力的特征, 本文构建特征提取块, 即在2个3× 3卷积层后加上三重交互关注模块.另外, 为了避免在关注过程中丢失重要信息, 采用跳跃连接融合关注前的特征与关注特征, 采用如图3所示的通道维度拼接及3× 3卷积的方式进行操作.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 特征提取块结构Fig.3 Structure of feature extraction module

为了进一步提升网络的学习能力, 本文采用深度监督策略对解码器部分的隐藏层实行监督, 加强早期层的训练, 同时可缓解梯度消失的问题.深度监督的操作流程如图1所示.

首先, 将解码器中每个阶段的最后一个卷积层分别连接到上采样操作, 这里采用双线性插值将特征图恢复至输入图像大小.需要注意的是, 解码器最末阶段的输出特征已具有与输入图像相同的分辨率, 故此阶段不需要接上采样.

然后, 对这4个阶段的特征图分别使用卷积核大小为1× 1、输出通道数为1的卷积层, 采用sigmoid函数归一化至[0, 1], 可得到4个分割图S₁、S₂、S₃、S₄.特别地, 最末阶段得到的分割图作为整个网络的最终输出.

最后, 将这4个预测的分割图均与分割标签图计算损失, 即得到4个损失L₁、L₂、L₃、L₄, 并在训练阶段对其进行优化.

本文引入在显著性目标检测领域提出的像素位置感知损失^[23]:

$L=L_{\text{BCE}}^{w}+L_{\text{IoU}}^{w}$ (1)

其中, $L_{\text{BCE}}^{w}$表示用于局部约束的加权交叉熵损失, $L_{\text{IoU}}^{w}$表示用于全局约束的加权交并比损失.

像素位置感知损失为每个像素分配不同的权重, 根据中心像素与其周围环境之间的差异计算该权重, 因此, 难分像素会得到更多关注.由于$L_{\text{IoU}}^{w}$旨在优化全局结构, 不受类不平衡的影响, 因此, 该损失也可在一定程度上缓解类不平衡对网络的负面作用.

本文对解码器各阶段输出的分割图S₁、S₂、S₃、S₄进行深度监督, 结合式(1), 该网络的总损失为

${{L}_{total}}=\overset{4}{\mathop{\underset{k=1}{\mathop{\sum }}\, }}\, L(G, {{S}_{k}})$,

其中G表示分割标签图.

本文在BUS-B^[24], CVC-ClinicDB^[25]、ISBI-2014^[26]这3个不平衡的医学图像数据集上进行实验, 它们分别是乳腺超声图像、结肠镜图像和宫颈细胞显微镜图像.实验均在相同环境(NVIDIA RTX 2080Ti GPU)上, 采用Pytorch深度学习框架.由于GPU内存的限制, 所有输入图像大小统一调整为256× 256, 采用翻转、旋转、缩放、直方图匹配等方式进行数据增强.实验采用自适应矩估计(Adaptive Moment, Ad-am)算法训练100轮, 初始学习率为0.000 1, 以每30轮降低20%进行衰退.使用Dice相似性系数(DSC)和交并比(IoU)作为分割性能的评价指标.

在BUS-B数据集上, 讨论三重交互关注模块(TIA)的融合策略和使用位置, 及特征提取块的跳跃连接方式, 并在不同设置下进行消融实验, 验证各模块的有效性.

首先讨论三重交互关注模块的融合方式.采用最大化、拼接、相乘、平均4种方式, 实验结果如表1所示.由表可发现, 效果相差不大, 但取平均的方式分割精度相对较高, 因此采用平均的策略融合3个关注分支.

表1

Table 1

表1(Table 1)

表1 不同融合策略的效果对比 Table 1 Result comparison of different fusion strategies % 融合策略 DSC IoU 最大化 88.11± 0.85 80.22± 0.90 拼接 88.16± 1.04 80.29± 1.00 相乘 88.74± 0.92 80.76± 1.22 平均 89.09± 0.98 81.28± 1.24

表1 不同融合策略的效果对比 Table 1 Result comparison of different fusion strategies %

在特征提取块中, 关注前的特征通过跳跃连接添加到关注特征中, 常用的跳跃连接方式一般是相加和拼接, 但直接拼接会使通道数加倍, 导致后续的卷积层需处理更多的通道特征, 增加模型的复杂性.因此, 本文在拼接操作后增加一个卷积层, 减少通道数.为了使参数量尽可能少, 这里采用1× 1和3× 3两种卷积核进行实验.

不同跳跃连接方式的效果对比如表2所示.由表可见, 直接相加的效果最差, DSC值仅为85.55%, IoU值仅为77.35%.拼接加卷积的方式更有效, 特别地, 拼接与3× 3卷积的效果最优, 因此, 本文所有特征提取块的跳跃连接均采用此方式进行.

表2

Table 2

表2(Table 2)

表2 不同跳跃连接方式的效果对比 Table 2 Result comparison of different skip connection methods % 跳跃连接方式 DSC IoU 相加 85.55± 1.22 77.35± 1.41 拼接+1× 1卷积 87.82± 0.76 79.58± 0.90 拼接+3× 3卷积 89.09± 0.98 81.28± 1.24

表2 不同跳跃连接方式的效果对比 Table 2 Result comparison of different skip connection methods %

事实上, 需要重点考虑三重交互关注模块(TIA)添加到网络中的最佳位置.本文的主干网络由编码器、瓶颈层和解码器组成, 对这3部分是否添加关注模块分别进行讨论, 若不使用关注模块, 其特征提取块仅为2个3× 3卷积层.具体结果如图4所示.图中的e表示在编码器添加TIA, b表示在瓶颈层添加TIA, d表示在解码器添加TIA.

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 在不同位置使用TIA的结果图Fig.4 Results of triple interactive attention module in different positions

由图4可清楚观察到, 在网络的编码器、瓶颈层和解码器3部分都使用TIA的效果最优, 用在其中两部分的效果优于只用在一个部分, 这也表明TIA对特征提取有积极作用.另外还发现, 将TIA用在瓶颈层的效果优于单独用在编码器或解码器上.同样地, 若用在其中两个部分, 包含瓶颈层的效果也优于只用在编码器和解码器上.因此, 本文网络在编码器、瓶颈层和解码器都添加TIA, 即采用1.2节中提出的特征提取块.

为了验证TIA和深度监督(DS)对类不平衡的医学图像分割的有效性, 进行消融实验, 结果如图5所示.

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 各数据集上的消融实验结果Fig.5 Results of ablation experiment on different datasets

由图5可知, 在3个数据集上, TIA和DS都有积极作用.这是由于TIA有效突出有意义的特征, 并抑制不相关的背景区域, 使网络能更清楚地识别到目标位置, 实现更精准的分割.而DS机制为隐藏层提供直接监督, 可提高隐藏层学习的直接性和透明度, 提升网络的学习能力.

为了验证三重交互关注网络(TIAN)的有效性, 从定量评估的角度, 与如下算法进行对比:U-Net^[3]、MultiResUNet^[4]、UNet++^[7]、残差U型网络2(Resi-dual UNet++, ResUNet++)^[27]、改进的注意力U型网络(Improved Attention UNet, IAUNet)^[28]、双重U型网络(Double U-Net)^[29]、双重上下文关系网络(Du-plex Contextual Relation Network, DCRNet)^[30].为了公平起见, DCRNet未使用在ImageNet数据集上经过预训练的ResNet34网络参数进行初始化.

各算法在3个数据集上的DSC和IoU值对比如表3所示.由表可见, TIAN在3个数据集上的性能都最优, 表明TIAN在类不平衡的医学图像上可得到更准确的分割结果.特别地, TIAN对乳腺超声图像分割的提升效果最优.在BUS-B数据集上的图像分割中, TIAN的DSC和IoU值分别提高超过2.54%和3.18%.原因可能是由于乳腺超声图像本身的模糊度较高, 分割难度较大, 而本文的TIA可准确定位病灶区域, 有效避免将正常组织误判为病变, 提升分割精度.

表3

Table 3

表3(Table 3)

表3 各算法在3个数据集上的定量结果对比 Table 3 Quantitative comparison of different algorithms on 3 datasets % 算法 BUS-B CVC-ClinicDB ISBI-2014 DSC IoU DSC IoU DSC IoU U-Net 82.05± 1.32 74.21± 1.38 90.26± 0.64 84.77± 0.43 91.84± 0.74 85.07± 1.19 MultiResUNet 78.58± 0.72 70.62± 0.59 87.59± 0.38 81.78± 0.54 89.35± 0.33 80.84± 0.54 UNet++ 82.67± 0.79 74.84± 0.35 91.18± 0.51 85.66± 0.56 92.60± 0.34 86.31± 0.56 ResUNet++ 77.45± 1.47 69.48± 1.66 83.77± 0.72 78.08± 1.05 91.06± 0.45 83.73± 0.69 IAUNet 82.21± 0.59 73.72± 0.75 89.71± 0.44 83.77± 0.47 90.57± 0.37 82.95± 0.61 DoubleU-Net 85.43± 0.90 76.84± 1.09 89.09± 0.51 83.67± 0.60 92.17± 0.29 85.53± 0.50 DCRNet 86.55± 1.35 78.10± 1.37 88.36± 0.82 82.83± 0.63 91.24± 0.18 84.06± 0.29 TIAN 89.09± 0.98 81.28± 1.24 91.20± 0.54 85.80± 0.55 92.99± 0.17 86.97± 0.28

表3 各算法在3个数据集上的定量结果对比 Table 3 Quantitative comparison of different algorithms on 3 datasets %

各算法在3个数据集上的视觉结果对比如图6所示.在图6中, 左起第1幅和第2幅图像取自BUS-B数据集, 左起第3幅和第4幅图像取自CVC-Clinic DB数据集, 左起第5幅和第6幅图像取自ISBI-2014数据集.

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 各算法的视觉效果对比Fig.6 Visual effect comparison of different algorithms

由图6可见, TIAN可更准确地定位目标, 而其它算法不能完全检测到病灶或错误地将正常组织识别为病变.另外, TIAN能捕捉更完整的轮廓信息, 分割更准确的边界.这也证实TIA的有效性, 既能充分突出重要特征, 又能抑制无用的特征.