由于皮肤病变形态复杂多样, 大小从微小色素点到弥漫性斑块不等, 与周围正常皮肤在颜色、纹理上相似度较高, 且皮肤病变区域与正常皮肤之间过渡较平缓, 缺乏清晰的边界界定, 导致现有网络提取病变特征不充分、分割结果不精准^[22].为此, 本文提出基于动态代理瓶颈与多尺度空洞注意力的Swin Transformer皮肤病分割网络(STNDA), 总体网络结构如图1所示.

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 STNDA总体网络结构Fig.1 Overall network architecture of STNDA

首先, 构建基于Swin Transformer V2^[21]的骨干网络, 编码器中加入动态位置偏置生成模块与多头自注意力前置(Shifted Window Multi-head Self-Attention, SW-MSA)的Swin Transformer V2模块, 解码器中引入窗口多头自注意力 (Window Multi-head Self-Attention, W-MSA) 与窗口偏移多头自注意力结合的Swin Transformer^[23]模块, 通过窗口自注意力机制提高网络对皮肤病变特征的提取能力, 同时增强对多形态皮肤病变的语义特征提取能力.然后, 设计动态代理瓶颈(DAB)模块, 根据输入特征的复杂程度自适应生成代理向量a, 可聚合所有键矩阵和值矩阵的信息, 生成全局特征向量, 从而提取皮肤病图像全局上下文信息, 避免因皮肤病变与周围组织相似性较高导致的皮肤病变分割偏差.最后, 在跳跃连接处设计多尺度空洞注意力(MSDA) 融合模块, 运用多分支并行架构提取皮肤病变多尺度特征, 捕捉关键上下文信息并增强对边缘的感知能力.

皮肤病具有复杂多样的形态特点, 且病变区域会向周围正常皮肤扩散和浸润, 使病变边界模糊不清, 与正常皮肤难以区分, 导致传统分割网络分割精度受限.U-Net因其对称的编码器-解码器结构、跳跃连接及对多尺度特征的融合能力, 在皮肤病分割任务中表现出强大的适应性.在基于U-Net的改进网络中, 直接引入Swin Transformer中网络的深度和跨层连接, 信息在编码器和解码器之间传递不足, 特别是对于皮肤病变图像等复杂场景, 更容易出现信息丢失及网络不断下采样造成上下文信息联系匮乏等问题^[24].

针对普通卷积全局信息捕捉能力不足、Swin Transformer归一化层前置, 直接优化位置偏置矩阵, 导致深层激活值差异过大, 在皮肤病分割时分割效果不稳定, 对皮肤病边缘细节的分割准确率较低.本文在编码器模块中采用Swin Transformer V2模块, 通过多阶段架构与模块堆叠操作, 避免传统Swin Transformer的4阶段架构与6个连续堆叠块因使网络过深导致的特征提取不充分的问题.因此, 本节构建编码器模块与解码器模块作为STNDA的主干网络, 其中基于Swin Transformer V2的编码器模块结构如图2所示.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 基于Swin Transformer V2的编码器模块结构图Fig.2 Encoder module based on Swin Transformer V2

如图2所示, 编码器模块的阶段1包含一个线性嵌入层与两个连续堆叠的Swin Transformer V2模块, 阶段2和阶段3包含一个进行下采样操作的图像块合并层与两个连续堆叠的Swin Transformer V2模块.在阶段1前存在一个图像块分割层, 图像块分割操作将输入图像分割成多个不重叠的小块(Patch).线性嵌入是线性变换操作.图2中使用4× 4的块大小, 因此每块的特征维数为4× 4× 3=48, 输入图像经过图像块分割操作, 再经过线性变化操作进行特征映射.将特征映射后的图像输入具有自注意力计算功能的Swin Transformer V2模块.阶段2和阶段3在输入Swin Transformer V2模块前需要通过图像块合并层进行下采样操作, 产生分层表示.

Swin Transformer V2模块包含两个部分:第一部分由一个窗口多头自注意力、两个归一化层与一个多层感知器组成; 第二部分由一个窗口偏移的多头自注意力、两个归一化层与一个多层感知器组成.

窗口多头自注意力具体公式如下:

$\text { Attention }(\boldsymbol{Q}, \boldsymbol{K}, \boldsymbol{V})=\operatorname{softmax}\left(\frac{\boldsymbol{Q} \boldsymbol{K}^{\mathrm{T}}}{\sqrt{d}}\right) \boldsymbol{V} \text {, }$

其中, Q表示查询矩阵, K表示键矩阵, V表示值矩阵, softmax(·)表示归一化操作, d表示矩阵维度.

Yi等^[25]指出:由于解码器主要关注空间位置重建, 而非复杂的特征交互, Swin Transformer V2模块参数冗余会导致网络在测试集上泛化能力下降.为此, 本节构建解码器模块作为STNDA的解码器, 基于Swin Transformer的解码器模块结构如图3所示.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 基于Swin Transformer的解码器模块结构图Fig.3 Decoder module based on Swin Transformer

由图3可知, 解码器与编码器对应, 包含3个上采样阶段, 每个阶段包含一个图像块扩展层与两个连续堆叠的Swin Transformer模块.图像块扩展层为上采样操作, 实现特征图的空间上采样, 将分辨率调整为原来的2倍, 通道数降为原来的1/2.在阶段1后将特征图由 H16× W16× 4C变为 H8× W8× 2C, 在阶段2后特征图变为 H4× W4× C, 在阶段3后变为H× W× C.3个阶段中的Swin Transformer模块通过W-MSA和SW-MSA增强网络多尺度特征表达与特征交互能力.

Swin Transformer模块包含两个部分:第一部分由一个窗口多头自注意力、两个归一化层与一个多层感知器组成; 第二部分由一个窗口偏移的多头自注意力、两个归一化层与一个多层感知器组成.

Swin Transformer模块采用归一化层前置与直接优化位置偏置矩阵, 则Swin Transformer模块的窗口多头自注意力公式如下:

$\text { Attention }(\boldsymbol{Q}, \boldsymbol{K}, \boldsymbol{V})=\operatorname{softmax}\left(\frac{\boldsymbol{Q} \boldsymbol{K}^{\mathrm{T}}}{\sqrt{d}}+\boldsymbol{B}\right) \boldsymbol{V} \text {, }$

其中B表示相对位置偏置矩阵.

在皮肤病分割中, 低层次特征包含丰富的边缘、纹理等细节信息, 对目标位置的描述精确, 但语义信息较少^[26].高层次特征具有较强的语义信息, 但分辨率较低, 几何细节信息表征能力较弱, 目标位置相对粗略.结合不同尺度的特征可增强网络对早期皮肤病变皮损的细微特征提取能力和模糊边界的分割能力, 提升分割精度.但是, 目前网络仍无法充分将两者互补, 导致细节与语义信息不匹配^[27].因此, 本节在瓶颈层引入动态代理瓶颈(DAB)模块.DAB模块通过动态代理生成(DAG)模块生成代理向量a, 结合Softmax注意力与Linear注意力, 既保留Softmax注意力的全局感知能力, 又降低整体计算复杂度, 将低层次病理边缘细节特征与高层次位置信息互补, 解决网络在高相似度皮肤组织干扰下皮肤病变分割偏差的问题.DAB模块的具体结构如图4所示.

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 DAB模块结构图Fig.4 Architecture of DAB module

由图4可知, 在DAB模块中, 首先, 将查询矩阵Q经过DAG模块生成代理向量:

a=Encoder(AdaptivePooling(Q)),

其中, Q表示输入的查询矩阵, Encoder(·)表示编码器.

将a与键矩阵K和值矩阵V进行Softmax注意力计算, 代理向量a聚合所有键矩阵和值矩阵的信息, 生成代理特征:

A=WV,

其中, V表示值矩阵,

W=Softmax((aK^T)· scale),

表示注意力权重, K表示键矩阵, scale表示缩放因子.

A具有皮肤病图像全局上下文信息.然后, 将A作为V, a作为K与Q进行二次Softmax注意力计算, 使网络可结合皮肤病局部特征与病变全局信息.二次Softmax注意力计算后的增强特征为:

A^* =GA,

其中,

G=Softmax((Qa^T)· scale),

表示代理权重.

上述基于代理向量进行注意力计算以融合皮肤病变图像局部特征与全局特征时, 需要提取皮肤病变图像的像素或特征点之间的空间关系, 位置偏置将这些空间关系编码到网络中, 增强网络注意力计算.然而, 传统的位置偏置是通过插值从预设的参数中得到, 无法根据输入数据的动态变化进行调整^[28].皮肤病变通常边界模糊、对比度较低, 导致网络在皮肤病分割时准确率受限.

为此, 本节提出DAG模块, 使位置偏置具备动态适应能力, 能根据输入特征的复杂程度自适应调整代理标记内容.DAG模块由一个自适应池化层和两个卷积层组成, 结构如图4所示.第1个卷积层为深度可分离卷积层, 在每个输入通道上独立提取特征, 保证特征间的独立性; 第2个卷积层是标准的1× 1卷积, 调整特征维度.批量归一化和ReLU激活函数减少网络对初始化权重和学习率的敏感性, 防止过拟合, 增强网络的泛化能力和非线性表达能力.

CNN的最大池化操作尽管具有平移不变性, 但仍会出现特征图的尺寸逐渐减小的情况^[29].空洞卷积可扩大网络感受野, 但相同大小的空洞率会导致特征图出现网格效应^[25].由于皮肤病形态多样且边界模糊, 若其皮肤病变边缘经过多次缩小会导致边缘细节丢失, 很难准确分割.卷积块注意力模块(Convolutional Block Attention Module, CBAM)通过融合通道注意力与空间注意力, 可聚焦病变边缘模糊区域, 采用不同扩张率的空洞卷积与CBAM融合, 可解决特征图出现的网格效应的问题, 增强对病变边缘的感知能力.因此, 本文设计将不同扩张率的空洞卷积与CBAM融合的多分支并行的多尺度空洞注意力(MSDA)融合模块, 具体结构如图6所示.

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 MSDA融合模块结构图Fig.5 Architecture of MSDA fusion module

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 各方法在ISIC2017数据集上的分割效果Fig.6 Segmentation results of different methods on ISIC2017 dataset

在MSDA融合模块中, 输入特征经过3× 3卷积层后分为3个分支, 3个分支通过感受野的阶梯式扩大, 实现多尺度特征提取.第1个分支经过扩张率为1的3× 3卷积, 将输入特征的通道数降至1/4.第2个分支由扩张率分别为1和2的3× 3卷积串联而成, 同样将输入特征的通道数降至1/4.第3个分支由扩张率分别为1、2和4的3× 3卷积层串联而成, 将输入特征的通道数降至原始通道数的1/2.通过分支内扩张率不同的卷积串联和分支间特征互补, 实现多层次特征提取, 从低级到高级逐步提取语义信息.这3个分支都经过CBAM模块进行通道注意力和空间注意力加权, 增强皮肤病变特征的表达能力, 减少边界模糊的干扰.同时, 这3个分支的输出与经过1× 1卷积的残差连接进行拼接, 保留原始特征的信息.

MSDA融合模块使网络可以扩大感受野并捕获多尺度特征, 在皮肤病分割时充分提取病变边缘细节特征和病变全局特征, 避免分割边界模糊、不同病变大小及形态差异的影响.

空洞卷积通过在卷积核中插入空洞以扩大感受野, 然而, 当网络中连续使用相同大小的扩张率时, 会破坏特征图的空间连续性.因此, 本节采用1、2和4的梯度扩张率构建空洞卷积, 扩张卷积核和感受野的大小.扩张后卷积核大小为:

R=k+(k-1)(t-1),

其中, k表示卷积核大小, t表示扩张率.扩张卷积后第m层感受野大小为:

D_m=D_m-1+[(R-1) ∏i=1m-1S_i],

其中, Dm-1表示第m-1层感受野的大小, S_i表示第i层步幅大小.

MSDA融合模块旨在通过融合不同感受野下的特征图信息, 增强网络的表征能力.假设模块的输入特征图x∈ R^{H× W× C}, 输出特征图y∈ R^{H× W× C}, x₁、x₂、x₃分别表示3条分支路径通过CBAM模块之前的特征图, g_n(·)表示扩张率为n的3× 3 卷积层.则x₁、x₂、x₃特征公式如下:

$\begin{array}{l} \boldsymbol{x}_{1}=g_{1}(\boldsymbol{x}), \\ \boldsymbol{x}_{2}=g_{2}\left(g_{1}(\boldsymbol{x})\right), \\ \boldsymbol{x}_{3}=g_{4}\left(g_{2}\left(g_{1}(\boldsymbol{x})\right)\right) . \end{array}$

这3个分支路径的特征图分别经过CBAM模块进行通道注意力和空间注意力计算, 则通道注意力输出特征为:

F'=M_C(x_i)⊗ x_i,

空间注意力输出特征为:

F″=M_S(F')⊗ F',

其中, x_i表示第i个分支的特征图, M_C(·)表示基于通道的注意力, M_S(·)表示基于空间的注意力, ⊗ 表示逐元素相乘.

拼接3条路径的输出, 融合不同感受野的多尺度特征图, 最终输出特征为:

y=Concat(Conv_{1× 1}(Concat(F″₁, F″₂, F″₃)), Conv_{1× 1}(x)),

其中, Concat(·)表示通道方向上的级联操作, Conv_{1× 1}(·)表示1× 1卷积, F″_n(n=1, 2, 3)表示第n个分支的输出特征.

为了评估STNDA的有效性, 选取ISIC(Interna-tional Skin Imaging Collaboration)发布的ISIC2017^[30]、PH2^[31]、ISIC2018^[32]这3个公开可用的数据集.ISIC2017数据集包含3种皮肤疾病:黑色素瘤、脂溢性角化病和良性痣, 共2 750幅图像, 其中训练集2 000幅图像, 验证集150幅图像, 测试集600幅图像.整个样本集上每个样本大小为576× 767, 通过预处理将图像大小调整为256× 256.PH2数据集作为ISIC2017数据集的附加测试集, 包含200幅图像, 不参与网络训练过程.ISIC2018数据集包含7类皮肤疾病:光化性角化病、基底细胞癌、良性角化病、皮肤纤维瘤、黑色素瘤、黑色素细胞性痣和血管性皮肤病变, 训练集2 594幅图像, 验证集100幅图像, 测试集1 000幅图像.对3个数据集上的训练集进行翻转、调整对比度和亮度操作以增强数据.

在Ubuntu22.04.3 LTS操作系统上进行实验, CPU为13th Gen Intel^® Core^TM i9-13900K, GPU为NVIDIA GeForce RTX 4090, 内存为16 GB RAM.深度学习框架为PyTorch, 编程语言为Python 3.10.0.为了增强网络泛化能力, 在ISIC2017、ISIC2018数据集的训练集上进行数据增强, 包括平移± 25、缩放比例± 20%、旋转± 20°、50%概率执行水平翻转.3个数据集的输入图像尺寸标准化为256× 256.使用Adam(Adaptive Moment Estimation)优化器, 学习率设为0.01, 训练最大迭代次数设为100.

为了评估网络病灶分割性能, 依据文献[19], 选用4个定量评价指标:精确率(Precision)、召回率(Recall)、交并比(Intersection over Union, IoU)和F1分数(F1-Score, F1).各指标公式如下:

precision= TPTP+FP,

Recall= TPTP+FN,

IoU= TPTP+FN+FP,

F1=2(precision·Recallprecision+Recall).

其中:TP表示真阳性, 代表病变区域内正确分割的像素数; FP表示假阳性, 代表病变区域内被错误分割的像素数; FN表示假阴性, 代表病变区域外被错误分割的像素数.

为了验证STNDA的性能, 选用如下6种现有主流皮肤病变分割网络作为对比网络:U-Net、MHor-UNet^[14]、TrUNet^[15]、PSP Net (Pyramid Scene Par-sing Network)^[33]、DeepLabV3+^[34]、HRNet (High-Resolution Net)^[35].

各网络在ISIC2017、PH2数据集上的对比结果如表1所示, 表中黑体数字表示最优值.PH2数据集作为ISIC2017数据集的附加测试集, 测试网络泛化能力, 不参与网络训练过程.

表1

Table 1

表1(Table 1)

表1 各网络在ISIC2017、PH2数据集上的性能对比 Table 1 Performance comparison of different networks on ISIC2017 and PH2 datasets % 网络 ISIC2017 PH2 精确率 召回率 IoU F1 精确率 召回率 IoU F1 U-Net 91.45 78.04 71.98 84.21 87.47 87.16 76.86 87.31 PSP Net 92.36 75.33 69.12 82.98 85.43 96.74 82.54 90.73 DeepLabV3+ 93.16 80.15 74.29 86.17 82.70 92.60 76.32 87.37 HRNet 90.57 80.51 72.77 85.24 85.25 96.76 82.36 90.64 TrUNet 90.88 88.88 80.27 88.97 84.97 98.81 83.98 91.37 MHorUNet 90.44 76.13 70.46 82.67 86.71 89.32 77.74 88.00 STNDA 93.55 89.77 81.49 91.62 88.61 93.77 84.61 91.12

表1 各网络在ISIC2017、PH2数据集上的性能对比 Table 1 Performance comparison of different networks on ISIC2017 and PH2 datasets %

由表1可知, 在ISIC2017数据集上STNDA的4个指标值均达到最优.相比次优的DeepLabV3+, STNDA的精确率提升0.39%; 相比次优的TrUNet, STNDA的召回率提升0.89%, IoU值提升1.22%, F1提升2.65%.由此可见, STNDA引入滑动窗口多头自注意力机制与动态瓶颈, 有效解决针对皮肤病变特征提取不充分以及模型分割精度较低的问题, 能精准定位皮肤病变的位置和边界.

在PH2数据集上:相比次优的U-Net, STNDA的精确率提升1.14%; 相比次优的TrUNet, STNDA的IoU值提升0.63%.STNDA的F1值为91.12%, 这里的F1指标为精确率与召回率的综合评价, 虽然STNDA的召回率为93.77%, 与最优的TrUNet相差5.04%, 但高于U-Net、Deeplabv3+和MHorUNet, 由此得出STNDA仍存在病变整体形态与局部特征结合不充分的问题.STNDA在F1指标上为次优, F1指标受召回率的影响, 相比表现最优的TrUNet, STNDA的F1值仅相差0.25%.综合来说, STNDA虽然存在对部分皮肤病变漏检的问题, 但在多形态皮肤病变下能充分提取病变特征, 识别皮肤病变.

为了直观对比不同网络的分割效果, 将各网络在ISIC2017数据集上的分割结果进行可视化, 结果如图6所示, 其中PH2数据集作为独立的外部测试集, 仅通过定量指标验证网络泛化性.

由图6可知, STNDA在5个不同形态病变图像上能准确识别并分割皮肤病变, 分割边界清晰、完整, 而对比网络均存在边缘细节分割不精准的问题.在第1幅图像中, STNDA能精准分割病变轮廓中的不规则部分, 而其它网络分割结果边缘与标签过于平滑.由此可看出, STNDA使用基于Swin Transfor-mer V2模块的编码器捕捉多形态下皮肤病变的语义特征, 并通过基于多分支并行的MSDA融合模块捕捉图像的多尺度信息, 增强网络对边缘的感知能力.第1幅图像、第4幅图像和第5幅图像中皮肤病变与周围组织相似度较高, 其它网络分割时均存在病变区域与正常皮肤间边界界定不精准的问题, 导致分割定位偏差, 并存在将周围正常皮肤误检、使分割区域扩大的问题.STNDA通过DAB模块自适应调整局部感受野的关注焦点, 在高相似度皮肤组织干扰下完成皮肤病变分割的精准定位.因此, STNDA能以较高的精度分割皮肤病变边缘区域, 实现精确的病变定位和病变边界分割, 分割结果更接近真实皮肤病变区域.

STNDA在ISIC2017、PH2数据集上取得的良好分割效果表明, 基于CNN和Transformer结合的STNDA可充分发挥两者优势, 有效提取皮肤病变的局部细节特征, 并准确定位皮肤病变位置, 实现准确分割.

为了进一步测试STNDA的分割性能, 在ISIC-2018数据集上进行对比实验, 结果如表2所示, 表中黑体数字表示最优值.

表2

Table 2

表2(Table 2)

表2 各网络在ISIC2018数据集上的性能对比 Table 2 Performance comparison of different networks on ISIC2018 dataset % 网络 精确率 召回率 IoU F1 U-Net 78.45 93.46 73.47 85.30 PSP Net 86.36 92.07 79.55 89.12 DeepLabV3+ 85.43 92.37 78.90 88.76 HRNet 82.05 94.99 77.95 88.05 TrUNet 89.54 94.27 84.25 91.84 MHorUNet 89.33 82.36 74.99 85.70 STNDA 90.96 94.91 84.96 92.89

表2 各网络在ISIC2018数据集上的性能对比 Table 2 Performance comparison of different networks on ISIC2018 dataset %

由表2可知, STNDA在ISIC2018数据集上的4个指标值均排名靠前, 尽管在召回率上不是最优, 但在其他3个指标上均是最优.相比次优的TrUNet, STNDA的精确率提升1.42%, IoU值提升0.71%, F1值提升1.05%.STNDA的召回率为次优, 相比最优的HRNet, 仅相差0.08%, 由此表明STNDA分割效果仍受病变与周围组织相似性较高的问题干扰.总之, STNDA可有效解决分割精度较低的问题, 对边界特征较敏感, 能准确描绘目标区域.

为了更直观对比分割效果, 将各网络在ISIC- 2018数据集上的分割结果进行可视化, 结果如图7所示.

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 各网络在ISIC2018数据集上的分割效果Fig.7 Segmentation results of different networks on ISIC2018 dataset

由图7可看出, STNDA在不同形态皮肤病分割上较精准, 边缘细节定位较具体, 其它网络均存在边缘分割过度平滑、分割区域不精准的问题.在第1幅图像、第2幅图像、第4幅图像中, 对比网络的分割边缘过于平滑, 未能准确定位皮肤病变边界, 而STNDA更接近标签.这表明STNDA使用多阶段架构与模块堆叠的主干网络及MSDA 融合模块, 可充分捕捉多形态下皮肤病变的语义特征, 提升对皮肤病变边缘细节的感知能力.第4幅图像和第5幅图像中皮肤病变与周围组织相似性较高, 其它网络分割时存在误检和病变边界模糊的问题, 导致分割定位偏差、分割区域扩大.STNDA的分割定位更准确且不存在误检.由此可见, STNDA通过DAB模块可动态调节局部感受野的关注焦点, 提升分割的精准定位能力.

综上所述, STNDA能以较高的精度分割皮肤病变边缘区域, 即使受病变与周围组织相似性较高的影响, 也能实现精确的病变定位和病变边界分割, 鲁棒性较强.

在ISIC2017、PH2、ISIC2018这3个皮肤病变数据集上, 定量与定性实验对比表明STNDA均能取得良好的分割效果.STNDA使用Swin Transformer V2编码器的U型结构, 增强对皮肤病变的语义特征提取能力, 聚焦于全局特征, 在其瓶颈处与跳跃连接处设计DAB模块与MSDA融合模块, 有效结合皮肤病变图像浅层病变边缘细节特征与深层丰富语义信息, 强化重要特征的表示, 并保留编码器初始图像信息, 提高对实际病变的识别能力.

STNDA主要包含3个核心模块:动态代理瓶颈(DAB)模块、多尺度空洞注意力(MSDA)融合模块、编码器与解码器.

为了验证上述3个核心模块对皮肤病分割结果的有效性, 在ISIC2017、PH2、ISIC2018数据集上, 基于基础模型U-Net添加各个模块, 进行消融实验.编码器通过其多阶段架构与模块堆叠操作, 并通过多尺度特征融合, 增强对多形态下皮肤病特征的提取能力.DAB模块由DAG模块根据输入特征的复杂程度自适应生成代理向量与位置偏置, 使网络自适应调整局部感受野的焦点, 有效结合病理图像浅层病理边缘细节特征与深层丰富语义信息, 解决因皮肤病变与周围组织相似导致的定位偏差问题.MSDA融合模块通过多分支并行的多尺度特征提取架构, 捕捉图像的多尺度信息, 增强网络对皮肤病变边缘的感知能力.

在3个数据集上的消融实验结果如表3~表5所示.由表可知, 相比U-Net, 加入编码器与解码器、DAB模块和MSDA融合模块后, 指标值均有效提升, 当3个模块结合使用时, 获得最佳的提升效果.这一结果表明, 3个核心模块之间存在相互增益的关系, 可增强在多形态皮肤病变特征上的提取能力和边缘感知能力以及皮肤病变上的定位能力, 能有效结合皮肤病变图像浅层病变边缘细节特征与深层丰富语义信息, 提升对皮肤病变的分割准确率.

表3

Table 3

表3(Table 3)

表3 各网络在ISIC2017数据集上的消融实验结果 Table 3 Ablation experiment results of different networks on ISIC2017 dataset % 网络 精确率 召回率 IoU F1 U-Net 91.45 78.04 71.98 84.21 U-Net+编码器与解码器 92.24 86.13 77.73 89.08 U-Net+编码器与解码器+DAB 92.86 87.62 78.95 90.16 U-Net+编码器与解码器+DAB+MSDA 93.55 89.77 81.49 91.62

表3 各网络在ISIC2017数据集上的消融实验结果 Table 3 Ablation experiment results of different networks on ISIC2017 dataset %

表4

Table 4

表4(Table 4)

表4 各网络在PH2数据集上的消融实验结果 Table 4 Ablation experiment results of different networks on PH2 dataset % 网络 精确率 召回率 IoU F1 U-Net 87.47 87.16 76.86 87.31 U-Net+编码器与解码器 86.72 91.32 82.49 88.96 U-Net+编码器与解码器+DAB 87.57 92.68 83.51 90.05 U-Net+编码器与解码器+DAB+MSDA 88.61 93.77 84.61 91.12

表4 各网络在PH2数据集上的消融实验结果 Table 4 Ablation experiment results of different networks on PH2 dataset %

表5

Table 5

表5(Table 5)

表5 各网络在ISIC2018数据集上的消融实验结果 Table 5 Ablation experiment results of different networks on ISIC2018 dataset % 网络 精确率 召回率 IoU F1 U-Net 78.45 93.46 73.47 85.30 U-Net+编码器与解码器 89.19 92.82 82.77 90.97 U-Net+编码器与解码器+DAB 90.20 93.61 84.43 91.87 U-Net+编码器与解码器+DAB+MSDA 90.96 94.91 84.96 92.89

表5 各网络在ISIC2018数据集上的消融实验结果 Table 5 Ablation experiment results of different networks on ISIC2018 dataset %