医学图像语义分割是指对医学图像中的不同结构和组织进行像素级别的分类, 以实现对图像的精细解析和定量分析.近年来, 深度学习技术被广泛应用于医学领域^{[13, 14]}, 深度学习技术可帮助医生提供更准确、高效的诊断和治疗方案.许多研究表明, 深度学习方法可显著提高生物组织分割的准确性^[15], 如针对脑部组织的分割方法^[16]、针对乳腺的分割方法^{[17, 18]}.也有学者针对腹部器官分割^[19]和心脏结构分割^[20]进行深入研究.尽管这些方法表现出良好的性能, 但通常需要使用带有专家标注的大型数据集, 因此方法昂贵耗时.

由于扫描仪的不同或跨模态变化, 不同医学图像之间往往存在域偏移问题.无监督域自适应方法可将学到的知识从有标记的源域泛化到无标记的目标域, 成为解决医学图像中域偏移问题的有效方法.现有的无监督域自适应方法主要分为基于图像对齐的无监督域自适应方法、基于特征空间对齐的无监督域自适应方法、基于输出空间对齐的无监督域自适应方法三类.

基于图像对齐的无监督域自适应方法旨在通过图像转换, 将一个域的图像转换为另一个域的图像, 从而减少不同域图像的外观差距.CycleGAN^[6]可在没有成对示例图像的情况下, 转换源域图像风格和目标域图像风格, 并能保持图像原有的语义信息.CyCADA(Cycle-Consistent Adversarial Domain Adaptation)^[4]使用CycleGAN进行源域图像和目标域图像的风格转换, 同时在高级语义空间上进行特征对齐.近年来, 基于图像对齐的无监督域自适应方法在医学图像UDA任务上得到广泛应用.Chen等^[21]提出SIFA(Synergistic Image and Feature Adaption), 将CT图像与MRI图像进行风格转换, 降低CT图像和MRI图像之间的域分布差距.Zhang等^[22]提出TD-GAN(Task Driven Generative Adversarial Network), 实现对未见过的真实X射线图像的同步风格迁移.Zhang等^[23]在使用条件生成网络生成目标图像的同时引入形状一致性损失, 约束生成图像的形状畸变.Du等^[7]提出CUDA(Constraint-Based Unsupervised Domain Adaptation Network), 使用CycleGAN进行图像风格转换, 并使用转换后的图像进行跨域自监督学习.Liu等^[8]提出FSUDA, 使用基于频域和空间域转移的方法, 从源域生成类目标域图像, 并使用类目标域图像和目标域图像训练模型, 同时使用多教师蒸馏框架, 进一步提升性能.基于图像对齐的无监督域自适应方法在医学图像上取得一定成果, 但需要大量的数据训练图像转换过程, 并且在域差距较大时, 容易出现模式崩溃和训练不稳定的问题, 导致效果大幅降低.

基于特征空间对齐的无监督域自适应方法侧重于提取域不变特征, 利用对抗学习的思想, 学习域不变特征^{[24, 25]}.在医学领域, Dou等^[10]提出PnP-Ada-Net, 在多层次特征上对齐, 并在医学CT图像和MRI图像上进行实验, 验证方法的有效性.Hu等^[26]提出DoCR(Domain Specific Convolution and High Fre-quency Reconstruction), 构建域特定卷积模块, 提高分割模型的域不变特征提取能力.Chen等^[27]提出SIFA(Synergistic Image and Feature Alignment), 在多个方面利用对抗性学习和深度监督机制, 同时跨域变换图像的外观, 增强提取特征的域不变性, 在CT图像和MRI图像之间进行无监督域自适应.Yang等^[28]提出FDA(Fourier Domain Adaptation), 通过傅里叶变换与逆变换缩小源域和目标域的差距.Zhao等^[29]提出LEUDA(Label-Efficient Unsupervised Domain Adaptation), 使用CycleGAN进行图像风格转换, 并使用自集成对抗学习模块进行特征对齐.尽管基于特征空间对齐的无监督域自适应方法在医学领域取得一定效果, 但容易导致对齐的特征偏向源域特征, 忽略目标域的私有特征对分割结果的影响.

基于输出空间对齐的无监督域自适应方法在源域和目标域的预测结果上进行对抗性自适应.Tsai等^[11]构建多层次的对抗网络, 在不同的特征层得到预测结果, 并在多个预测结果上进行对抗性域自适应.Zeng等^[5]提出ICMSC(Intra- and Cross-Modality Semantic Consistency), 首先通过CycleGAN转换不同域的图像风格, 并约束经过循环转换后的图像按照与之前完全相同的方式进行分割.Feng等^[12]提出SE_ASA, 将目标域图像添加不同的噪声, 得到多组预测结果, 并在图像的输出空间进行对比, 筛选可靠像素和不可靠像素, 进行选择性熵约束.

在许多场景中, 预测一致性正则化可提升模型的泛化能力和稳定性, 如半监督学习^[30]、自监督学习^[31]、无监督域自适应^[32].在医学领域, Kuang等^[33]提出MSCDA(Multi-level Semantic-Guided Con-trastive Domain Adaptation), 使用预测一致性正则化和对比学习对齐域之间的特征表示, 实现跨域乳房MRI分割.Zhao等^[34]提出MT-UDA, 设计并训练学生模型和教师模型, 使用预测一致性正则化方法训练学生模型, 使模型学习不同领域图像的语义信息, 同时加强结构一致性, 利用领域间的结构信息.

给定源域数据集D_s= (xis, yis)i=1Ns, 不带有分割标签的目标域数据集D_t= (xit)i=1Nt, 其中, N_s表示源域数据集数量, N_t表示目标域数据集数量, x^s表示源域图像, y^s表示源域图像的分割掩码, x^t表示目标域图像.本文的目的是使用D_s和D_t训练分割模型, 使训练好的分割模型在目标域表现良好.

本文提出基于目标域增强表示的医学图像无监督跨域分割方法(TreUCMIS), 整体结构如图1所示.

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 TreUCMIS整体结构Fig.1 Overall structure of TreUCMIS

TreUCMIS由共有特征编码器E^sh、目标域特征编码器E^tg、共有特征学习模块(SFLM)、共有特征增强模块(SFEM)和目标域泛化模块(TDGM)组成.特征编码器E^sh和E^tg均采用ResNet50结构, 但不共享权重.E^sh用于提取目标域和源域的共有特征, E^tg用于提取目标域图像的完整特征.E^sh和E^tg会同时提取图像的浅层特征和深层特征, 将ResNet50第3个stage输出的特征作为浅层特征, 特征通道数为1 024, 将第4个stage输出的特征作为深层特征, 特征通道数为2 048.通过SFLM, 方法可学习源域和目标域的共有特征, 并学会使用共有特征进行语义分割, 对目标域图像具有良好的分割能力.SFEM对比目标域共有特征中多层次特征的预测结果, 进一步增大共有特征空间, 强化解码器利用共有特征进行分割的能力.然而, 当目标域与源域存在显著差异时, 模型仅利用共有特征进行分割, 容易导致分割效果不佳, 因此本文引入TDGM, 通过图像重构训练目标域特征编码器, 提取目标域完整特征, 并将使用不同特征得到的预测结果对齐, 使模型学会利用目标域的完整特征进行分割, 提高其在目标域的泛化性.模型可用端到端的方式进行训练, 整体优化目标如下:

l_total=l_SFLM+l_SFEM+l_TDGM,

其中l_SFLM、l_SFEM、l_TDGM分别表示SFLM、SFEM、TDGM损失.

共有特征学习模块(SFLM)的目的是提取源域和目标域的共有特征, 并使模型学习利用该共有特征进行语义分割.SFLM详细结构如图2所示.在特征对齐部分, 将源域图像和目标域图像的特征输入域鉴别器中, 通过对抗学习, 混淆源域图像和目标域图像的域鉴别结果, 达到特征对齐的目的^[35].然后利用对齐后的源域图像特征进行有监督学习, 使模型学会利用共有特征进行分割.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 SFLM结构图Fig.2 Structure of SFLM

SFLM构建特征级别的域鉴别器, 实现源域和目标域的共有特征的提取.域鉴别器通过判断特征是来自源域还是目标域, 并加入梯度反转层^[35], 实现类似CycleGAN的对抗损失.梯度反转层的工作原理是在前向传播时作为一个恒等操作, 即直接传递输入特征.但在反向传播时, 会将传入的梯度乘以一个负系数(如-1), 在反向传播过程中对域分类器的梯度进行反转.这样做的效果是:特征提取网络在训练过程中会尽可能地生成域鉴别器难以区分的特征, 从而使源域和目标域的特征分布更接近.域鉴别器由多个卷积层堆叠, 最后将卷积层的输出进行上采样操作, 得到逐像素的域鉴别器分类结果.具体来说, 给定源域图像 xis∈ R^{H× W× C}和目标域图像 xit∈ R^{H× W× C}, 经过共有特征编码器E^sh编码后, 得到源域图像共有特征 Fs_ish=E^sh(xis)和目标域图像共有特征 Ft_ish=E^sh(xit), 随后将 Fs_ish和 Ft_ish输入鉴别器D_f中, 得到源域图像和目标域图像共有特征的鉴别结果.源域图像和目标域图像的域鉴别预测结果为:

$ \begin{array}{l} \boldsymbol{P}_{s}^{D}=D_{f}\left(E^{s h}\left(\boldsymbol{x}_{i}^{s}\right)\right) \in \mathbf{R}^{H \times W}, \\ \boldsymbol{P}_{t}^{D}=D_{f}\left(E^{s h}\left(\boldsymbol{x}_{i}^{t}\right)\right) \in \mathbf{R}^{H \times W}, \end{array}$

其中D_f(· )表示域鉴别器.

对于来自源域的特征, 将其域鉴别的真实标签设为1_{H× W}.对于来自目标域的特征, 将其真实标签设为0_{H× W}.使用交叉熵损失函数计算域鉴别器损失:

l_adv= ∑i=1Ns+Ntd_iln(PsD)+(1_{H× W}-d_i)ln(1_{H× W}- PtD)),

其中, d_i∈ {0_{H× W}, 1_{H× W}}, 表示样本i的真实域标签, 0_{H× W}表示形状为H× W的全0矩阵, 1_{H× W}表示形状为H× W的全1矩阵.注意, 在进行特征对齐时, 即计算l_adv时, 如图2所示, 使用E^sh提取的多层特征中的深层特征 Fs_deepsh和 Ft_deepsh.

提取源域和目标域的共有特征后, 使用源域的有标注数据及共有特征训练模型, 使模型学会利用共有特征进行语义分割, 能较好地分割目标域图像.具体地, TreUCMIS使用共有特征编码器E^sh与分割头C_shallow和C_deep对源域图像进行有监督学习.有监督学习损失函数如下:

$ \begin{aligned} l_{\text {seg }}= & \sum_{i=1}^{N_{s}} \alpha \operatorname{Ce}\left(\boldsymbol{y}_{i}^{s}, C_{\text {shallow }}\left(E^{\text {sh }}\left(\boldsymbol{x}_{i}^{s}\right)\right)\right)+ \\ & \beta C e\left(\boldsymbol{y}_{i}^{s}, C_{\text {deep }}\left(E^{\text {sh }}\left(\boldsymbol{x}_{i}^{s}\right)\right)\right), \end{aligned}$

其中, Ce(· )表示多元交叉熵损失函数, C_shallow(· )和C_deep(· )表示不同的语义分割头, 即像素级分类器, α 、 β 表示不同语义分割头对应的损失权重, 设置α =0.4, β =0.6.

如图2所示, 将E^sh提取的多层特征中的浅层特征 Fs_shallowsh输入分割头C_shallow中, 得到预测结果 Pssh'.将E^sh提取的多层特征中的深层特征 Fs_deepsh输入分割头C_deep中, 得到预测结果 Pssh, 目的是增强浅层特征的表示, 加快网络的训练速度.SFLM总损失为:

l_SFLM=γ l_adv+l_seg,

其中, γ 表示域鉴别损失的损失权重, 取值为0.6.

在SFLM中对齐源域图像和目标域图像的深层特征, 然而由于域偏移问题, 源域和目标域共有的语义信息可能会分布在不同的特征层上, 仅对深层特征进行对齐容易导致浅层特征的共有语义信息不匹配.模型在训练过程中, 会利用源域图像进行有监督训练, 共有特征会不可避免地向源域倾斜, 导致模型的解码器对共有特征的解码能力变弱.

为了解决上述问题, TreUCMIS构建共有特征增强模块(SFEM).研究表明^[9], 在源域和目标域的多个特征级别上进行特征对齐, 可增大各级别特征的共有语义信息.与文献[9]不同, 为了增强解码器对共有特征的解码能力, SFEM不是在特征级别上直接对齐多个层次的特征, 而是将目标域的浅层特征和深层特征分别输入不同的解码器中, 得到两组预测结果, 并在输出空间对齐这两组预测结果.

在SFLM中, 已对深层特征进行特征层面的对齐.在SFEM中, 利用不同层次的特征通过解码器得到的预测结果在输出空间进行对齐, 可约束浅层特征包含更多的共有化语义信息, 同时可加强解码器对浅层共有特征、深层共有特征的解码能力, 缓解共有特征偏向源域的问题, 从而对共有特征进行增强.

SFEM详细结构如图3所示, 通过共有特征编码器提取目标域图像的浅层特征和深层特征, 并输入不同的分割头中, 得到两组预测结果, 再在输出空间对齐这两组预测结果, 并计算一致性损失, 这样可增大目标域浅层特征、深层特征的共有空间, 同时强化模型使用共有特征预测分割掩码的能力.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 SFEM结构图Fig.3 Structure of SFEM

具体地, 如图3所示, 将共有特征编码器E^sh(xit)提取的多层次特征的浅层特征 Ft_shallowsh输入C_shallow中, 将共有特征编码器E^sh(xit)提取的多层次特征的深层特征 Ft_deepsh输入C_deep中, 得到两组预测结果 Ptsh'和 Ptsh, 再使用这两组预测结果计算一致性损失, 即

l_SFEM= ∑i=1NtCe(C_deep(E^sh(xit)), C_shallow(E^sh(xit))).

SFLM和SFEM能学到源域图像和目标域图像的共有特征, 使模型利用共有特征较好地分割目标域图像.然而, 当源域和目标域差异较大时, 仅依赖共有特征进行分割可能会忽略目标域中的关键私有特征, 导致性能下降.为了解决该问题, TreUCMIS构建目标域泛化模块(TDGM), 使模型学到利用目标域图像的完整特征进行目标分割的能力.

TDGM的详细结构如图4所示.目标域图像编码器通过图像重构任务被迫保留足够的信息重建输入图像, 这促使目标域图像编码器学到如何从输入图像中提取完整特征, 如图像纹理、颜色等特征, 并将这些特征压缩到编码空间中.TDGM首先使用图像重构技术, 使目标域特征编码器E^tg能学到目标域图像的完整特征.通过卷积层与上采样层实现图像重构, 重构后的图像:

$\hat{\boldsymbol{x}}_{i}^{t}=U_{\mathrm{rec}}\left(E^{t g}\left(\boldsymbol{x}_{i}^{t}\right)\right), $

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 TDGM结构图Fig.4 Structure of TDGM

其中, E^tg(· )表示目标域特征编码器, U_rec(· )表示图像重构的解码器.则图像重构损失:

$l_{\mathrm{recon}}=\frac{1}{N_{t}} \sum_{i=1}^{N_{t}}\left(\boldsymbol{x}_{i}^{t}, \hat{\boldsymbol{x}}_{i}^{t}\right)^{2} .$

使用图像重构技术后, E^tg学到如何提取目标域图像的完整特征.经过共有特征提取和共有特征增强后, 解码器学到如何利用共有特征对目标域图像进行分割结果预测.对于同幅目标域图像, 利用共有特征编码器和目标域特征编码器得到的特征, 解码后的预测结果应该是一致的, 利用对比学习, 在预测空间对不同特征的预测结果进行一致性正则化, 可提升解码器对目标域特征编码器提取特征的解码能力, 加强模型对目标域图像完整特征的利用, 从而使模型进一步泛化到目标域.为了使模型更好地利用源域数据和目标域数据的知识, 将由目标域的共有特征编码器E^sh提取的共有特征与目标域特征编码器E^tg提取的特征进行融合, 使用该融合特征与共有特征在输出空间进行对比学习.

TreUCMIS将目标域图像共有特征及目标域图像完整特征融合后, 再输入语义分割头, 得到预测结果的原因如下.在SFLM中使用大量源域数据学习源域图像和目标域图像的共有特征, 这些源域数据增强共有特征编码器E^sh提取特征的能力, 目标域特征编码器E^tg使用目标域数据进行图像重构训练, 能学到部分被共有特征编码器E^sh忽略的目标域的私有特征, 因此共有特征编码器E^sh和目标域特征编码器E^tg提取的目标域图像的特征是互补的, 利用这种融合特征进行分割可提高模型在目标域的性能.采用特征相加的方式作为特征融合的方式, 融合后的特征为:

Ft_ish+tg=E^sh(xit)+E^tg(xit).

将目标域图像的共有特征、融合特征分别输入分割头C_deep中, 得到目标域图像基于共有特征的预测结果

Pt_ish=C_deep(E^sh(xit))

和目标域图像基于融合特征的预测结果:

Pt_ish+tg=C_deep(Ft_ish+tg).

由此得到TDGM一致性损失:

l_cons= ∑i=1NtCe(Pt_ish, Pt_ish+tg).

在TDGM中, 如图4所示, 使用特征编码器得到多尺度特征的深层特征 Ft_deepsh和 Ft_deeptg, 深层次特征具有更丰富的语义信息.TDGM的总体损失如下:

$l_{\mathrm{TDGM}}=\delta l_{\text {recon }}+\epsilon l_{\text {cons }}, $

其中, δ 表示l_recon的损失权重, $\epsilon$表示l_cons的损失权重, 设置δ =0.2, $\epsilon$=0.5.

TreUCMIS的训练分为预训练和正式训练两个阶段.在预训练阶段, 使用源域图像对模型进行有监督训练, 即只使用l_seg训练模型.在正式训练阶段, 加载在预训练阶段训练完成的模型权重, 包括E^sh、C_shallow和C_deep部分, 使用E^sh初始化E^tg, 并使用l_total训练模型.

在测试阶段, 如图5的模型推理模块结构图, 将目标域图像的融合特征输入C_deep分割头中进行推理, 模型推理时采用使用融合特征的预测结果, 预测结果的计算公式见2.4节.

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 模型推理模块结构图Fig.5 Structure of model inference module

本文选择如下两个数据集进行实验.

1)腹部器官数据集.使用与文献[27]相同的腹部多器官数据集, 包含来自ISBI2019 CHAOS(Com- bined(CT-MR) Healthy Abdominal Organ Segmenta-tion) 挑战赛^[19]的20例MRI数据和来自文献[36]的30例CT数据, 两个数据集均为公开数据集, 都包含肝脏、右肾、左肾和脾脏四个器官的像素级标签, 本文目的是使用深度学习模型分割上述四种腹部器官.

2)心脏结构数据集.使用MM-WHS(Multi-mo-dality Whole Heart Segmentation)2017挑战赛数据集^[37], 包含20例MRI数据与20例CT数据, 其中CT与MRI均为未配对数据.CT与MRI均包含升主动脉(Ascending Aorta, AA)、左心房血腔(Left Atrium Blood Cavity, LAC)、左心室血腔(Left Ventricle Blood Cavity, LVC)和左心室心肌(Myocardium of the Left Ventricle, MYO) 四种心脏结构的像素级标签, 本文目的是使用深度学习模型分割上述四种心脏结构.

对于腹部器官数据集和心脏结构数据集, 随机划分80%数据作为训练数据, 20%数据作为测试数据.对于腹部器官数据, 采用与SIFA相同的预处理方法, 截取腹部区域, 并去掉器官周围无关的背景区域, 采用z-score转换, 所有的图像被归一化到平均值为0、标准差为1, 每幅图像被重采样至256× 256, 最后以扫描的轴向视图对图像进行2D切片.对于心脏结构数据, 在冠状面上裁剪以心脏为中心的区域, 并截断顶部2%的强度直方图以减轻剪影, 采用z-score转换, 所有的图像被归一化到平均值为0、标准差为1, 每幅图像被重采样至256× 256, 最后以冠状视图对图像进行2D切片.

对于腹部器官数据集和心脏结构数据集, 将2D切片扩展为三通道图像再输入网络中, 这是因为模型的编码器使用ImageNet预训练的ResNet50权重.在训练阶段, 使用随机旋转、随机裁剪、颜色变换数据增强, 颜色变换表示随机改变图像的对比度、饱和度和亮度.在源域上使用随机旋转、随机裁剪、颜色变换数据增强, 在目标域上仅使用随机旋转、随机裁剪数据增强.

与FSUDA^[8]、SIFA^[27]相同, 本文使用Dice相似系数(Dice)和平均对称表面距离(Average Sym- metric Surface Distance, ASD)评估方法分割性能.Dice衡量预测掩码和真实掩码之间的体素精度.ASD衡量预测掩码和真实掩码体素表面之间的平均距离.Dice值越高, ASD值越低, 表明分割效果越优.Dice计算公式如下:

Dice= 2TPFP+2TP+FN,

其中, TP表示真阳性的数量, FP表示假阳性的数量, FN表示假阴性的数量.

ASD的计算公式如下:

$\begin{aligned} A S D= & \frac{1}{2|Y|} \sum_{y \in Y} \min _{p \in P} d(y, p)+ \\ & \frac{1}{2|P|} \sum_{p \in P} \min _{y \in Y} d(p, y), \end{aligned}$

其中, Y表示真实分割标注的边界点集合, P表示预测分割结果的边界点集合, y表示真实分割标注边界上的点, p表示预测分割结果边界上的点, d(· , · )表示欧氏距离, Y表示真实分割标注的边界点数量, P表示预测分割结果的边界点数量.

TreUCMIS主要由二维卷积网络组成.共有特征编码器E^sh和目标域特征编码器E^tg具有相同的架构, 均采用ResNet50, 不共享权重.本文的深层特征F_deep采用ResNet50最后一个stage的输出, 通道数为2 048.浅层特征F_shallow采用ResNet50第3个stage的输出, 通道数为1 024.

鉴别器D_f由4个卷积层组成, 前3个卷积层的卷积核为3× 3, 最后一个卷积层的卷积核为1× 1, 步幅为1, 通道数为{256, 128, 32, 2}.除了最后一个卷积层, 每个卷积层后都连接一个批量归一化层和Leaky ReLU层, 将最后一层卷积层的输出上采样至和输入图像一样的大小.

图像重构解码器U_rec由3个卷积层组成, 前2个卷积层的卷积核为3× 3, 最后一个卷积层的卷积核为1× 1, 步幅为1, 通道数为{256, 64, 3}, 除了最后一个卷积层, 每个卷积层后连接一个批量归一化层和Leaky ReLU层, 将最后一层卷积层的输出上采样至和输入图像一样的形状.

分割头C_shallow采用FCN(Fully Convolutional Networks)的分割头, C_deep采用DeepLabv3的ASPP(Atrous Spatial Pyramid Pooling)分割头, 图2~图5中C_deep共享权重, C_shallow共享权重.

基于pytorch1.7.1实现TreUCMIS, 在RTX2080Ti上进行实验.在预训练阶段, 设置迭代次数为20, 批尺寸大小为8, 采用AdamW(Adaptive Moment Esti-mation with Decoupled Weight Decay)优化器, 优化器中β =0.9, 0.999, 权重衰减参数为0.01, 学习率为0.000 06.在正式训练阶段, 设置迭代次数为20, 批尺寸大小为6, 采用SGD(Stochastic Gradient Descent)优化器, 优化器的动量参数为0.9, 权重衰减参数为1e-4, 其中图像重构解码器U_rec、C_shallow和C_deep的学习率为0.005, 其余模块的学习率为0.000 5.

选择如下对比方法:CyCADA^[4]、ICMSC^[5]、Cycle-GAN^[6]、CUDA^[7]、FSUDA^[8]、文献[11]方法、SIFA^[27]、FDA^[28]、LE-UDA^[29].其中, SIFA、FSU-DA、LE-UDA、CUDA使用的数据集与本文相同, 本文直接引用原论文的实验结果, 其它对比方法的实验结果来自文献[8]和文献[27].

本文还对比不使用无监督域自适应的结果, 即W/o adaptation, 作为分割性能的下界, 该结果是使用预训练阶段在源域数据上训练完成的网络, 直接对目标域数据的测试集进行测试得到的.本文使用目标域数据有监督训练的Supervised作为分割性能的上界, 该结果是使用预训练阶段的网络架构, 在目标域数据带标注的训练集上训练模型, 并在目标域数据的测试集上进行测试得到的.

本文分别在腹部器官CT→ MRI(即源域数据为腹部器官CT图像, 目标域数据为腹部器官MRI图像)、腹部器官MRI→ CT、心脏结构CT→ MRI、心脏结构MRI→ CT分割任务上进行实验.

各方法在腹部器官CT→ MRI分割任务上的性能对比如表1所示, 在腹部器官MRI→ CT分割任务上的性能对比如表2所示, 表中黑体数字表示最优值.由表可见, 在不进行域自适应的情况下, 方法对MRI分割的平均Dice值仅为74.4%, 对CT分割的平均Dice值仅为77.0%.相比有监督训练结果, MRI相差18.3%, CT相差14.9%.这表明在腹部器官数据的CT和MRI间有较严重的域偏移.使用TreUCMIS后, 相比W/o adaptation:对MRI分割的平均Dice值提升16.0%, 平均ASD值降低0.9; 对CT分割的平均Dice值提升8.3%, 平均ASD值降低2.8.这说明TreUCMIS可有效缓解域偏移问题.

表1

Table 1

表1(Table 1)

表1 各方法在腹部器官CT→ MRI分割任务上的性能对比 Table 1 Performance comparison of different methods in abdominal organ CT→ MRI segmentation tasks 方法 Dice/%↑ ASD↓ 肝 右肾 左肾 脾 平均值 肝 右肾 左肾 脾 平均值 Supervised 93.1 93.3 93.0 91.5 92.7 1.5 0.3 1.1 1.9 1.2 W/o adaptation 59.8 82.2 81.1 74.5 74.4 3.4 0.8 2.0 2.6 2.2 文献[11]方法 85.8 89.7 76.3 82.2 83.5 1.9 1.4 3.0 1.8 2.1 CycleGAN 88.8 87.3 76.8 79.4 83.1 2.0 3.2 1.9 2.6 2.4 CyCADA 88.7 89.3 78.1 80.2 84.1 1.5 1.7 1.3 1.6 1.5 SIFA 90.0 89.1 80.2 82.3 85.4 1.5 0.6 1.5 2.4 1.5 LE-UDA 90.8 89.5 89.3 84.9 88.6 0.6 0.9 0.5 1.9 1.0 FSUDA 89.6 90.0 90.3 87.0 89.2 1.4 1.5 1.2 2.0 1.5 TreUCMIS 90.9 89.1 90.6 90.9 90.4 1.2 0.8 1.6 1.7 1.3

表1 各方法在腹部器官CT→ MRI分割任务上的性能对比 Table 1 Performance comparison of different methods in abdominal organ CT→ MRI segmentation tasks

表2

Table 2

表2(Table 2)

表2 各方法在腹部器官MRI→ CT分割任务上的性能对比 Table 2 Performance comparison of different methods in abdominal organ MRI→ CT segmentation tasks 方法 Dice/%↑ ASD↓ 肝 右肾 左肾 脾 平均值 肝 右肾 左肾 脾 平均值 Supervised 94.2 91.1 91.1 91.2 91.9 0.6 0.8 0.5 0.6 0.6 W/o adaptation 79.8 75.0 74.2 78.9 77.0 2.1 3.6 3.6 7.1 4.1 文献[11]方法 85.4 82.1 79.7 81.7 81.6 1.7 1.2 1.8 1.6 1.6 CycleGAN 83.4 79.3 79.4 77.3 79.9 1.8 1.3 1.2 1.9 1.6 CyCADA 84.5 78.6 80.3 76.9 80.1 2.6 1.4 1.3 1.9 1.8 SIFA 88.0 83.3 80.9 82.6 83.7 1.2 1.0 1.5 1.6 1.3 LE-UDA 80.7 84.5 84.5 87.8 84.4 1.8 1.0 2.0 1.8 1.6 TreUCMIS 88.7 82.6 83.8 86.3 85.3 1.2 1.5 1.1 1.3 1.3

表2 各方法在腹部器官MRI→ CT分割任务上的性能对比 Table 2 Performance comparison of different methods in abdominal organ MRI→ CT segmentation tasks

在无监督域自适应CT→ MRI分割任务中, FSUDA表现最优, 平均Dice值为89.2%, 平均ASD值为1.5, 而TreUCMIS的平均Dice值为90.4%, 平均ASD值为1.3, 相比FSUDA, 平均Dice值提高1.2%, 平均ASD值降低0.2.LE-UDA在ASD评分上表现最优.

在无监督域自适应MRI→ CT分割任务中, LE-UDA表现最优, 平均Dice值为84.4%, 平均ASD值为1.6, 而TreUCMIS的平均Dice值为85.3%, 平均ASD值为1.3, 相比 LE-UDA, 平均Dice值提高0.9%, 平均 ASD值降低0.3.

值得注意的是, 在腹部器官分割任务中, 相比其它方法, TreUCMIS的优势并不显著, 可能是因为腹部器官数据集的域偏移问题并不特别严重.TreUCMIS是在域不变性模型基础上的改进, 当域偏移不是特别严重时, 性能提升不明显.

图6可视化不同方法对腹部器官的分割结果, 分别使用黄色、红色、棕色、蓝色表示肝、右肾、左肾、脾, 图像左上角红色方框为细节放大图.由图可见, 使用不同的域适应方法后, 分割结果得到很大改善, TreUCMIS取得更精细的分割结果.例如:观察图6第2幅图像和第3幅图像发现, 只有TreUCMIS分割出左肾.综上所述, TreUCMIS在腹部器官分割任务中表现出较优性能.

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 各方法在腹部图像上分割结果的可视化Fig.6 Visualization of segmentation results of different methods on abdominal images

各方法在心脏结构CT→ MRI分割任务上的性能对比如表3所示, 在心脏结构MRI→ CT分割任务上的性能对比如表4所示, 表中黑体数字表示最优值.由表可见, 在不进行域自适应的情况下, 方法对MRI分割的平均Dice值仅为49.1%, 相比有监督训练结果, MRI相差35.0%.在不进行域自适应的情况下, 方法对CT分割的平均Dice值仅为65.2%, 相比有监督训练结果, CT相差28.9%.上述结果说明, 心脏结构的CT图像和MRI图像间存在较严重的域偏移问题, 比腹部器官数据的域偏移问题更严重.使用TreUCMIS后, 对MRI分割的平均Dice值由49.1%升至79.5%, 提升30.4%, 平均ASD值降低7.8.对CT分割的平均Dice值由65.2%升至90.7%, 提升25.5%, 平均ASD值降低7.1.

表3

Table 3

表3(Table 3)

表3 各方法在心脏结构CT→ MRI分割任务上的性能对比 Table 3 Performance comparison of different methods in cardiac structure CT→ MRI segmentation tasks 方法 Dice/%↑ ASD↓ MYO LAC LVC AA 平均值 MYO LAC LVC AA 平均值 Supervised 79.1 86.9 92.5 77.8 84.1 1.4 1.2 0.6 2.2 1.4 W/o adaptation 34.6 64.3 74.5 23.0 49.1 6.5 8.3 5.3 23.8 11.0 文献[11]方法 35.5 39.8 71.5 60.8 51.9 4.6 8.0 4.6 5.7 5.7 CycleGAN 43.0 30.7 65.0 64.3 50.7 5.0 9.8 6.0 5.8 6.6 CyCADA 47.9 44.0 77.6 60.5 57.5 5.2 13.9 4.8 7.7 7.0 SIFA 47.3 62.3 78.9 65.3 63.4 4.4 7.4 3.8 7.3 5.7 CUDA 42.8 66.1 79.1 68.5 65.5 4.1 4.1 3.2 5.1 4.1 LE-UDA 59.4 69.6 79.1 71.3 69.8 3.7 3.8 2.5 3.9 3.5 TreUCMIS 77.2 84.0 89.4 67.3 79.5 2.0 2.3 2.7 5.7 3.2

表3 各方法在心脏结构CT→ MRI分割任务上的性能对比 Table 3 Performance comparison of different methods in cardiac structure CT→ MRI segmentation tasks

表4

Table 4

表4(Table 4)

表4 各方法在心脏器官MRI→ CT分割任务上的性能对比 Table 4 Performance comparison of different methods in cardiac structure MRI→ CT segmentation tasks 方法 Dice/%↑ ASD↓ MYO LAC LVC AA 平均值 MYO LAC LVC AA 平均值 Supervised 90.9 94.8 93.6 96.9 94.1 1.1 0.7 0.9 0.6 0.8 W/o adaptation 43.4 72.6 73.0 71.9 65.2 8.1 10.3 5.2 10.4 8.5 文献[11]方法 43.6 76.6 54.4 65.2 59.9 8.9 5.5 5.9 17.9 9.6 CycleGAN 28.7 75.7 52.3 73.8 57.6 8.8 13.6 9.2 11.5 10.8 CyCADA 45.3 77.0 62.4 72.9 64.4 10.5 8.0 9.6 9.6 9.4 SIFA 61.6 79.5 73.8 81.3 74.1 8.5 6.2 5.5 7.9 7.0 FDA 60.5 76.2 75.9 80.8 73.4 9.3 5.8 9.2 8.2 8.1 ICMSC 72.4 86.4 84.3 85.6 82.2 3.2 3.3 3.4 2.4 3.1 CUDA 72.8 88.5 83.0 87.2 82.9 6.8 2.8 5.2 7.0 5.5 LE-UDA 62.1 83.7 74.6 72.9 73.3 6.6 5.8 6.6 23.0 10.4 FSUDA 82.4 87.5 84.6 86.8 85.3 3.1 2.5 3.2 1.6 2.6 TreUCMIS 86.1 92.5 90.8 93.2 90.7 1.5 1.1 1.3 1.7 1.4

表4 各方法在心脏器官MRI→ CT分割任务上的性能对比 Table 4 Performance comparison of different methods in cardiac structure MRI→ CT segmentation tasks

在无监督域自适应CT→ MRI分割任务中, LE-UDA表现最优, 平均Dice值为69.8%, 平均ASD值为3.5, 而TreUCMIS的平均Dice值为79.5%, 平均ASD值为3.2, 相比LE-UDA, 平均Dice值提高9.7%, 平均ASD值降低0.3.

在无监督域自适应MRI→ CT的分割任务中, FSUDA表现最优, 平均Dice值为85.3%, 平均ASD值为2.6, 而TreUCMIS的平均Dice值为90.7%, 平均ASD值为1.4, 相比FSUDA, 平均Dice值提高5.4%, 平均ASD值降低1.2.

由表1~表4可发现, 心脏结构数据集的域偏移问题比腹部器官数据集更严重, TreUCMIS在心脏数据上对域偏移问题的改善更显著, 这表明在域偏移更严重的情况下, TreUCMIS的改善效果更明显.

图7可视化不同方法对心脏结构的分割结果, 分别使用黄色、红色、棕色、蓝色表示MYO、LAC、LVC、AA的心脏结构, 图像左上角红色方框为细节放大图.

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 各方法在心脏图像上分割结果的可视化Fig.7 Visualization of segmentation results of different methods on cardiac images

由图7可见, 使用不同的域适应方法后, 分割结果得到很大改善, TreUCMIS取得更精细的分割结果, 对器官位置及器官边界的分割更准确.例如:在图7第2幅图像中, TreUCMIS成功分割左心房血腔(红色部分).综上所述, TreUCMIS在心脏结构分割任务中表现较优性能.

本文在腹部器官MRI→ CT分割任务和心脏结构CT→ MRI分割任务上进行消融实验, 验证TreUCMIS中SFLM、SFEM、TDGM的有效性, 具体结果如表5所示, 表中黑体数字表示最优值.

表5

Table 5

表5(Table 5)

表5 各模块的消融实验结果 Table 5 Ablation experiment results of different modules SFLM SFEM TDGM 共有特征 融合特征 腹部器官MRI→ CT 心脏结构CT→ MRI 平均Dice/% 平均ASD 平均Dice/% 平均ASD - - - √ - 77.0 4.1 49.1 11.0 √ - - √ - 84.1 1.9 77.1 4.2 √ √ - √ - 84.3 1.5 77.4 3.4 √ - √ - √ 84.6 1.3 78.1 3.5 √ √ √ √ - 83.8 1.5 77.7 3.5 √ √ √ - √ 85.3 1.3 79.5 3.2

表5 各模块的消融实验结果 Table 5 Ablation experiment results of different modules

由表5可见, 当不使用任何域自适应方法时, 对腹部器官分割的平均Dice值仅有77.0%.使用SFLM进行共有特征提取后, 平均Dice值比W/o adaptation提升7.1%, 达到84.1%.当不使用任何域自适应方法时, 对心脏结构分割的平均Dice值仅有49.1%.使用SFLM进行共有特征提取后, 平均Dice值比W/o adaptation提升28%, 达到77.1%.这充分说明SFLM在提取MRI与CT共有特征上的有效性.

在SFLM的基础上, 使用SFEM后, 腹部器官分割的平均Dice值提升0.2%, 达到84.3%.心脏结构分割的平均Dice值提升0.3%, 达到77.4%.这说明SFEM增强多层次特征共有空间的有效性.

在SFLM的基础上, 使用TDGM后, 腹部器官分割的平均Dice值提升0.5%, 达到84.6%, 心脏结构分割的平均Dice值提升1.0%, 达到78.1%.这说明TDGM学习目标域完整特征进行分割的有效性.

结合SFLM、SFEM、TDGM, 腹部器官分割的平均Dice值达到85.3%, 比W/o adaptation提高8.3%, 心脏结构分割的平均Dice值达到79.5%, 比W/o adaptation提高30.4%.结合SFLM、SFEM、TDGM后性能优于使用单个模块, 这是因为结合SFLM和SFEM增强共有特征空间后, 预测结果更准确, TDGM使用增强后的共有特征, 在输出空间进行一致性正则化, 对模型的训练更稳定.

为了进一步验证提取的目标域的融合特征对分割性能提升的有效性, 对比在使用SFLM、SFEM与TDGM训练完模型后, 使用共有特征和融合特征进行分割的效果.在腹部器官分割中使用目标域的融合特征进行分割比使用目标域的共有特征进行分割的平均Dice值提高1.5%, 在心脏结构分割中使用目标域的融合特征进行分割比使用目标域的共有特征进行分割的平均Dice值提高1.8%.

实验表明, 使用目标域的共有特征和目标域的完整特征融合后的特征进行分割, 效果更优.在心脏结构分割中, 域偏移问题比腹部器官更严重, 且应用各个模块的提升比腹部器官更大, 说明在域偏移更严重的数据集上, TreUCMIS的优势更明显.

相比FSUDA、LE-UDA, 本文使用颜色变换数据增强.下面对其进行消融实验, 在心脏结构数据集和腹部器官数据集上分析W/o adaptation情况下使用颜色变换数据增强及UDA情况下使用颜色变换数据增强对性能的影响, 结果如表6和表7所示.表中使用ctrans(Color Transformation)表示颜色变换数据增强, 黑体数字表示最优值.

表6

Table 6

表6(Table 6)

表6 腹部器官分割任务数据增强消融实验结果 Table 6 Results of ablation experiments on data augmentation for abdominal organ segmentation tasks UDA ctrans MRI→ CT CT→ MRI 平均Dice/% 平均ASD 平均Dice/% 平均ASD - - 77.0 4.1 74.4 2.2 - √ 77.3 2.3 84.6 1.5 √ - 84.7 1.3 89.6 1.4 √ √ 85.3 1.3 90.4 1.3

表6 腹部器官分割任务数据增强消融实验结果 Table 6 Results of ablation experiments on data augmentation for abdominal organ segmentation tasks

表7

Table 7

表7(Table 7)

表7 心脏结构分割任务数据增强消融实验结果 Table 7 Results of ablation experiments on data augmentation for cardiac structure segmentation tasks UDA ctrans MRI→ CT CT→ MRI 平均Dice/% 平均ASD 平均Dice/% 平均ASD - - 65.2 8.5 49.1 10.9 - √ 67.4 7.0 61.7 5.4 √ - 90.2 1.6 78.8 3.3 √ √ 90.7 1.4 79.5 3.2

表7 心脏结构分割任务数据增强消融实验结果 Table 7 Results of ablation experiments on data augmentation for cardiac structure segmentation tasks

由表6和表7可见, 在腹部器官和心脏结构CT→ MRI分割任务中, 不使用UDA, 使用颜色变换数据增强, 可显著提升分割的准确性.但在MRI→ CT分割任务中, 不使用UDA, 使用颜色变换数据增强对分割性能的提升较小.这说明在不进行域自适应的情况下, 特别是在CT→ MRI分割任务中, 颜色变换数据增强可提升方法对目标域的分割性能, 可能的原因是颜色变换数据增强使方法学到源域和目标域的部分共有特征.

在不使用颜色变换数据增强的情况下使用TreUCMIS, 比单独使用颜色变换数据增强的平均Dice值提高5%以上, 而结合颜色变换数据增强和TreUCMIS, 分割效果得到进一步提升.综上所述, 颜色变换数据增强在医学图像MRI与CT的域自适应任务中对分割结果有一定改善.

本节分析损失函数中系数δ 、γ 、$\epsilon$取不同值时对性能的影响, 其中δ 表示TDGM中的图像重构损失l_recon的权重, γ 表示共有特征鉴别器损失l_adv的权重, $\delta$表示TDGM中对比损失l_cons的权重.取

$\begin{array}{l} \delta=0.2, 0.6, 1.2, 2.4, \\ \gamma=0.2, 0.6, 1.2, 2.4 \\ \epsilon=0.1, 0.5, 1.0, 2.0 \end{array}$

具体指标值结果如表8所示, 表中黑体数字表示最优值.

表8

Table 8

表8(Table 8)

表8 参数灵敏度分析结果 Table 8 Results of parameter sensitivity analysis δ γ $\epsilon$ 腹部器官MRI→ CT 心脏结构CT→ MRI 平均 Dice/% 平均ASD 平均 Dice/% 平均ASD 0.2 0.6 0.5 85.3 1.3 79.5 3.2 0.6 0.6 0.5 84.8 1.4 79.4 3.7 1.2 0.6 0.5 84.3 1.4 79.6 3.3 2.4 0.6 0.5 84.4 1.6 79.1 3.6 0.2 0.2 0.5 85.1 1.3 79.6 3.3 0.2 1.2 0.5 84.2 1.4 78.9 4.2 0.2 2.4 0.5 83.8 1.5 78.4 3.9 0.2 0.6 0.1 84.6 1.4 79.3 3.7 0.2 0.6 1.0 84.5 1.5 79.9 3.1 0.2 0.6 2.0 84.1 1.5 78.6 4.1

表8 参数灵敏度分析结果 Table 8 Results of parameter sensitivity analysis

由表8可见, 在腹部器官MRI→ CT分割任务上, 平均Dice值最高为85.3%, 最低为83.8%, 相差1.5%.平均ASD值最高为1.6, 最低为1.3, 相差0.3.当δ =0.2, γ =0.6, $\epsilon$=0.5时, Dice值最高.在心脏结构CT→ MRI分割任务中, 平均Dice值最高为79.9%, 最低为78.4%, 相差1.5%.平均ASD值最高为4.2, 最低为3.1, 相差1.1.当δ =0.2, γ =0.6, $\epsilon$=1.0时, 效果最优.上述数值说明TreUCMIS训练结果的稳定性较强.