基于三路径网络的医学图像分割方法

引用本文

蒋清婷, 叶海良, 曹飞龙. 基于三路径网络的医学图像分割方法. 模式识别与人工智能, 2024,37(1): 1-12
JIANG Qingting, YE Hailiang, CAO Feilong. Medical Image Segmentation Method with Triplet-Path Network. PATTERN RECOGNITION AND ARTIFICIAL INTELLIGENCE, 2024,37(1): 1-12. 复制到剪切板

Doi: 10.16451/j.cnki.issn1003-6059.202401001
Permissions

《模式识别与人工智能》编辑部

基于三路径网络的医学图像分割方法

蒋清婷¹, 叶海良¹, 曹飞龙¹

1.中国计量大学理学院应用数学系杭州 310018

通讯作者:

叶海良,博士,讲师.主要研究方向为深度学习、图神经网络、图像处理、点云分析等.E-mail:yhl575@163.com.

作者简介:

蒋清婷,硕士研究生,主要研究方向为深度学习、图神经网络、医学图像处理.E-mail:jqt0723@163.com.

曹飞龙,博士,教授,主要研究方向为深度学习、图像处理等.E-mail:icteam@163.com.

收稿日期: 2023-11-02 修回日期: 2023-12-26

资助项目: 国家自然科学基金项目(No.62006215,62176244)资助

摘要

卷积神经网络由于强大的特征提取能力在医学图像分割任务上取得一定进展,但仍需提升边缘分割的准确性.为此,文中提出基于边缘选择图推理的三路径网络,包括目标定位路径、边缘选择路径和细化路径.在目标定位路径中,设计多尺度特征融合模块,聚合高级特征,实现病变区域的定位.在边缘选择路径中,构造边缘选择图推理模块,用于低级特征的边缘筛选,并进行图推理,保证病变区域的边缘形状.在细化路径中,建立渐进式组级细化模块,逐步细化不同尺度特征的结构信息与细节信息.此外,引入融合加权Focal Tversky 损失和加权交并比损失的复合损失,减轻类不平衡的影响.在公开数据集上的实验表明,文中方法性能较优.

关键词: 图神经网络; 医学图像分割; 深度学习; 边缘学习

中图分类号:TP391

Medical Image Segmentation Method with Triplet-Path Network

JIANG Qingting¹, YE Hailiang¹, CAO Feilong¹

1. Department of Applied Mathematics, College of Sciences, China Jiliang University, Hangzhou 310018

Corresponding author:
YE Hailiang, Ph.D., lecturer. His research interests include deep learning, graph neural networks, image processing and point cloud analysis.
About Author:
CAO Feilong, Ph.D., professor. His research interests include deep learning and image processing.
JIANG Qingting, Master student. Her research interests include deep learning, graph neural networks and medical image proce-ssing.

Fund:National Natural Science Foundation of China(No.62006215,62176244)

Abstract

Convolutional neural networks make certain progress in medical image segmentation tasks due to their powerful feature extraction capabilities. However, the accuracy of edge segmentation still needs to be improved. To address this problem, a triplet-path network based on edge selection graph reasoning is proposed in this paper, including the target localization path, edge selection path and refinement path. In the target localization path, a multi-scale feature fusion module is designed to aggregate high-level features for the localization of lesion regions. In the edge selection path, an edge-selective graph reasoning module is constructed for edge screening of low-level features and graph reasoning to ensure the edge shape of the relevant lesion region. In the refinement path, a progressive group level refinement module is established to refine the structure information and details of different scale features. Moreover, a composite loss fusing weighted Focal Tversky loss and a weighted intersection over union loss is introduced to mitigate the effects of class imbalance. Experimental results on public datasets demonstrate the superior performance of the proposed method.

Key words: Graph Neural Networks; Medical Image Segmentation; Deep Learning; Edge Learning

文章图片

医学图像分割是医学图像处理和分析领域中复杂、重要的任务之一^{[1, 2]}.临床医生通常利用成像技术观察图像中器官等病变的情况, 以便在疾病的早期阶段进行干预^[3].然而, 医学图像本身往往存在边缘模糊的问题, 使边缘分割的效果不够理想, 给临床医生的诊断带来巨大的障碍^{[4, 5]}.因此, 医学图像边缘的精准分割是一个极具前景的研究方向.

近年来, 卷积神经网络(Convolutional Neural Networks, CNN)在医学图像分割任务中取得重大进展.特别是, 2015年Ronneberger等^[6]提出U-Net, 已成为后续许多医学图像分割方法研究的基准网络^{[7, 8]}.Zhou等^[9]构造UNet++, 设计密集跳跃连接, 更好地利用不同尺度下解码器的特征.Gu等^[10]引入空洞卷积, 提出CE-Net(Context Encoder Network).

然而, 上述方法在编码与解码过程中都连续采样, 容易导致空间信息和细节信息的丢失, 不利于医学图像的边缘分割^[11].为此, 研究人员提出基于注意力机制的边缘细化方法^{[12, 13, 14]}和基于CNN的边缘分割方法.Zhou等^[15]提出CFA-Net(Cross-Level Feature Aggregation Network), 设计两个分割网络, 整合语义信息和边界信息.Fan等^[16]提出PraNet(Parallel Reverse Attention Network), 引入反注意力模块, 关注病变区域外的边缘部分.Cao等^[17]提出TSD-BA(Two-Stage Decoding Network with Boundary Attention), 利用粗预测作为先验, 进一步挖掘边界特征.然而, 上述方法仅考虑单独添加先验指导信息, 未考虑特征通道之间的不平衡性, 效果相对较弱, 很难保证边缘形状分割的连续性.

近年来, 图神经网络(Graph Neural Networks, GNN)在远程信息推理方面显示出巨大的潜力, 已逐渐应用于医学图像的分割任务中^[18].对于CNN很难保证目标形状连续性的问题, GNN将形状的连续性编码为图的约束, 确保网络预测的连续性^[19].Shin等^[20]使用CNN和GNN的组合进行视网膜血管分割.Meng等^[21]提出边界感知图卷积网络, 用于医学图像分割.进一步, Meng等^[22]又提出一种基于GNN的区域和边界聚合网络.Wang等^[23]提出CGRNet(Contour Guided Graph Reasoning Network).Liu等^[24]提出MFBGR(Multi-scale Feature Boundary Graph Rea-soning Network for Polyp Segmentation).然而, 上述方法均通过图表示学习对边界特征进行推理, 忽略非目标边界信息的干扰, 容易造成目标边缘推理的错误.

为了更好地解决上述问题, 本文针对医学图像分割任务, 提出基于边缘选择图推理的三路径网络(Triplet-Path Network Based on Edge Selection Graph Reasoning, ESG-TNet), 借鉴由粗化到细化的策略, 实现逐步分割的思想.具体来说, ESG-TNet包括目标定位路径、边缘选择路径和细化路径.在目标定位路径中, 构造多尺度特征融合模块(Multi-scale Fea-ture Fusion Module, MFFM), 融合高层特征, 生成一个粗全局位置图.在边缘选择路径中, 设计边缘选择图推理模块(Edge Selection Graph Reasoning Module, ESGM), 选择突出的关键目标边缘特征进行图推理, 生成初始边缘分割图.在细化路径中, 将粗全局位置图作为初始指导图添加到浅层特征中, 构建渐进式组级细化模块(Progressive Group Refinement Module, PGRM), 进一步挖掘结构信息和细节信息.此外, 本文引入融合加权Focal Tversky 损失和加权交并比损失的复合损失, 缓解类不平衡的影响.

1 基于边缘选择图推理的三路径网络

本文提出基于边缘选择图推理的三路径网络(ESG-TNet), 整体框架如图1所示.

	Figure Option View Download New Window
	图1 本文方法流程图Fig.1 Flow chart of the proposed method

ESG-TNet包括目标定位路径、边缘选择路径和细化路径.目标定位路径包含多尺度特征融合模块(MFFM), 聚合主干网络中最后三层的高级特征, 实现初始的粗全局位置图.边缘选择路径包含边缘选择图推理模块(ESGM), 选择突出的目标边缘特征进行图推理, 生成初始目标边缘特征图.细化路径将目标定位路径中得到的粗全局位置图作为初始指导先验添加到浅层特征中, 通过渐进式组级细化模块(PGRM)采取自下而上的方式进一步细化.

本文选择Res2Net-50^[25]作为ESG-TNet的主干网络.Res2Net-50由1个卷积层、4个多层残差卷积块和1个全连接层组成.本文使用前5个卷积模块, 捕获5个不同分辨率的特征图.对于输入尺寸为H× W× C的图像X, 在主干网络中提取5个不同层次的特征图, 分别表示为F₁, F₂, …, F₅, 分辨率分别为

$\frac{H}{2^{i}}$ × $\frac{W}{2^{i}}$ × C_i, i=1, 2, 3, 4, 5,

其中C_i表示第i个特征通道数.

1.1 多尺度特征融合模块

由于医学图像的低层特征存在复杂的背景区域, 容易导致不准确的目标分割.因此, 本文设计多尺度特征融合模块(MFFM), 聚合高层特征, 较准确地定位目标区域.故将该过程称为目标定位路径, 具体流程如图2所示.

	Figure Option View Download New Window
	图2 MFFM流程图Fig.2 Flow chart of MFFM

为了不增加计算成本, 对最后三层的输入特征F_i进行降维操作, 每个分支使用1× 1卷积核, 将通道数减少到32, 即

F'_i=σ (W_i* F_i), i=3, 4, 5,

其中, W_i表示1× 1的卷积核, * 表示卷积操作, σ (· )表示ReLU函数.

本文使用连续的卷积和拼接操作融合相邻两个分支的特征, 可得

${\overset{︿}{F}}_{i}$ =σ (Ψ _i* [σ (Φ _i* F'_i)‖ σ (Φ _i₊₁* Up(F'_i₊₁))]), i=3, 4,

其中, Ψ _i、Φ _i和Φ _i₊₁表示3× 3的卷积核, Up(· )表示上采样操作, ‖ 表示拼接操作.经过同样的操作, 融合上述 ${\overset{︿}{F}}_{3}$ 和 ${\overset{︿}{F}}_{4}$ , 可得

${\bar{F}}_{3}$ =σ (Γ ₃* [σ (Q₃* ${\overset{︿}{F}}_{3}$ )‖ σ (Q₄* Up( ${\overset{︿}{F}}_{4}$ ))]),

其中Γ _i、Q_i和Q_i₊₁表示3× 3的卷积核.

最后, 对特征 ${\bar{F}}_{3}$ 使用一个1× 1的卷积层, 获得初始的粗全局分割图S₆.

MFFM整合多层高级特征, 有效实现语义特征的融合, 较准确地定位目标区域.

1.2 边缘选择图推理模块

在目标定位路径中, MFFM聚集最高的三层特征, 实现粗全局位置图.然而, 低级特征通常也包含大量的边界信息, 有利于目标边界的分割.现有方法往往忽略这点, 同时还忽略非目标边界信息的干扰, 容易造成边缘分割的错误.

因此, 本文提出边缘选择图推理模块(ESGM), 突出低级特征中的目标边界信息, 改善医学图像边缘分割的质量, 此过程称为边缘选择路径.ESGM流程图如图3所示.

	Figure Option View Download New Window
	图3 ESMG流程图Fig.3 Flow chart of ESMG

具体地, 首先将低层特征F₁和F₂经过一个1× 1卷积层, 动态考虑不同通道中同一空间位置信息的重要性, 并根据相应的重要性对所有边缘信息进行聚合, 即

E_i=δ (Z_i* F_i), i=1, 2,

其中, δ (· )表示Sigmoid函数, Z_i表示1× 1的卷积核.然后, 设置多个阈值过滤信息, 确定边缘信息的位置.假设ESGM包含N个路径, 每个路径都使用一个阈值, 第j个路径的边缘置信图如下:

ECM $_{i}^{j}$ (m, n)= $\{\begin{array}{l} 1, & E_{i} (m, n) > τ_{j} \\ 0, & E_{i} (m, n) \leq τ_{j} \end{array}$

i=1, 2; j=1, 2, …, N,

其中, (m, n)表示空间坐标, τ _j表示第j个路径对应的阈值.

通常确定相关信息的准则是:只有当E_i每个位置的元素大于或等于阈值时, 该位置才被识别为目标边缘位置.一般而言:设置一个较低的阈值意味着判断条件不严格, 可保留丰富的边缘信息, 但容易引入背景噪声; 设置一个高阈值意味着判断标准十分严格, 可收集有限且可靠的边缘信息, 但往往会丢弃一些潜在的边缘信息, 导致边缘信息的不完整.这两种设置在某种程度上是互补的.因此, 本文考虑一个融合低、中和高三路径信息的边缘选择, 综合考虑较低、适中和较高阈值的优势, 便于获得较好的初始目标边缘.

基于 $EC M_{i}^{j}$ 提供的相关信息的位置, 结合F_i与 $EC M_{i}^{j}$ , 选择最相关的目标边缘信息, 即

${\hat{E}}_{i}^{j} = T_{i}^{j} * (F_{i} ⨂ {ECM}_{i}^{j}), i = 1, 2; j = 12, 3$ ,

其中, $⨂$ 表示哈达玛积, $T_{i}^{j}$ 表示3× 3的卷积核.将这3种路径的结果相乘, 确定初始目标边缘特征图:

${\hat{E}}_{i} = {\hat{E}}_{i}^{1} ⨂ {\hat{E}}_{i}^{2} ⨂ {\hat{E}}_{i}^{3}, i = 1, 2$ ,

最后, 利用图神经网络进行边缘图推理.将获取的 ${\overset{︿}{E}}_{i}$ 作为图神经网络的输入, 经过图卷积网络推理, 获得最终目标边缘的完整形状.这个过程包括如下3步.

1)投影.将给定的初始边缘特征 ${\overset{︿}{E}}_{i}$ (i=1, 2)分别投影到节点空间.具体地, 先分别将

${\overset{︿}{E}}_{i}$ ∈ $R^{\frac{H}{2^{i}} \times \frac{W}{2^{i}} \times C_{i}}$ , i=1, 2

转换成

X_i∈ $R^{L_{i} \times C_{i}}$ , L_i= $\frac{H}{2^{i}}$ × $\frac{W}{2^{i}}$ ,

再投影到一个新的节点特征

V_i=P_iX_i∈ $R^{N_{i} \times C_{i}}$ , i=1, 2,

其中P_i∈ $R^{N_{i} \times L_{i}}$ 表示投影矩阵.

2)图推理.从V_i中学习节点之间的连通性, 得到邻接矩阵:

A_i=(B_i* V_i)(B_i* V_i)^T∈ $R^{N_{i} \times N_{i}}$ , i=1, 2,

其中B_i表示1× 1的卷积核.同时, 利用图卷积算子在节点之间传播消息.根据文献[26], 图卷积算子的定义为

${\tilde{E}}_{i}$ =σ ( ${\tilde{D}}_{i}^{- \frac{1}{2}} {\tilde{A}}_{i} {\tilde{D}}_{i}^{- \frac{1}{2}} V_{i}$ Θ _i), i=1, 2,

其中, ${\tilde{A}}_{i}$ 表示A_i+I_i, I_i表示单位矩阵, ${\tilde{D}}_{i}$ 表示 ${\tilde{A}}_{i}$ 的度矩阵,

${({\tilde{D}}_{i})}_{tt}$ = $\sum_{s} {({\tilde{A}}_{i})}_{st}$ ,

Θ _i表示可学习的参数.

3)逆投影.经过图卷积神经网络进行推理后, 可更新每个节点的特征.为了适应现有模型, 需要学习一个映射函数, 将更新的节点特征 ${\tilde{E}}_{i}$ ∈ $R^{N_{i} \times C_{i}}$ 映射回原始特征空间:

D_i= $(P_{i})^{T} {\tilde{E}}_{i}$ ∈ $R^{\frac{H}{2^{i}} \times \frac{W}{2^{i}} \times C_{i}}$ , i=1, 2.

与1)类似, 仍采用投影矩阵P_i实现.

综上所述, ESGM不仅考虑边缘特征的筛选, 过滤大量背景噪声的干扰, 还利用图推理网络保证边缘形状的连续性, 有效提升分割性能.

1.3 渐进式组级细化模块

在目标定位路径中, MFFM聚集最高的三层特征, 捕获粗全局位置图.这些高级特征图中具有丰富的语义信息, 有利于目标定位, 但忽略结构和细节信息.为此, 本文构建渐进式组级细化模块(PGRM), 将粗预测图作为初始指导先验添加到浅层中, 通过弱、中和强三种渐进式指导方式逐步挖掘医学图像的结构信息和细节信息, 此过程称为细化路径.通过这种方式, 网络可识别更多医学图像的空间结构和细节信息, 并逐步交互细化.PGRM流程图如图4所示.

	Figure Option View Download New Window
	图4 PGRM流程图Fig.4 Flow chart of PGRM

本文设计一个反向指导策略, 通过Sigmoid函数和反向操作, 得到反向指导先验:

$G_{i}^{0}$ = $\{\begin{array}{l} E - σ (Down (S_{i + 1})), & i = 5 \\ E - σ (Up (S_{i + 1})), & i = 1, 2, 3, 4 \end{array}$

其中, Down(· )表示下采样操作, E表示元素全为1的矩阵.

由于特征通道之间存在差异, 单独添加指导先验的作用相对较弱.受文献[27]的启发, 本文引入特征分组的思想, 充分利用通道之间的冗余性和差异性, 有效利用反向指导先验.同时, 结合弱、中、强三种渐进式的指导先验进一步细化特征.如图4所示, 将特征沿通道维度分成多组g^k, 反向指导先验 $G_{i}^{k}$ (k=0, 1, 2)周期性地插入这些分组特征并合并.之后利用卷积操作和残差连接, 得到细化特征和指导先验:

$\begin{array}{l} F_{i}^{k + 1} = F_{i}^{k} + σ (Z_{i}^{k} * (FG ([F_{i}^{k}, G_{i}^{k}; g^{k}]))), \\ G_{i}^{k + 1} = G_{i}^{k} + σ (Ω_{i}^{k} * F_{i}^{k + 1}), \end{array}$ k=0, 1, 2, i=1, 2, 3, 4, 5,

其中, $Z_{i}^{k}$ 、 $Ω_{i}^{k}$ 表示3× 3的卷积核, FG(· )表示特征分组 $Z_{i}^{k}$ .注意到

$F_{i}^{0}$ =F_i, i=3, 4, 5

或

$F_{i}^{0}$ =D_i, i=1, 2.

经过PGRM细化后, 得到最终的分割预测:

S_i= $\{\begin{array}{l} G_{i}^{3} + Up (S_{i + 1}), & i = 1, 2, 3, 4 \\ G_{i}^{3} + Down (S_{i + 1}), & i = 5 \end{array}$

综上所述, PGRM实现结构信息和细节信息的细化, 多阶段的细化模块更有利于提升分割性能.

1.4 复合损失

受像素位置感知损失^[28]的启发, 本文提出一个复合损失, 定义为

L=L_wFTL+L_wIoU.

其中:L_wFTL表示用于局部约束的加权Focal Tversky损失, 可缓解医学图像的类不平衡问题; L_wIoU表示用于全局约束的加权交并比损失.具体地, 加权Focal Tversky损失定义为

L_wFTL= $\frac{\sum_{m} (1 + γ ϕ_{mn})}{\sum_{m} γ ϕ_{mn}}$ (1-TI)^η,

其中, ϕ _mn由中心像素与其周围的差值计算得到, γ 、η 表示超参数, TI表示Tversky指数^[29],

TI= $\frac{\overset{2}{\sum_{c}} \overset{N}{\sum_{n}} y_{nc} {\hat{y}}_{nc}}{\overset{2}{\sum_{c}} \overset{N}{\sum_{n}} y_{nc} {\hat{y}}_{nc} + 0.5 (1 - y_{nc}) {\hat{y}}_{nc} + 0.5 \overset{N}{\sum_{n}} y_{nc} (1 - {\hat{y}}_{nc})}$ ,

y_nc表示第n个像素是否属于第C类, ${\hat{y}}_{nc}$ 表示第n个像素是否属于第C类的预测概率.

L_wIoU旨在优化全局约束, 不受不平衡分布的影响, 定义为

L_wIoU=1- $\frac{1}{N}$ ( $\frac{\sum_{m} (1 + γ ϕ_{mn}) y_{nm} {\hat{y}}_{nm}}{\sum_{m} γ ϕ_{mn} (y_{nm} + {\hat{y}}_{nm} - y_{nm} {\hat{y}}_{nm})}$ ),

其中y_nm和 ${\hat{y}}_{nm}$ 表示(m, n)处像素的真实值和预测值.

本文中所有的输出分割图都被上采样到与分割标签图G相同的大小, 因此, 总损失

L_total= $\overset{6}{\sum_{i}}$ L(G, S_i).

2 实验及结果分析

2.1 实验数据集

为了验证ESG-TNet的有效性, 选择结肠镜图像CVC-ClinicDB^[30]、CVC-ColonDB^[31]和乳腺超声图像BUS-B^[32]这3个医学图像数据集进行实验.

CVC-ClinicDB数据集是一个公共的结肠镜数据库, 包含612幅结肠镜图像, 每幅图像尺寸为384× 288, 病变平均占比为9.3%± 7.76%.CVC-ColonDB数据集包含380幅结肠镜图像, 每幅图像尺寸为574× 500, 病变平均占比为7.45%± 10.8%.2个数据集的训练集和测试集比例与PraNet^[16]一致, 均为9∶ 1.

BUS-B数据集包含163幅乳腺超声图像, 每幅图像都含有一个或多个病变区域, 每幅图像的尺寸是变化的, 病变平均占比为4.84%± 5.45%.与Atten-tion UNet^[33]一样, 该数据集随机将75%的样本用于训练, 剩余25%的样本用于测试.

2.2 实验设置

本文使用缩放、翻转、直方图匹配和旋转四种方式进行数据增强, 所有的输入图像尺寸统一调整为256× 256.优化器采用Adam(Adaptive Moment Es-timation)^[34], 初始学习率设置为1e-4, 每20轮衰减一半.这3个数据集均训练100个迭代周期, 批大小设置为10.

所有实验均在NVIDIA RTX 2080Ti GPU上基于Pytorch框架实现.渐进式组级细化模块(PGRM)中分组为g₀=1, g₁=4, g₂=32.在边缘选择中, 经验性设置超参数τ ₁=0.3, τ ₂=0.5, τ ₃=0.7.在损失函数中, 经验性设置超参数γ =4, η =1.5.

本文采用DSC(Dice Score)^[35]、交并比(Inter-section over Union, IoU)、精确度和召回率作为评价指标^{[36, 37]}.

2.3 实验结果对比

为了验证ESG-TNet的医学图像分割性能, 本文选择如下对比方法.

1)经典方法:U-Net^[6]、UNet++^[9].

2)基于注意力机制的方法:基于三重交互关注网络 (Triplet Interactive Attention Network, TIAN)^[7]、SANet (Shallow Attention Network)^[12]、AAU-Net (Adap-tive Attention U-Net)^[13]、PVT-CASCADE (Pyramid Vi-sion Transformer and Cascaded Attention Decoder)^[14].

3)基于边缘分割的方法:CFA-Net^[15]、PraNet^[16]、TSD-BA^[17].

4)基于卷积神经网络和图神经网络结合的方法:CGRNet^[23].

各方法在3个数据集上的指标值对比如表1~表3所示, 表中结果为5次实验的平均值, 黑体数字表示最优值.各方法可视化效果对比如图5~图7所示.

表1 各算法在CVC-ClinicDB数据集上的定量对比 Table 1 Quantitative comparison of different methods on CVC-ClinicDB dataset %

表2 各算法在CVC-ColonDB数据集上的定量对比 Table 2 Quantitative comparison of different methods on CVC-ColonDB dataset %

表3 各算法在BUS-B数据集上的定量对比 Table 3 Quantitative comparison of different methods on BUS-B dataset %

	Figure Option View Download New Window
	图5 各算法在CVC-ClinicDB数据集上的视觉效果对比Fig.5 Visualization comparison of different algorithms on CVC-ClinicDB dataset

	Figure Option View Download New Window
	图6 各算法在CVC-ColonDB数据集上的视觉效果对比Fig.6 Visualization comparison of different algorithms on CVC-ColonDB dataset

	Figure Option View Download New Window
	图7 各算法在BUS-B数据集上的视觉效果对比Fig.7 Visualization comparison of different algorithms on BUS-B dataset

从表1可以看出, 在CVC-ClinicDB数据集上, ESG-TNet在DSC、IoU和召回率指标上实现最优, 在精确度指标上取得第三优.尽管PraNet的精确度为94.85%, 但召回率只有91.86%, 这意味着该结果的假阴性较高、真阳性较低, 造成分割错误.因此, 只有较高的精度不足以表明其良好的分割性能, 而本文的损失函数有助于精确度和召回率之间的平衡.图5中对比方法存在不能正确识别病变区域的情况, 但ESG-TNet不仅能准确识别病变区域, 还能较好地保证边缘分割的形状.

从表2可以看出, 在CVC-ColonDB数据集上, ESG-TNet在DSC、IoU和召回率指标上实现最优, 在精确度指标上实现第三优.对比其它方法, ESG-TNet分别在DSC、IoU和召回率指标上至少提升0.85%, 0.28%和1.21%.从图6可看出, 对比方法不能有效定位病变区域的位置, 在区域边界分割上存在严重的分割不足, 难以分割正确的区域边界.

从表3可以看出, 在BUS-B数据集上, ESG-TNet在所有指标上均实现最优.由于该数据集存在严重的边缘模糊问题, 很难区分区域和背景, 导致分割困难.从图7可看出, 对比方法几乎难以分割区域及区域的边界, 而ESG-TNet能较好地定位病变区域的位置, 保证相对清晰和完整的病变区域的边界形状, 较好地克服该数据集的分割挑战.

总之:从定量的角度出发, ESG-TNet在各评价指标上都有显著改善; 从可视化的角度出发, ESG-TNet不仅可实现病变区域的准确识别, 还可较好地保证病变区域边界的相对完整.这都得益于ESG-TNet中的3个模块:1)MFFM结合高层次特征, 初步实现较好的目标定位; 2)ESGM利用底层特征丰富的边界信息, 经过选择和图推理, 保证较好的边界形状; 3)PGRM逐层细化, 进一步完善粗分割的结构信息和细节信息, 得到最终较完美的分割结果.

2.4 消融实验结果

为了验证ESG-TNet中3个模块的有效性, 建立如下不同的组合模型进行消融实验.

1)模型1.移除ESG-TNet中所有模块, 仅有ESG-TNet的主干网络.

2)模型2.移除ESG-TNet中ESGM和PGRM, 即在模型1的基础上加入MFFM.

3)模型3.移除ESG-TNet中的PGRM, 即在模型2的基础上加入ESGM.

4)ESG-TNet.在模型3的基础上加入PGRM.

具体消融实验结果如图8所示.从图可看出, 在3个数据集上, 模型2中所有指标值均优于模型1.这表明MFFM对分割性能的提升有一定的作用.在模型2的基础上, 模型3的DSC、IoU和召回率指标均实现较大提升, 特别是在CVC-ColonDB数据集上, DSC、IoU和召回率指标都增长超过3%, 这表明ESGM能促进有效的分割.相比模型3, ESG-TNet中所有指标均实现显著的提升, 特别是在DSC指标上提升超过4%, 在IoU和召回率指标上提升超过6%, 这表明PGRM可极大提升分割性能.

	Figure Option View Download New Window
	图8 3个数据集上的消融实验结果Fig.8 Results of ablation experiment on 3 datasets

综上所述, 在3个数据集上, MFFM、ESGM和PGRM都起到积极作用, 有利于提升医学图像分割的性能.

2.5 超参数讨论

本节在CVC-ClinicDB数据集上讨论初始目标边缘选择中的阈值组合和损失函数中超参数的选择.记τ ₁, τ ₂和τ ₃分别表示用于设置较低、适中和较高的阈值组合, 本文经验性选择3种组合进行实验, 具体指标值如表4所示, 表中黑体数字表示最优值.

表4 不同的阈值组合选取对ESG-TNet性能的影响 Table 4 Effect of different threshold combinations on ESG-TNet performance %

由表4可见, 当τ ₁=0.3, τ ₂=0.5, τ ₃=0.7时, 分割性能最优, 因此, 本文选择τ ₁=0.3, τ ₂=0.5, τ ₃=0.7进行实验.类似地, 在另两个数据集上也经验性地选取τ ₁=0.3, τ ₂=0.5, τ ₃=0.7进行实验.

本文还进一步讨论普通单一阈值法和无初始目标边缘选择对ESG-TNet性能的影响, 具体指标值对比如表5和表6所示, 表中黑体数字表示最优值. 从表5可看出, 相比普通的单一阈值法, ESG-TNet具有较好的性能提升.同时, 从表6可看出, 初始目标边缘选择有助于后续整体算法性能提升.

表5 ESG-TNet与单一阈值法在CVC-ClinicDB数据集上的性能对比 Table 5 Performance comparison of ESG-TNet and single threshold method on CVC-ClinicDB dataset %

表6 有无初始目标边缘选择对ESG-TNet性能的影响 Table 6 ESG-TNet performance with or without initial target edge selection %

此外, 损失函数中超参数γ 和η 用于调整像素比例.本文经验性地选择 γ =1, 2, 3, 4, 5, 6和η =0.5, 1, 1.5, 2, 2.5, 3, 在CVC-ClinicDB数据集上进行实验.具体指标值如图9所示.

	Figure Option View Download New Window
	图9 不同的γ 和η 对ESG-TNet性能的影响Fig.9 Effect of different values of γ and η on ESG-TNet performance

由图9可见, 当γ =4和η =1.5时, ESG-TNet分割效果最优.因此, 本文选择γ =4和η =1.5.类似地, 在另两个数据集也经验性选取γ =4和η =1.5进行实验.

3 结束语

本文提出基于边缘选择图推理的三路径网络(ESG-TNet), 该网络分别用于目标定位、边缘选择和细节细化.具体地:多尺度特征融合模块聚合高层次特征, 实现目标定位; 边缘选择图推理模块精准选择突出的目标边缘特征, 进行图推理; 渐进式组级细化模块用于细化结构信息和细节信息.此外, 本文引入融合加权Focal Tversky损失和加权交并比损失的复合损失, 减轻类不平衡的影响.在3个类不平衡的公共数据集上的一系列实验表明, ESG-TNet实现较优的分割性能.但是, ESG-TNet还存在可继续探索的空间, 如可尝试利用元学习策略进行超参数的自适应选择, 今后可考虑在这些方面展开研究.

本文责任编委叶东毅

Recommended by Associate Editor YE Dongyi

参考文献

文献选项

[1]	LITJENS G, KOOI T, BEJNORDI B E, et al. A Survey on Deep Learning in Medical Image Analysis. Medical Image Analysis, 2017, 42: 60-88. [本文引用:1]
[2]	刘少鹏, 洪佳明, 梁杰鹏, 等. 面向医学图像分割的半监督条件生成对抗网络. 软件学报, 2020, 31(8): 2588-2602. (LIU S P, HONG J M, LIANG J P, et al. Medical Image Segmentation Using Semi-Supervised Conditional Generative Adversarial Nets. Journal of Software, 2020, 31(8): 2588-2602. ) [本文引用:1]
[3]	SHEN D G, WU G R, SUK H I. Deep Learning in Medical Image Analysis. Annual Review of Biomedical Engineering, 2017, 19: 221-248. [本文引用:1]
[4]	陈大千, 张凡, 郝鹏翼, 等. 结合多尺度通道注意力和边界增强的2D医学图像分割. 计算机辅助设计与图形学报, 2022, 34(11): 1742-1752. (CHEN D Q, ZHANG F, HAO P Y, et al. 2D Medical Image Segmentation Combining Multi-scale Channel Attention and Boundary Enhancement. Journal of Computer-Aided Design and Computer Graphics, 2022, 34(11): 1742-1752. ) [本文引用:1]
[5]	CAMPELLO V M, GKONTRA P, IZQUIERDO C, et al. Multi-centre, Multi-vendor and Multi-disease Cardiac Segmentation: The M&Ms Challenge. IEEE Transactions on Medical Imaging, 2021, 40(12): 3543-3554. [本文引用:1]
[6]	RONNEBERGER O, FISCHER P, BROX T. U-Net: Convolutional Networks for Biomedical Image Segmentation // Proc of the International Conference on Medical Image Computing and Computer-Assi-sted Intervention. Berlin, Germany: Springer, 2015: 234-241. [本文引用:2]
[7]	高程玲, 叶海良, 曹飞龙. 基于三重交互关注网络的医学图像分割算法. 模式识别与人工智能, 2021, 34(5): 398-406. (GAO C L, YE H L, CAO F L. Medical Image Segmentation via Triplet Interactive Attention Network. Pattern Recognition and Artificial Intelligence, 2021, 34(5): 398-406. ) [本文引用:2]
[8]	NING Z Y, ZHONG S Z, FENG Q J, et al. SMU-Net: Saliency-Guided Morphology-Aware U-Net for Breast Lesion Segmentation in Ultrasound Image. IEEE Transactions on Medical Imaging, 2022, 41(2): 476-490. [本文引用:1]
[9]	ZHOU Z W, SIDDIQUEE M M R, et al. TAJBAKHSH N, et al. UNet++: Redesigning Skip Connections to Exploit Multiscale Features in Ima-ge Segmentation. IEEE Transactions on Medical Imaging, 2020, 39(6): 1856-1867. [本文引用:2]
[10]	GU Z W, CHENG J, FU H Z, et al. CE-Net: Context Encoder Network for 2D Medical Image Segmentation. IEEE Transactions on Medical Imaging, 2019, 38(10): 2281-2292. [本文引用:1]
[11]	GAO C L, YE H L, CAO F L, et al. Multiscale Fused Network with Additive Channel-Spatial Attention for Image Segmentation. Knowledge-Based Systems, 2021, 214. DOI: 10.1016/j.knosys.2021.106754. [本文引用:1]
[12]	WEI J, HU Y W, ZHANG R M, et al. Shallow Attention Network for Polyp Segmentation // Proc of the International Conference on Medical Image Computing and Computer-Assisted Intervention. Berlin, Germany: Springer, 2021: 699-708. [本文引用:2]
[13]	CHEN G P, LI L, DAI Y, et al. AAU-Net: An Adaptive Attention U-Net for Breast Lesions Segmentation in Ultrasound Images. IEEE Transactions on Medical Imaging, 2023, 42(5): 1289-1300. [本文引用:2]
[14]	RAHMAN M M, MARCULESCU R. Medical Image Segmentation via Cascaded Attention Decoding // Proc of the IEEE/CVF Winter Conference on Applications of Computer Vision. Washington, USA: IEEE, 2023: 6211-6221. [本文引用:2]
[15]	ZHOU T, ZHOU Y, HE K L, et al. Cross-Level Feature Aggregation Network for Polyp Segmentation. Pattern Recognition, 2023, 140. DOI: 10.1016/j.patcog.2023.109555. [本文引用:2]
[16]	FAN D P, JI G P, ZHOU T, et al. PraNet: Parallel Reverse Atten-tion Network for Polyp Segmentation // Proc of the International Conference on Medical Image Computing and Computer-Assisted Intervention. Berlin, Germany: Springer, 2020: 263-273. [本文引用:3]
[17]	CAO F L, GAO C L, YE H L. A Novel Method for Image Segmentation: Two-Stage Decoding Network with Boundary Attention. International Journal of Machine Learning and Cybernetics, 2022, 13: 1461-1471. [本文引用:2]
[18]	LI Y, ZHANG Y, CUI W G, et al. Dual Encoder-Based Dynamic-Channel Graph Convolutional Network with Edge Enhancement for Retinal Vessel Segmentation. IEEE Transactions on Medical Imaging, 2022, 41(8): 1975-1989. [本文引用:1]
[19]	LU Y, CHEN Y R, ZHAO D B, et al. CNN-G: Convolutional Neu-ral Network Combined with Graph for Image Segmentation with Theoretical Analysis. IEEE Transactions on Cognitive and Developmental Systems, 2021, 13(3): 631-644. [本文引用:1]
[20]	SHIN S Y, LEE S, YUN I D, et al. Deep Vessel Segmentation by Learning Graphical Connectivity. Medical Image Analysis, 2019, 58. DOI: 10.1016/j.media.2019.101556. [本文引用:1]
[21]	MENG Y D, ZHANG H R, GAO D X, et al. BI-GCN: Boundary-Aware Input-Dependent Graph Convolution Network for Biomedical Image Segmentation[C/OL]. [2023-10-20]. https://arxiv.org/pdf/2110.14775v2.pdf. [本文引用:1]
[22]	MENG Y D, ZHANG H R, ZHAO Y T, et al. Graph-Based Region and Boundary Aggregation for Biomedical Image Segmentation. IEEE Transactions on Medical Imaging, 2022, 41(3): 690-701. [本文引用:1]
[23]	WANG K, ZHANG X H, LU Y T, et al. CGRNet: Contour-Guided Graph Reasoning Network for Ambiguous Biomedical Image Segmentation. Biomedical Signal Processing and Control, 2022, 75. DOI: 10.1016/j.bspc.2022.103621. [本文引用:2]
[24]	LIU F L, HUA Z, LI J J, et al. MFBGR: Multi-scale Feature Boundary Graph Reasoning Network for Polyp Segmentation. Engineering Applications of Artificial Intelligence, 2023, 123. DOI: 10.1016/j.engappai.2023.106213. [本文引用:1]
[25]	GAO S H, CHENG M M, ZHAO K, et al. Res2Net: A New Multi-scale Backbone Architecture. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2021, 43(2): 652-662. [本文引用:1]
[26]	KIPF T N, WELLING M. Semi-Supervised Classification with Graph Convolutional Networks[C/OL]. [2023-10-20]. https://arxiv.org/pdf/1609.02907.pdf. [本文引用:1]
[27]	CHEN S H, FU Y. Progressively Guided Alternate Refinement Network for RGB-D Salient Object Detection // Proc of European Conference on Computer Vision. Berlin, Germany: Springer, 2020: 520-538. [本文引用:1]
[28]	WEI J, WANG S H, HUANG Q M. F³Net: Fusion, Feedback and Focus for Salient Object Detection. Proceedings of the AAAI Conference on Artificial Intelligence, 2020, 34(7): 12321-12328. [本文引用:1]
[29]	RAHNAMA J, HÜLLERMEIER E. Learning Tversky Similarity // Proc of the International Conference on Information Processing and Management of Uncertainty in Knowledge-Based Systems. Berlin, Germany: Springer, 2020: 269-280. [本文引用:1]
[30]	BERNAL J, SÁNCHEZ F J, FERNÁNDEZ-ESPARRACH G, et al. WM-DOVA Maps for Accurate Polyp Highlighting in Colonoscopy: Validation vs. Saliency Maps from Physicians. Computerized Medical Imaging and Graphics, 2015, 43: 99-111. [本文引用:1]
[31]	BERNAL J, SÁNCHEZ J, VILARINO F. Towards Automatic Po-lyp Detection with a Polyp Appearance Model. Pattern Recognition, 2012, 45(9): 3166-3182. [本文引用:1]
[32]	YAP M H, PONS G, MARTI J, et al. Automated Breast Ultrasound Lesions Detection Using Convolutional Neural Networks. IEEE Journal of Biomedical and Health Informatics, 2018, 22(4): 1218-1226. [本文引用:1]
[33]	ABRAHAM N, KHAN N M. A Novel Focal Tversky Loss Function with Improved Attention U-Net for Lesion Segmentation // Proc of the 16th IEEE International Symposium on Biomedical Imaging. Washington, USA: IEEE, 2019: 683-687. [本文引用:1]
[34]	KINGMA D P, BA J L, Adam: A Method for Stochastic Optimization[C/OL]. [2023-10-20]. https://arxiv.org/pdf/1412.6980.pdf. [本文引用:1]
[35]	ZHAO R J, QIAN B Y, ZHANG X L, et al. Rethinking Dice Loss for Medical Image Segmentation // Proc of the IEEE International Conference on Data Mining. Washington, USA: IEEE, 2020: 851-860. [本文引用:1]
[36]	WANG R X, CHEN S Y, JI C J, et al. Boundary-Aware Context Neural Network for Medical Image Segmentation. Medical Image Analysis, 2022, 78. DOI: 10.1016/j.media.2022.102395. [本文引用:1]
[37]	WANG S T, YIN Y Q, WANG D J, et al. An Interpretable Deep Neural Network for Colorectal Polyp Diagnosis under Colonoscopy. Knowledge-Based Systems, 2021, 234. DOI: 10.1016/j.knosys.2021.107568. [本文引用:1]

2017

0.0

... 医学图像分割是医学图像处理和分析领域中复杂、重要的任务之一^[1,2] ...

2020

0.0

... 医学图像分割是医学图像处理和分析领域中复杂、重要的任务之一^[1,2] ...

2017

0.0

... 临床医生通常利用成像技术观察图像中器官等病变的情况,以便在疾病的早期阶段进行干预^[3] ...

2022

0.0

... 然而,医学图像本身往往存在边缘模糊的问题,使边缘分割的效果不够理想,给临床医生的诊断带来巨大的障碍^[4,5] ...

2021

0.0

... 然而,医学图像本身往往存在边缘模糊的问题,使边缘分割的效果不够理想,给临床医生的诊断带来巨大的障碍^[4,5] ...

2015

0.0

... 特别是,2015年Ronneberger等^[6]提出U-Net,已成为后续许多医学图像分割方法研究的基准网络^[7,8] ...

... 1)经典方法:U-Net^[6]、UNet++^[9] ...

2021

0.0

... 特别是,2015年Ronneberger等^[6]提出U-Net,已成为后续许多医学图像分割方法研究的基准网络^[7,8] ...

... 2)基于注意力机制的方法:基于三重交互关注网络 (Triplet Interactive Attention Network, TIAN)^[7]、SANet (Shallow Attention Network)^[12]、AAU-Net (Adap-tive Attention U-Net)^[13]、PVT-CASCADE (Pyramid Vi-sion Transformer and Cascaded Attention Decoder)^[14] ...

2022

0.0

... 特别是,2015年Ronneberger等^[6]提出U-Net,已成为后续许多医学图像分割方法研究的基准网络^[7,8] ...

2020

0.0

... Zhou等^[9]构造UNet++,设计密集跳跃连接,更好地利用不同尺度下解码器的特征 ...

... 1)经典方法:U-Net^[6]、UNet++^[9] ...

2019

0.0

... Gu等^[10]引入空洞卷积,提出CE-Net(Context Encoder Network) ...

2021

0.0

... 然而,上述方法在编码与解码过程中都连续采样,容易导致空间信息和细节信息的丢失,不利于医学图像的边缘分割^[11] ...

2021

0.0

... 为此,研究人员提出基于注意力机制的边缘细化方法^[12,13,14]和基于CNN的边缘分割方法 ...

2023

0.0

... 为此,研究人员提出基于注意力机制的边缘细化方法^[12,13,14]和基于CNN的边缘分割方法 ...

2023

0.0

... 为此,研究人员提出基于注意力机制的边缘细化方法^[12,13,14]和基于CNN的边缘分割方法 ...

2023

0.0

... Zhou等^[15]提出CFA-Net(Cross-Level Feature Aggregation Network),设计两个分割网络,整合语义信息和边界信息 ...

... 3)基于边缘分割的方法:CFA-Net^[15]、PraNet^[16]、TSD-BA^[17] ...

2020

0.0

... Fan等^[16]提出PraNet(Parallel Reverse Attention Network),引入反注意力模块,关注病变区域外的边缘部分 ...

... 2个数据集的训练集和测试集比例与PraNet^[16]一致,均为9#cod#x02236 ...

... 3)基于边缘分割的方法:CFA-Net^[15]、PraNet^[16]、TSD-BA^[17] ...

2022

0.0

... Cao等^[17]提出TSD-BA(Two-Stage Decoding Network with Boundary Attention),利用粗预测作为先验,进一步挖掘边界特征 ...

... 3)基于边缘分割的方法:CFA-Net^[15]、PraNet^[16]、TSD-BA^[17] ...

2022

0.0

... 近年来,图神经网络(Graph Neural Networks, GNN)在远程信息推理方面显示出巨大的潜力,已逐渐应用于医学图像的分割任务中^[18] ...

2021

0.0

... 对于CNN很难保证目标形状连续性的问题,GNN将形状的连续性编码为图的约束,确保网络预测的连续性^[19] ...

2019

0.0

... Shin等^[20]使用CNN和GNN的组合进行视网膜血管分割 ...

0.0

... Meng等^[21]提出边界感知图卷积网络, 用于医学图像分割 ...

2022

0.0

... 进一步,Meng等^[22]又提出一种基于GNN的区域和边界聚合网络 ...

2022

0.0

... Wang等^[23]提出CGRNet(Contour Guided Graph Reasoning Network) ...

... 4)基于卷积神经网络和图神经网络结合的方法:CGRNet^[23] ...

2023

0.0

... Liu等^[24]提出MFBGR(Multi-scale Feature Boundary Graph Rea-soning Network for Polyp Segmentation) ...

2021

0.0

... 本文选择Res2Net-50^[25]作为ESG-TNet的主干网络 ...

0.0

... 根据文献[26],图卷积算子的定义为 ...

2020

0.0

... 受文献[27]的启发,本文引入特征分组的思想,充分利用通道之间的冗余性和差异性,有效利用反向指导先验 ...

2020

0.0

... 4 复合损失受像素位置感知损失^[28]的启发,本文提出一个复合损失,定义为 ...

2020

0.0

... 表示超参数,TI表示Tversky指数^[29], ...

2015

0.0

... 1 实验数据集为了验证ESG-TNet的有效性,选择结肠镜图像CVC-ClinicDB^[30]、CVC-ColonDB^[31]和乳腺超声图像BUS-B^[32]这3个医学图像数据集进行实验 ...

2012

0.0

... 1 实验数据集为了验证ESG-TNet的有效性,选择结肠镜图像CVC-ClinicDB^[30]、CVC-ColonDB^[31]和乳腺超声图像BUS-B^[32]这3个医学图像数据集进行实验 ...

2018

0.0

... 1 实验数据集为了验证ESG-TNet的有效性,选择结肠镜图像CVC-ClinicDB^[30]、CVC-ColonDB^[31]和乳腺超声图像BUS-B^[32]这3个医学图像数据集进行实验 ...

2019

0.0

... 与Atten-tion UNet^[33]一样,该数据集随机将75%的样本用于训练,剩余25%的样本用于测试 ...

0.0

... 优化器采用Adam(Adaptive Moment Es-timation)^[34],初始学习率设置为1e-4,每20轮衰减一半 ...

2020

0.0

... 本文采用DSC(Dice Score)^[35]、交并比(Inter-section over Union, IoU)、精确度和召回率作为评价指标^[36,37] ...

2022

0.0

... 本文采用DSC(Dice Score)^[35]、交并比(Inter-section over Union, IoU)、精确度和召回率作为评价指标^[36,37] ...

2021

0.0

... 本文采用DSC(Dice Score)^[35]、交并比(Inter-section over Union, IoU)、精确度和召回率作为评价指标^[36,37] ...