引用本文
刘市祺, 孙晓波, 谢晓亮, 侯增广. 基于区域建议网络和残差结构的导丝跟踪. 模式识别与人工智能, 2019,32(1): 36-42
LIU Shiqi, SUN Xiaobo, XIE Xiaoliang, HOU Zengguang. Guidewire Tracking Based on Regional Proposal Network and Residual Structure. PATTERN RECOGNITION AND ARTIFICIAL INTELLIGENCE, 2019,32(1): 36-42.  
Doi: 10.16451/j.cnki.issn1003-6059.201901005
Permissions
Copyright©2019, 《模式识别与人工智能》编辑部
《模式识别与人工智能》编辑部 所有
基于区域建议网络和残差结构的导丝跟踪
刘市祺1,2, 孙晓波1, 谢晓亮2, 侯增广2
1.哈尔滨理工大学 自动化学院 哈尔滨 150080
2.中国科学院自动化研究所 复杂系统管理与控制国家重点实验室 北京 100190
通讯作者:

侯增广,博士,研究员,主要研究方向为康复机器人与微创介入手术机器人.E-mail:zengguang.hou@ia.ac.cn.

作者简介:

刘市祺,硕士研究生,主要研究方向为微创介入手术机器人.E-mail:liushiqi2016@ia.ac.cn.

孙晓波,硕士,教授,主要研究方向为控制系统、控制工程.E-mail:sxb640926@qq.com.

谢晓亮,博士,副研究员,主要研究方向为手术机器人建模与控制、医学影像处理.E-mail:xiaoliang.xie@ia.ac.cn.

收稿日期: 2018-09-27 接受日期: 2018-12-10
资助项目: 国家自然科学基金项目(No.61533016,U1613210)资助
摘要

X光影像导航成为提高机器人介入手术操作精度和安全性的关键突破点.因此,文中提出基于区域建议网络、残差结构和Canny边缘检测的导丝跟踪框架.在图像标定方面,采用多尺度标记策略,使检测网络可以学到更准确的特征.在图像增强方面,采用多滤波器融合策略,增加导丝的可识别性,提高跟踪准确率,改善系统鲁棒性.选取22组X射线视频序列进行实验,验证文中算法在速度、准确率及系统鲁棒性方面的优势.

关键词: X光影像导航; 导丝跟踪; 区域建议网络; 残差结构; Canny边缘检测
中图分类号:TP 183
Guidewire Tracking Based on Regional Proposal Network and Residual Structure
LIU Shiqi1,2, SUN Xiaobo1, XIE Xiaoliang2, HOU Zengguang2
1.School of Automation, Harbin University of Science and Tech- nology, Harbin 150080
2. State Key Laboratory of Management and Control of Complex Systems, Institute of Automation, Chinese Academy of Sciences, Beijing 100190

Corresponding author:HOU Zengguang, Ph.D., professor. His research interests include rehabilitation robot and minimal invasive interventional robot.

About the Author:LIU Shiqi, master student. His research interests include minimal invasive interventional robot.

SUN Xiaobo, master, professor. His research interests include control system and control engineering.

XIE Xiaoliang, Ph.D., associate profe-ssor. His research interests include surgical robot modeling and control, medical image processing.

Fund:Supported by National Natural Science Foundation of China(No.61533016,U1613210)
Abstract

X-ray image navigation is a breakthrough of improving the accuracy and safety of robotic interventional surgery. A method based on region proposal network, residual structure and canny edge detection is proposed in this paper. It is specifically designed for guidewire segmentation framework. In the image calibration, multi-scale marking strategies are adopted to enable detection networks to learn accurate features. In the image augmentation, a multi-filter fusion strategy is employed to increase the recognizability of the guidewire and improve the tracking accuracy and the system robustness. The experiment is conducted on 22 sets of X-ray video sequences. Experimental results demonstrate the superiority of the proposed algorithm in terms of speed, accuracy and robustness.

Key words: Key Words X-Ray Image Navigation; Guidewire Tracking; Region Proposal Networks; Residual Structure; Canny Edge Detection

数据表明, 心血管疾病的患病率和死亡率呈现逐年持续上升的趋势, 经皮冠状动脉介入手术(Percutaneous Coronary Intervention, PCI)是目前针对心血管疾病的主要治疗手段.由于创伤较小、恢复时间较短、安全性较高等优点, 许多医生已将经皮冠状动脉介入治疗作为解决冠心病的主要治疗方案.

但是传统的介入手术面临诸多挑战:1)医疗资源分配严重不均衡, 多数心血管疾病患者不能接受有效治疗; 2)手术过程中医生穿着沉重的铅衣, 暴露在X射线下进行操作, 会对医生健康造成严重损害.解决这些问题的有效途径是使用机器人技术辅助介入手术操作.

目前, 关于介入手术机器人的研究集中于主从操控系统和手术定位导航系统.主从操控系统方面主要研究机器操作是否和真实操作感更接近以及机器人是否可以提供真实的反馈力.现阶段的主从操控系统的研究已不能满足医生对高精度手术的要求, 医生越来越需要高精度定位导航系统以帮助医生更好地操作介入手术器械.其中, 电磁导航定位系统是介入手术定位系统中最广泛使用的一款产品, 但也存在介入器械会对电磁系统产生严重干扰、稳定性较差、需要独立的手术室等缺点.

随着深度学习理论在图像检测方面的应用, 可实现直接在X光影像中进行导航.X光影像中包含导丝、血管、病变等信息, 通过介入手术机器人的导航系统实时反馈给医生, 提高医生和介入手术机器人之间的融合程度, 以此提高医生使用机器人操作手术的安全性.其中最重要的是导丝定位导航, 由于介入手术的难点在于导丝具有很强的柔韧性, 医生操作导丝后端难以精准控制导丝前端的运动, 而实时定位导丝的位置可以帮助医生更准确了解导丝状态, 更精准操作导丝, 避免导丝对血管壁造成损害, 从而提高介入手术的成功率.

Chang等[1]提出B样条跟踪方法, 需要考虑导丝周围所有可能的相邻像素, 计算复杂度较高[2], 同时还面临许多挑战[3], 如当检测到错误关键点时, 需要重启.Wang等[4]提出使用局部二值模式(Local Binary Pattern, LBP)提取特征并改进级联分类器的方法, 用于解决导丝检测问题, 但是速度和精度都有待提高.Wang等[5]使用深度学习的方法结合ZF模型与区域提议网络(Region Proposal Network, RPN)[6], 用于检测导丝的位置[7].但是这种方法还面临许多问题, 例如, 由于医学图像质量较低, 会使检测网络准确率较低, 网络结构简单, 容易产生过拟合现象, 无法实时检测露出导管外的全部导丝.Vandini等[8]提出目前效果最好的导丝分割方法, 采用线段状特征(Segment-Like Features, SEGlet)改进曲线拟合的方法, 进行导丝分割, 但是会出现跟踪丢失和速度较慢等问题.

基于上述原因, 本文提出基于区域建议网络[6]、残差结构[9]和Canny边缘检测[10]结合的导丝分割方法.首先提出一个标记方式, 帮助网络有效学习对应的目标.然后提出专门用于医学图像的增强方法, 提高检测网络的准确率和鲁棒性.再修改检测网络结构, 可以对导丝这种细长物体实现快速精准检测, 同时缓解网络的过拟合.最后提出改进的Canny边缘检测方法, 实现细长导丝的分割.

1 图像预处理和跟踪网络结构
1.1 图像标定

目前已有的基于深度学习检测导丝的方法都是检测导丝的尖端, 这是因为当标记露出导管的全部导丝时, 标定框内会包含过多的背景信息, 血管和骨骼轮廓本身都和导丝具有一定的相似性, 不精确的标记会导致检测器的性能低下.然而在手术过程中, 露出导管的导丝都会对导丝尖端的运动产生一定影响, 所以检测露出导管的导丝是必要的.为了解决无法准确标记目标的问题, 本文提出混合标记方法, 如图1所示, 分别标记尖端、标记躯干部分和标记整根导丝.

图1 3种导丝标记方式Fig.1 Three ways of guidewire marking

1.2 图像增强

不同于自然图像, 医学图像是由具有相同值的三通道构成的灰度图像, 所以在自然图像下训练的检测网络不能直接迁移到医学图像.为了解决低质量的医学图像容易导致网络过拟合, 性能无法达到最优等问题, 本文提出图像增强方法— — 合成与自然图像分布相似的图像, 以此提高检测网络的准确率和鲁棒性.

由于自然图像的3个通道服从不同的分布, 所以自然图像具有更高的质量和分辨率, 而灰度图像三通道具有相同的值, 导致其低质量和低分辨率的特点.针对这一发现, 本文提出改进方法, 通过一组滤波器改变图像的分布.首先, 让图像第一个通道进行直方图均衡化, 由于实验目的是检测导丝, 这个通道可极大程度保留原始图像的信息, 让目标信息变得更清晰.然后, 另外两个通道随机从高斯滤波器、均值滤波器、中值滤波器、拉普拉斯滤波器中选择一个, 通过相应的滤波器, 滤波器参数随机产生.这样另外两个通道的分布更复杂, 组合的图像更接近彩色图像, 原图信息都由第一个通道完整保留.直观上如图2所示, 彩色化后的图像更清晰, 更符合自然图像感受, 可识别度也随之增强.

图2 原始图像与增强后的图像Fig.2 Original images and enhanced images

1.3 检测网络结构

本文设计的网络结构如图3所示, 该结构是基于Faster-RCNN[6]改进的结构.为了让特征提取层获得更丰富的特征, 将Faster-RCNN中的特征提取部分主干VGG16网络替换成Resnet-101.

图3 分割框架Fig.3 Segmentation framework

此外, 鉴于全连接层对位置不敏感, 增大回归误差, 构造由残差块组合的分类和位置预测模块, 减少全连接层对定位精度的影响, 同时在预测层增加卷积运算, 提高定位精度和分类的精度.

图4为预测模型结构[11], 左侧的Res_branch2、Res_branch2b、Res_branch2c和Res_block模块都是由3× 3卷积层、RELU层、归一化层和缩放层构成.右侧的每层Res_5a、Res_5b、Res_5c都是由左侧的残差模块构成.总的预测模块是由3个左图残差模块连接而成, 通过一个池化层进行预测.由于网络参数过多影响内存问题, 所以将归一化层与比例层合并, 减少内存使用.同时由于检测网络存在严重的正负样本不平衡问题, 影响检测网络的准确性, 加入在线困难样本挖掘(Online Hard Example Mining, OHEM)[12], 克服正负样本失衡问题.

图4 分类和预测模块Fig.4 Classification module and prediction module

最后, 考虑到初始化仍会妨碍高度非线性系统的学习效果, 消除训练极深网络的障碍[13], 获得更好的初始性能.

1.3.1 损失函数

训练的网络主要分为分类和回归两部分, 分类损失函数定义如下:

Lcls(p, u)=∑iLcls(piu)=∑i-log2(piu),

其中, u为类别标签, piu为分类网络对于每类的得分.回归损失函数定义如下:

Lreg(t, t* )=∑iNSmoothL1(tui-ti* ), u∈{x, y, w, h},

SmoothL1(x)=0.5x2, |x|< 1|x|-0.5, 其它

其中, tui为回归器预测的位置, ti* 为真实位置.分类器和回归器联合损失函数定义为

Loss=1NclsLcls(p, u)+λ[u> 0]1NregLreg(t, t* ).

联合损失为回归损失和分类损失的线性加权, 第1项为分类损失, 第2项为回归损失.λ 为平衡权重, 用于平衡两个损失函数的效果, 默认设置为10, 使等式中的两项在归一化之后大致同等加权.实验发现当权重更偏向于回归, 会得到更好结果.

1.3.2 网络参数

本文采用K-means方法对标记框尺寸进行聚类, 用于选择更优的实验参数, 实验过程中标定框采用2个尺度(2, 4) 和3种比例h∶ w=5∶ 1, h∶ w=3∶ 1, h∶ w=2∶ 1, 实验发现本文方法学习到良好特征, 同时鲁棒性较好.当每幅图像的建议框数量减少到30时, 检测网络的准确率几乎不会受到影响, 故将每幅图像建议框数设置为30, 提高检测网络的速度.

1.3.3 优化方法

在优化阶段, 使用自适应估计 (AdaptiveMomentEstimation, ADAM)[14].ADAM结合自适应梯度(AdaptiveGradient, AdaGrad)[15] 处理稀疏梯度的能力, 及均方根传递(RootMeanSquareProp, RMSProp)处理非固定目标问题的能力, 适用于各种非凸优化问题.

1.4 Canny分割

虽然基于卷积的有监督分割方法不断出现, 但其主要侧重于对中等规模物体进行分割, 运行速度缓慢, 并不适用于解决本文提到的介入手术中细长导丝的分割.因此, 本文提出通过使用检测网络缩小分割区域, 并通过改进的Canny边缘检测达到实时分割导丝的方法.主要步骤如下.

1)使用高斯滤波器平滑图像, 滤除噪声.

2)计算图像中每个像素点的梯度强度和方向.

4)应用双阈值检测方法确定真实及潜在边缘.

5)抑制孤立的弱边缘, 完成最终的边缘检测.

本文通过分析实验结果和目标特点进行如下改进. 1)实验中发现, 合成的彩色图像虽然对检测网络准确率和鲁棒性具有较大提升, 但更复杂的分布会使Canny 边缘检测器性能下降, 故本文在检测结果中提取原始图像进行分割. 2)使用3 伊3 的Sobel 算子计算梯度幅值, 可以取得更好结果. 3)统计导丝在X 光图像中灰度值的分布, 用于阈值选择, 可以帮助Canny 边缘检测器取得更好结果.

本文导丝分割采用文献[16]和文献[17]中的评估方法.分割图像上的点到标记图像上的点最小距离

d(CS, CG, t)=mint(CS(s)-CG(t)2),

标记图像上的点到分割图像上的点的最小距离 dinv(CG, CS, s)=mins(CG(t)-CS(s)2).false(i)=1, d> thr0, 其它

用于统计分割点到最近标记点的距离.

如果分割点到最近标记点大于某阈值, 标记为1, 参考文献[16]~文献[18], 本文的阈值设置为3.

missing(i)=1, dinv> thr0, 其它

与false(i)同理.

2 实验及结果分析

本文在ubuntu 14.04系统上使用Caffe框架进行算法评估.验证平台CPU为E5-2670@2.6 GHz, 内存128 GB, 显卡为4块TITAN Xp, 并使用4块TITAN Xp进行实验训练, 1块TITAN Xp进行测试.

本文的目标是检测露出导管的全部导丝, 但是直接标记整根导丝会使标记框包含大量背景信息, 导致检测器性能低下.本文采用3种不同标记方式解决该问题:1)只标记尖端, 由于标记框很小, 基本不包含任何背景; 2)对应图中的驱干标记, 主要涵盖导丝的躯干部位, 包含尽量少的背景, 可使网络学到更多导丝的特征; 3)标记露出导管的全部导丝, 但此种标记方式会包含大量的背景信息.

3种标记实验结果如表1所示, 提高前两种标记方式的比例, 降低会引入过多背景信息的标记方式, 检测网络的准确率会逐渐提升, 这说明前两种标记方式可以帮助检测网络学到更准确的信息.但是, 完全没有第三种标记方式, 正确率也会下降.这可能是由于测试集都是以第三种方式标记, 由于在前两种标记方式中, 导丝在图像中的形态较简单, 基本上可以学到导丝的大部分特征, 所以前两种标记方式都可以取得较好结果, 但是还是不能使检测网络学习到检测目标所有特征.然而当第三种标记方式过多时, 又会让网络学习到过多背景信息, 所以选择少量的第三种标记方式有助于提高检测结果.

表1 标记比例不同时准确率的变化 Table 1 Accuracies of different marking scales

在第三种比例为1的前提下, 又进行几组实验, 发现当采用6∶ 3∶ 1时, 取得最好结果.原因是第二种标记方式比第一种标记方式含有更多的背景信息, 但第二种标记方式可学到更多的特征, 所以使用测试集的结果帮助合理选择一二种标记方式的比例, 可以提高实验检测的准确率.

为了证明图像增强方法的通用性, 本文选择文献[5]中Faster-RCNN和ZF结合的基础框架进行对比实验.对比实验设置成两组, 实验一没有采用图像增强的方法, 实验二采用图像增强方法.并通过不同数量的训练集进行训练以观察本文图像增强方法的效果, 具体实验结果如图5所示.

从实验数据可发现, 增强处理后的三条训练曲线收敛更快, 准确率更高, 经过一段时间训练后, 网络不存在严重过拟合现象.而使用原始图像的3条训练曲线收敛速度较慢, 准确率相对较低, 随着训练数量减少, 检测网络的准确率也随之下降.推测原因是当图像的分布更接近自然图像分布时, 检测网络可更好地利用彩色图像预训练得到初始权重, 相对复杂的图像也可以让网络学到更好的特征.

图5 图像增强前后检测网络训练曲线Fig.5 Training curves of detecting network before and after image enhancement

为了验证检测网络结构上的有效性, 对比本文方法和文献[5]方法, 如图6所示.由图可看到, 改进后结构的训练曲线收敛速度更快, 准确率更高, 不易产生过拟合.当与图像增强的方法结合训练之后, 仅用300幅图像就使网络准确率达到领先.这说明本文方法用于大部分框架都可以取得良好效果.

图6 检测网络训练曲线Fig.6 Training curves of detecting network

在检测网络的性能上, 本文方法的准确率达到97.2%.相比文献[4]方法, 本文方法准确率提升94.8%, 速度从8 fps提升到17 fps.相比文献[5]方法, 本文方法准确率提升8.0%, 训练数据量从4 000下降到300, 满足实时性检测要求, 且过拟合现象基本消失.使用卷积构造的预测模型和更深的特征提取结构使检测网络准确率上升3.0%, 使用在线困难样本挖掘的方法使准确率上升2.0%.在参数部分, 减少建议框数量和选择合理的建议框尺寸以提升运算速度和精度, 同时在运算中采取结构合并和节省内存的方法, 使运算速度保持足够的竞争力.

最后对比本文方法与常用跟踪方法.对比方法如下:导丝的线段特征(Guidewire Segment Like Features, GSEG)[8], 离散跟踪(Discrete Tracking, DT)[2], 介入工具跟踪(Interventional Tool Tracking, ITT)[17], 几何标志性(Geometric-Iconic, G-I)[3].对比结果如表2所示.本文方法在各方面都取得更优结果.其它方法都出现序列跟踪丢失问题, 而本文方法在22组序列中都可以准确跟踪导丝, 未产生跟踪丢失问题, 鲁棒性更好.本文提出根据实验选择合理参数的Canny边缘检测方法, 提高分割精度, 同时由于Canny算法运算简单, 因此分割速度更快.

表2 5种方法分割性能对比 Table 2 Segmentation performance comparison of 5 methods
3 结 束 语

本文提出介入手术导航方法, 实现介入手术机器人中的导丝定位跟踪.在标定方面, 通过混合标记方法得到效果最好标记方法.在检测准确率方面, 通过合成彩色图像, 设计更深的特征提取主干网络, 设计卷积结构的预测结构和加入OHEM结构, 解决检测准确率较低、过拟合严重和样本不平衡问题.同时发现图像增强的方法可以大幅减少训练集的数据量.在运算速度方面, 通过合并结构优化计算, 减少建议框使用等以提升运算速度.在分割方面, 通过实验分析, 获得较好的分割参数.相比目前在导丝跟踪方面的方法, 本文方法取得更优结果.未来将致力于解决心血管分割的难题, 推动介入手术机器人导航系统在介入手术领域的发展.

参考文献
[1] CHANG P L, ROLLS A, DE PRAETERE H, et al. Robust Catheter and Guidewire Tracking Using B-Spline Tube Model and Pixel-Wise Posteriors. IEEE Robotics and Automation Letters, 2017, 1(1): 303-308. [本文引用:1]
[2] HEIBEL T H, GLOCKER B, GROHER M, et al. Discrete Tracking of Parametrized Curves // Proc of the IEEE Conference on Computer Vision and Pattern Recognition. Washington, USA: IEEE, 2009: 1754-1761. [本文引用:2]
[3] HONNORAT N, VAILLANT R, PARAGIOS N. Graph-Based Geometric-Iconic Guide-Wire Tracking // Proc of the 14th International Conference on Medical Image Computing and Computer-Assisted Intervention. Berlin, Germany: Springer, 2011: 9-16. [本文引用:2]
[4] WANG L, XIE X L, GAO Z J, et al. Guide-Wire Detecting Using a Modified Cascade Classifier in Interventional Radiology // Proc of the 38th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Washington, USA: IEEE, 2016: 1240-1243. [本文引用:2]
[5] WANG L, XIE X L, BIAN G B, et al. Guide-Wire Detection Using Region Proposal Network for X-Ray Image-Guided Navigation // Proc of the International Joint Conference on Neural Network. Wa-shington, USA: IEEE, 2017: 3169-3175. [本文引用:4]
[6] REN S Q, HE K M, GIRSHICK R, et al. Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks. IEEE Transaction on Pattern Analysis and Machine Intelligence, 2015, 39(6): 1137-1149. [本文引用:3]
[7] FAZLALI H R, KARIMI N, SOROUSHMEHR S, et al. Vessel Region Detection in Coronary X-Ray Angiogram // Proc of the IEEE Conference on Image Processing. Washington, USA: IEEE, 2015: 1493-1497. [本文引用:1]
[8] VANDINI A, GLOCKER B, HAMADY M, et al. Robust Guidewire Tracking under Large Deformations Combining Segment-Like Features(SEGlets). Medical Image Analysis, 2017, 38: 150-164. [本文引用:2]
[9] HE K M, ZHANG X Y, REN S Q, et al. Deep Residual Learning for Image Recognition // Proc of the IEEE Conference on Computer Vision and Pattern Recognition. Washington, USA: IEEE, 2016: 770-778. [本文引用:1]
[10] CANNY J. A Computational Approach to Edge Detection. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1986, 8(6): 679-698. [本文引用:1]
[11] REN S Q, HE K M, GIRSHICK R, et al. Object Detection Networks on Convolutional Feature Maps. IEEE Transactions on Pa-ttern Analysis and Machine Intelligence, 2016, 39(7): 1476-1481. [本文引用:1]
[12] SHRIVASTAVA A, GUPTA A, GIRSHICK R. Training Region-Based Object Detectors with Online Hard Example Mining // Proc of the IEEE Conference on Computer Vision and Pattern Recognition. Washington, USA: IEEE, 2016: 761-769. [本文引用:1]
[13] HE K M, ZHANG X Y, REN S Q, et al. Delving Deep into Rectifiers: Surpassing Human-Level Performance on Imagenet Classification // Proc of the IEEE Conference on Computer Vision and Pa-ttern Recognition. Washington, USA: IEEE, 2015: 1026-1034. [本文引用:1]
[14] KINGMA D P, BA J. Adam: A Method for Stochastic Optimization[C/OL]. [2018-08-15]. https://arxiv.org/pdf/1803.09574.pdf. [本文引用:1]
[15] DUCHI J, HAZAN E, SINGER Y. Adaptive Subgradient Methods for Online Learning and Stochastic Optimization. Journal of Machine Learning Research, 2011, 12: 2121-2159. [本文引用:1]
[16] WANG P, LIAO W S, CHEN T, et al. Graph Based Interactive Detection of Curve Structures in 2D Fluoroscopy // Proc of the International Conference on Medical Image Computing and Computer-Assisted Intervention. Berlin, Germany: Springer, 2010: 269-277. [本文引用:2]
[17] HEIBEL H, GLOCKER B, GROHER M, et al. Interventional Tool Tracking Using Discrete Optimization. IEEE Transactions on Medical Imaging, 2013, 32(3): 544-555. [本文引用:2]
[18] SMEULDERS A W M, CHU D M, CUCCHIARA R, et al. Visual Tracking: An Experimental Survey. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 36(7): 1442-1468. [本文引用:1]