引用本文
李仲年, 张涛, 张道强. 基于自监督边缘融合网络的MRI影像重建. 模式识别与人工智能, 2021,34(4): 361-366
LI Zhongnian, ZHANG Tao, ZHANG Daoqiang. Self-supervised Edge-Fusion Network for MRI Reconstruction. PATTERN RECOGNITION AND ARTIFICIAL INTELLIGENCE, 2021,34(4): 361-366.  
Doi: 10.16451/j.cnki.issn1003-6059.202104008
Permissions
Copyright©2021, 《模式识别与人工智能》编辑部
《模式识别与人工智能》编辑部
基于自监督边缘融合网络的MRI影像重建
李仲年1, 张涛1, 张道强1
1.南京航空航天大学 计算机科学与技术学院 模式分析与机器智能工业和信息化部重点实验室 南京 211100
通信作者:

张道强,博士,教授,主要研究方向为模式识别.E-mail:dqzhang@nuaa.edu.cn.

作者简介:

李仲年,博士研究生,主要研究方向为机器学习、医学图像重建.E-mail:zhongnianli@nuaa.edu.cn.

张 涛,硕士研究生,主要研究方向为机器学习、图像超分辨.E-mail:lrhselous@nuaa.edu.cn.

收稿日期: 2020-06-01 接受日期: 2021-03-12
资助项目: 国家重点研发计划项目(No.2018YFC2001600,2018YFC2001602,2018ZX10201002)、国家自然科学基金项目(No.61876082,61732006,61861130366)资助
摘要

医学影像的统计研究表明,组织的边缘信息是医学影像重建最难恢复的一个部分,但现有基于深度学习的重建方法均缺乏对边缘信息的显式考虑.为了在重建时考虑影像的边缘信息,文中提出自监督边缘融合网络,完成MRI影像的压缩感知重建.首先使用边缘检测算子,以无需人工标注的方式生成影像的边缘标记.再提出自监督的辅助网络,将边缘标记以特征学习的方式转换成可融合的特征.设计自顶向下的特征融合机制,将自监督网络学习的特征融入重建网络,实现对影像的压缩感知重建.实验表明,文中网络可较好地捕获影像的边缘信息,重建效果较优.

关键词: 自监督; 边缘; 核磁共振成像(MRI); 重建
中图分类号:TP 391 文章编号:2021,34(4):361-366
Self-supervised Edge-Fusion Network for MRI Reconstruction
LI Zhongnian1, ZHANG Tao1, ZHANG Daoqiang1
1. MIIT Key Laboratory of Pattern Analysis and Machine Intelligence, College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics, Nanjing 211100
Corresponding author:
ZHANG Daoqiang, Ph.D., professor. His research interests include pattern recognition.

AboutAuthor:
LI Zhongnian, Ph.D. candidate. His research interests include machine learning and medical image reconstruction.
ZHANG Tao, master student. His research interests include machine learning and image super-resolution.

Fund:Supported by National Key Research and Development Program of China(No.2018YFC2001600,2018YFC2001602,2018ZX10201002), National Natural Science Foundation of China(No.61876082,61732006,61861130366)
Abstract

The research on compressed sensing magnetic resonance imaging(CS-MRI) suggests that the edge information is the hardest part of medical image reconstruction. In most deep-learning based methods, the explicit consideration for edge information is not taken into account. To tackle this problem, a self-supervised edge-fusion network(SEN) is proposed to explore beneficial edge properties to reconstruct MRI. Firstly, edge annotations are generated by utilizing canny edge detector without involving any time-consuming and expensive human labeling. Secondly, a self-supervised auxiliary network is introduced to incorporate edge annotations into a feature learning to capture fusible representations. A top-down fusion strategy is proposed to fuse the learned representations into reconstruction network for CS-MRI restoring. Experimental results show that SEN catches the edge information effectively and achieves better performance in CS-MRI reconstruction.

Key words: Self-supervised; Edge; Magnetic Resonance Imaging(MRI); Reconstruction

本文责任编委 左炜亮

Recommended by Associate Editor ZUO Weiliang

核磁共振成像(Magnetic Resonance Imaging, MRI)是临床医学诊断中强有力的成像方法.由于MRI采集时的非侵入式和影像的高分辨率, MRI获得广泛应用.然而, MRI采集时间较长[1], 增加病患在采集数据时的痛苦.为此, 学者们试图减少数据的采集时间, 减轻病患的痛苦.压缩感知(Compressed Sensing, CS)[1, 2]是以降低医学影像的采样率, 即以低于奈奎斯特采样率的方式进行数据采样, 再对降采样的数据进行恢复.因为采样的样本点数远小于原始数据的维数, 所以恢复问题是一个典型的欠定问题, 这也是解决重建问题的关键.

为了解决重建问题, 基于深度学习[3, 4]的模型在影像恢复中得到广泛应用, 并取得较优效果.基于深度学习的模型能自动提取有效特征, 恢复能力强于传统的手工特征工程.通常将深度学习方法与最小平方误差(Minimum Squared Error, MSE)[4]结合以完成训练, 输入为欠采样图像, 输出为原始图像的端到端模型.然而, 传统的最小均方误差常忽略纹理、边缘等关键信息, 但这些信息在图像恢复中起到关键作用.

为了充分考虑边缘信息, 本文提出用于压缩感知重建的自监督边缘融合网络(Self-supervised Edge Fusion Network, SEN).SEN可通过表示学习将MRI图像的边缘转化为可被融合特征, 利用这些边缘特征进行高质量重建.具体来说, 为了充分利用边缘信息, 设计自监督的边缘表示学习辅助任务, 目标是将自动生成的边缘标注转换为适合重建任务的特征.再提出自顶向下的特征融合策略, 强迫重建网络(Reconstruction Network, RN)高层的特征表示聚焦于影像的边缘信息.实验表明, SEN可较好地捕获影像的边缘信息, 重建效果较优.

1 相关工作

在压缩感知磁共振成像(CS-MRI)重建中, 现有的方法可分为两类:基于优化的重建和基于深度的重建.

基于优化的方法利用医学影像的内在稀疏性, 使用L1范数或L0范数[5]作为影像数据恢复的约束条件, 直接重建数据.为了保留MRI图像的细节和边缘信息, 一些学者提出低阶正则化方法, 从欠采样数据中恢复原始图像[5].

基于优化的方法在重建过程中需要即时的求解带稀疏约束的欠定方程, 在恢复时需要较大的计算资源.对数据施加较强的先验信息, 这在实际应用场景中并不适用, 例如, 给医学影像的数据施加较强的稀疏特性, 或是施加数据具有低秩性.然而在实际的应用中, 这些都是不合适的假设.

近年来, 学者们提出使用深度学习的方法解决重建问题.深度学习的方法打破对重建数据的不合适假设, 直接学习端到端的重建网络, 用于恢复影像[5].重建网络的输入部分为欠采样的医学影像, 输出部分为恢复的影像, 重建推断的工作量得到简化, 使用时仅推断深度模型, 无需求解一个较大规模的欠定方程.

Ronneberger等[6]引入U型卷积神经网络(U Convolutional Network, U-Net), 从欠采样的图像中恢复原始图像, 试图捕获不同图像块之间的信息.Yang等[7]提出降低错误深度对抗网络(De-aliasing Generative Adversarial Network, DAGAN), 利用判定网络提高重建网络输出影像的可视化性能.Seitzer等[8]探讨人类视觉部分损失特性, 增加对抗性和知觉损失, 目的是改善重建的视觉质量.但是, 对于MRI重建任务, 这些深度学习方法都缺乏对边缘性质的显式探索.

基于深度学习对信息的特征强大学习能力等优点, 研究者们提出自监督学习方法, 将值得关注的信息转化为特征表示.Noroozi等[9]提出基于空间上下文自监督学习的网络, 利用像素排列作为标签以训练网络, 识别不同级别纹理统计之间的相关性.Liu等[10]提出基于多任务的自监督排序方法, 学习人群计数, 考虑到所有图像块都必须多于其内部的图像块人数的特性, 生成排序标记, 训练自监督模型.对比预训练和基于多任务的自监督方法之间的区别, 实验结果表明基于多任务的自监督方法性能较优.Larsson等[11]预测相同像素上的颜色, 用于特征表示, 便于视觉理解.上色任务有可能为语义分割和分类保留像素内在特性.

综上所述, 自监督学习是一种有效方法, 可辅助重建CS-MRI.

2 自监督边缘融合网络
2.1 重建的形式化描述

CS-MRI重建的目标是从欠采样信号y中恢复原始信号x∈X, 但重建问题是一个欠定的逆问题, 即任何欠采样重建的解都是无限多个的.

令

Y=[y1, y2, …, yn]

表示一组欠采样图像,

Ye=[ ye1, ye2, …, yen]

表示一组原始信号的边缘标注,

X=[x1, x2, …, xn]

表示一组原始图像.

2.2 自监督辅助任务

如何赋予重建任务捕捉边缘信息的能力是重建工作中的一项关键操作.本文将边缘信息转化为重建的有效特征表示.为了转化边缘为有效特征, 引入自监督的边缘表示辅助任务.该任务有两个关键步骤:边缘标注生成和自监督网络训练.

通过对图像统计的研究发现, 边缘较广泛地覆盖磁共振重建中的主要误差分量.SEN中注释生成的操作是特定于具体任务的, 这有助于重建网络关注被忽略的信息.

SEN自动生成边缘标注, 在生成过程中不涉及任何耗时和昂贵的人工标记.具体地, 利用Canny边缘检测器作为生成器, 从原始MRI图像中生成一个边缘布尔矩阵, “ 真” 值表示“ 边缘” 分量, “ 假” 值表示“ 非边缘” 分量.再利用此矩阵生成一幅对应影像的边缘分割标注.

本文训练一个自监督网络(Self-Supervised Net-work, SSN), 用于将边缘标注转换为信息特征表示.训练SSN的目的是寻找一个深度网络, 该网络的功能是将欠采样的MRI图像拟合本文生成的边缘标注, 从而获得边缘标注的较好特征表示.

SSN包括头部、身体部分和尾部三部分.在这些部分中, 身体部分是由4个残差通道注意力模块(Residual Channel Attention Block, RCAB)组成的最不可或缺的组件.

2.3 重建任务

受文献[11]启发, 本文提出自顶向下的特征融合策略(Top-Down Feature Fusion Strategy, TDFS).该策略提供从SSN到重建网络较低层的语义特征反馈.由于带有边缘标注的SSN将捕获不同对象之间的上下文关系(如灰质、白质等), 灰质与白质的边缘部分是对象间上下文关系的重要组成部分, 因此本文希望模型能学习这些边缘的上下文关系.这些关系将指导重建网络集中精力恢复边缘区域.SEN网络结构如图1所示.

图1 自监督边缘融合网络框图Fig.1 Framework of self-supervised edge-fusion network

为了更自适应地将SSN中的边缘表示特征融合于RN中, 进行从顶向下的特征传输处理, 即将SSN提取的高层特征加入RN较低层的特征中.具体地, 该特征融合将边缘表示和较低层重建特征之间的逐点进行相加.

在实现融合策略时, 利用边缘上下文表示作为边缘语义线索, 引导重建模块关注边缘信息.

如上所述, SEN由SSN和RN组成.使用最小化负对数似然损失和欠采样MRI以及自动生成的边缘标注对SEN进行训练, 即

Led(Fed(Y), Ye)= - 1n∑k=1n∑i=1m∑j=1m ye, [i, j]kln(Fed(yk)[i,j])),

其中, Fed(Y)表示SEN, ye, [i, j]k表示自监督生成的标记, n表示训练图像的幅数, m表示训练图像的长和宽, yk的取值范围为0~1.

对于重建任务, 使用原始图像和欠采样图像作为训练数据对.利用最小化均方误差优化RN.损失函数为

Lrec(Frec(Y), X)= 1n∑k=1n(xk-Frec(yk )22),

其中, Frec(Y)表示重建网络, xk的取值范围为0~255.

为了提高重建任务, 在训练过程中注重边缘t特征, 先对SSN预训练, 再对RN进行训练, 并对SSN进行微调.联合训练策略使这两项互补任务相互帮助, 提高恢复质量.

综上所述, SEN优化如下:

LSEN(Y, Ye, X)= Lrec(Frec(Y), X)+αLed(Fed(Y), Ye),

其中, α表示用于平衡重建任务损失和边缘表示任务损失的正则化参数.

3 实验及结果分析
3.1 实验环境

本文使用来自IBSR的MRI数据集进行实验评估.IBSR数据集是由20名正常受试者组成, 每名受试者包含近60幅、大小为256×256的T1加权二维图像, 这些图像被收集用于大脑自动分割.随机划分IBSR数据集, 900幅图像用于训练, 100幅图像用于验证, 200幅图像用于独立测试.利用笛卡尔采样矩阵从k空间生成欠采样图像, 利用canny检测器从原始图像自动生成边缘标注.

在Pytorch上训练和测试SEN, Python的运行环境包括NVIDIA GeFore GTX TITAN X的显卡, 32 GB的内存和2.80 GHz的Intel Xeon CPU E5-1603.使用Adam[12]作为优化器训练模型, 并将初始学习率设置为0.000 03.设置批大小(Batchsize)为4, 训练的迭代次数为200.在实验中, 卷积核的大小为3×3, 未使用膨胀卷积, 选择最大池化.将身体部分的RCAB数量设置为4, 权衡参数α=1.

本文使用峰值信噪比(Peak Signal to Noise Ratio, PSNR)和结构相似性(Structural Similarity Index, SSIM)这两个量化指标[13]评价重建结果.PSNR反映原始MRI与重建结果的一致性, SSIM用于评价图像的结构相似性.

3.2 实验结果

首先进行消融实验评估SEN的性能.以RCAN为基础模型, 将RCAN的输入图像由RGB调整为灰度图像.表1给出采样率分别为20%和30%时, 3种方法的性能对比.由表可知, 加入SSN后, SEN取得较优效果, 在不同的采样率中均具有明显的效果提升.

表1 采样率不同时各方法的性能对比 Table 1 Performance comparison of different methods with different sampling rates

接下来, 采用如下对比方法:U-Net[6]、DAGAN[7]、对抗感知网络(Adversarial Perceptual Network, APNet)[8]、感知微调网络(Perceptual Refinement Network, PRNet)[8].在20%和30%采样率上测试各方法的性能, 具体结果如表1所示.使用原文献作者在Github上提供的已公布代码.对于U-Net和DAGAN, 使用同一设备上的Python 3.6环境, 在Tensorflow 1.5上训练和测试.对于APRNet, 在与SEN相同的环境下进行训练和测试.

相比其它方法, 在不同采样率下, SEN的重建误差更小, APRNet得到相似结果.分析认为SEN获得最佳性能的原因是自监督边缘融合策略的加入.由于边缘在重建任务中起到关键作用, 因此有必要引导重建网络更多关注边缘信息.

各方法在不同采样率上的可视化结果如图2所示.由图可知, 可视化评估与性能对比结果一致, 可见大多数重建方法不能准确恢复边缘.相比之下, SEN获得更清晰的结果, 并重建更多的边缘细节.

图2 不同采样率下各方法的重建图像Fig.2 Reconstruction image of different methods with different sample rates.

4 结束语

对CS-MRI图像统计结果表明, 边缘部分是从欠采样图像恢复原始图像的主要误差区域.本文提出自监督边缘融合网络(SEN), 用于CS-MRI重建, 尝试在深度模型MRI重建中显式挖掘有益的边缘信息.实验表明, SEN可捕捉边缘信息, 在重建中取得良好的重建效果.在今后的重建中, 设计新的辅助任务生成更多的信息特征是一个有意义的课题.此外, 还应提出一些新的融合策略, 指导重建任务关注转换后的边缘信息.

参考文献
[1] LUSTIG M, DONOHO D L, SANTOS J M, et al. Compressed Sen-sing MRI. IEEE Signal Processing Magazine, 2008, 25(2): 72-82. [本文引用:2]
[2] CANDÈS E J, ROMBERG J, TAO T. Robust Uncertainty Principles: Exact Signal Reconstruction from Highly Incomplete Frequency Information. IEEE Transactions on Information Theory, 2006, 52(2): 489-509. [本文引用:1]
[3] SUN L Y, FAN Z W, DING X H, et al. Joint CS-MRI Reconstruction and Segmentation with a Unified Deep Network // Proc of the International Conference on Information Processing in Medical Imaging. Berlin, Germany: Springer, 2019: 492-504. [本文引用:1]
[4] QIN C, SCHLEMPER J, CABALLERO J, et al. Convolutional Recurrent Neural Networks for Dynamic MR Image Reconstruction. IEEE Transactions on Medical Imaging, 2019, 38(1): 280-290. [本文引用:2]
[5] QU X B, HOU Y K, LAM F, et al. Magnetic Resonance Image Reconstruction from Undersampled Measurements Using a Patch-Based Nonlocal Operator. Medical Image Analysis, 2014, 18(6): 843-856. [本文引用:3]
[6] RONNEBERGER O, FISCHER P, BROX T. U-Net: Convolutional Networks for Biomedical Image Segmentation // Proc of the International Conference on Medical Image Computing and Computer-Assisted Intervention. Berlin, Germany: Springer, 2015: 234-241. [本文引用:2]
[7] YANG G, YU S M, DONG H, et al. DAGAN: Deep De-aliasing Generative Adversarial Networks for Fast Compressed Sensing MRI Reconstruction. IEEE Transactions on Medical Imaging, 2018, 37(6): 1310-1321. [本文引用:2]
[8] SEITZER M, YANG G, SCHLEMPER J, et al. Adversarial and Perceptual Refinement for Compressed Sensing MRI Reconstruction // Proc of the International Conference on Medical Image Computing and Computer-Assisted Intervention. Berlin, Germany: Springer, 2018: 232-240. [本文引用:3]
[9] NOROOZI M, FAVARO P. Unsupervised Learning of Visual Representations by Solving JIGSAW Puzzles // Proc of the European Conference on Computer Vision. Berlin, Germany: Springer, 2016: 69-84. [本文引用:1]
[10] LIU X L, VAN DE WEIJER J, BAGDANOV A D. Leveraging Unlabeled Data for Crowd Counting by Learning to Rank // Proc of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Washington, USA: IEEE, 2018: 7661-7669. [本文引用:1]
[11] LARSSON G, MAIRE M, SHAKHNAROVICH G. Colorization as a Proxy Task for Visual Understanding // Proc of the IEEE Confe-rence on Computer Vision and Pattern Recognition. Washington, USA: IEEE, 2017: 6874-6883. [本文引用:2]
[12] KINGMA D P, BA J M. Adam: A Method for Stochastic Optimization[C/OL]. [2020-05-25]. https://arxiv.org/pdf/1412.6980v1.pdf [本文引用:1]
[13] HORÉ A, ZIOU D. Image Quality Metrics: PSNR vs. SSIM // Proc of the 20th International Conference on Pattern Recognition. Washington, USA: IEEE, 2010: 2366-2369. [本文引用:1]