本文提出基于特征聚合和传播网络(FAPN)的图像超分辨率重建方法, 总体架构如图1所示.

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 FAPN整体架构Fig.1 Overall architecture of FAPN

给定的低分辨率LR图像I_LR, 由2个3× 3卷积进行特征提取后, 得到浅层特征F'₀和F″₀:

F'₀=f_{3× 3}(I_LR), F″₀=f_{3× 3}(I_LR),

其中f_{3× 3}(· )表示3× 3卷积函数.

随后, F'₀和F″₀进入深度特征提取的第1个阶段, 由CIAB、MAEB、FAPB处理后得到深层特征F₁.F₁再逐步进入深层特征提取模块剩余的每个阶段, 以此提取图像丰富的深层特征, 第n个阶段的输出特征:

${{F}_{n}}=f_{\text{stage}}^{n}~({{F}_{n}}_{-1}), n=2, 3, \ldots , N$,

其中, $f_{\text{stage}}^{n}(\cdot )$表示第n个阶段函数, F_n-1表示第n-1个阶段的输出特征.

最后, 深层特征F_n进入图像重建阶段, 获得精细的高分辨率图像:

I_SR=f_Bicubic(I_LR)+f_PS( f_{3× 3}(F_n)),

其中, f_PS(· )表示亚像素卷积上采样, f_{3× 3}(· )表示 3× 3卷积函数, f_Bicubic(· )表示双三次插值上采样.

为了使FAPN更充分地获取不同区域的上下文信息, 提高特征表达能力, 本文提出上下文交互注意力模块(CIAB), 详细结构如图2所示.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 CIAB结构图Fig.2 Architecture of CIAB

首先, 基于空洞卷积, 秉承不增加额外参数量的情况下有效扩大网络感受野的原则, 构建一个双分支结构, 采用不同扩张率的空洞卷积获取图像内部不同尺度的信息分量.如图2所示, 本文首先基于通道维度将输入特征划分成相等的两部分, 一个分支采用扩张率为2的3× 3空洞卷积, 另一个分支采用扩张率为3的3× 3空洞卷积, 2个分支的感受野分别为5× 5和7× 7, 以此捕捉图像内部丰富的上下文信息.假定每个分支的输入特征通道数为C, 相比使用标准的5× 5卷积和7× 7卷积, 参数量减少603 K.再将2个分支提取到的特征进行拼接, 使网络获得完整的特征表示.具体过程如下:

F_Concat=Concat(F', F″),

其中

$F'={{f}_{LR}}(f_{3\times 3}^{2}(\cdots {{f}_{LR}}(f_{3\times 3}^{2}({{F}_{1}}))))$,

$F''={{f}_{LR}}(f_{3\times 3}^{3}(\cdots {{f}_{LR}}(f_{3\times 3}^{3}({{F}_{2}}))))$,

$f_{3\times 3}^{i}(\cdot )$是扩张率为i的3× 3空洞卷积, f_LR(· )表示LeakyReLU激活函数.

为了充分利用多尺度上下文信息, 进一步增强特征的表达能力, 本文引入门通道注意力机制(GCT)^[19]取代普通卷积层, 采用规范化操作鼓励浅层通道特征之间相互合作、深层通道特征之间相互竞争.首先通过全局上下文算子α 嵌入已提取的全局上下文信息, 控制归一化前每个特征通道的权重, 经过归一化操作后由门控自适应算子γ 、 β 实现门控注意力机制, 根据归一化结果调整已提取的拼接特征F_Concat, 得到CIAB的输出特征:

F_out=tanh(F₂γ +β )F_Concat+F_Concat,

其中,

F₂=N_c(F₁),

${{F}_{1}}={{N}_{{{l}_{2}}}}({{F}_{\text{Concat}}})\alpha $,

α 、γ 、 β 表示可学习参数, α 有利于嵌入全局信息的自适应性, γ 、 β 用于控制激活门限; tanh(· )表示双曲正切S型函数, ${{N}_{{{l}_{2}}}}(\cdot )$表示l₂归一化操作, N_c(· )表示通道归一化操作.

相比简单的多尺度特征提取模块, 本文不仅利用不同扩张率的空洞卷积, 捕获更丰富的上下文信息, 还引入GCT, 在不引入额外参数的情况下, 通过鼓励浅层通道特征之间相互合作、深层通道特征之间相互竞争, 进一步学习每个通道丰富的特征信息.

如图3所示, 多维注意力增强模块(MAEB)由通道注意力(CA)^[20]、空间注意力(SA)^[20]和特征细化单元(FRU)三部分构成.CA负责调整网络对通道信息的关注度, 引导网络聚焦于更可靠的信息.SA关注空间特征信息, 保证空间信息的完整性.通过并行的方式组合CA和SA, 提取多维特征信息, 同时增强网络对关键特征的判别能力.之后, 通过FRU有针对性地对已提取的多维特征再次进行权重学习, 提升信息提取的可靠性.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 MAEB结构图Fig.3 Architecture of MAEB

上支路的CA模块首先通过全局平均池化和最大池化将特征图F转换为一维向量, 再送入MLP后相加, 使用Sigmoid函数获得注意力权重, 将其与特征F逐像素相乘后, 得到通道注意力加权后的特征:

F_CA=δ (MLP(Avg(F))+MLP(Max(F)))· F,

其中, Avg(· )表示全局平均池化操作, Max(· )表示最大池化操作, MLP(· )表示MLP(Multilayer Per-ceptron)函数, δ (· )表示Sigmoid函数.

下支路的SA模块首先将特征图F沿空间维度进行平均池化和最大池化, 将生成的2个一维向量拼接后进行卷积操作, 得到二维的空间注意力.再将其与F相乘后, 得到空间注意力加权后的特征:

F_SA=δ [ f_{1× 1}(Avg(F); Max(F))]· F,

其中, Avg(· )表示全局平均池化操作, Max(· )表示最大池化操作, δ (· )表示Sigmoid函数, f_{1× 1}(· )表示1× 1卷积函数.

最后, 将2个支路的输出特征F_CA和F_SA逐像素相加, 得到融合后的多维特征:

F_CS=F_CA+F_SA,

这使提取到的不同维度的特征更具体.

通常, 在使用不同注意力机制的过程中, 都是采用串联或并联的方式, 直接将产生的不同特征融合, 而未考虑到不同注意力机制提取的图像特征重要程度不同, 导致在之后的处理过程中耗费大量计算资源在相似的特征信息上.为此, 本文构建FRU, 对提取的多维信息再次进行权重学习, 自适应选择重要的特征信息.

FRU由2条注意力支路构成:一条支路由5× 5深度卷积、7× 7深度卷积、逐点卷积和Sigmoid函数构成; 另一条支路由3× 3深度卷积、5× 5深度卷积、逐点卷积和Sigmoid函数构成.假设输入特征图的通道数为C, 卷积核大小为k× k, 使用标准卷积时参数量为

k× k× C× C=k²C².

在使用深度卷积的情况下, 对输入特征图的每个通道都采用一个大小为k× k× 1的卷积核进行卷积, 则参数量为

k× k× C=k²C.

逐点卷积的卷积核大小为1× 1, 参数量为

1× 1× C× C=C².

由此可见, 深度卷积的参数量及深度卷积和逐点卷积参数量之和远小于标准卷积参数量.

这两条支路在不同大小的感受野下再次有侧重地学习多维特征F_CS, 进一步增强网络对关键特征的判别能力.FRU的输出特征为:

F_FRU=F_CS· σ ( f_{1× 1}( f_{7× 7}( f_{5× 5}(F_CS))))+FC_S· σ ( f1_{× 1(}f5_{× 5(}f3_{× 3(}FC_S)))),

其中, f_{3× 3}(· )表示3× 3深度卷积函数, f_{5× 5}(· )表示5× 5深度卷积函数, f_{7× 7}(· )表示7× 7深度卷积函数, f_{1× 1}(· )表示逐点卷积, σ (· )表示Sigmoid函数.

网络中各个模块由不同的卷积层构成, 功能各不相同, 并且随着网络逐渐加深, 不同卷积层提取的特征具有不同的状态, 在重建过程中, 不同状态的特征信息重要性不同.通常情况下, 直接平等对待所有特征, 将其直接相加或串联拼接可能会导致一些重要信息被忽略.针对该问题, 本文提出特征聚合传播模块(FAPB), 分为特征聚合(Feature Aggregation, FA)和特征传播(Feature Propagation, FP)两部分.首先自适应地聚合不同分支的信息, 再生成不同的权重, 进一步筛选聚合信息, 使更强大的特征表示能在网络中传播.FAPB详细结构如图4所示.

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 FAPB结构图Fig.4 Architecture of FAPB

特征聚合部分包含2个并行的输入, 分别是CIAB和MAEB的输出F'和F″, 使用翻转操作对深度特征图进行增强, 之后逐像素相加, 得到特征

F_m=f_{3× 3}( flip(F')+flip(F″)),

获得更全面的特征信息, 其中, f_{3× 3}(· )表示3× 3卷积函数, flip(· )表示图像翻转函数.

接下来, F_m通过Sigmoid函数得到归一化权重, 并与输入F'和F″分别点乘, 使网络捕捉不同层次特征之间的相关性, 增强网络对关键特征的关注.此外, 引入残差连接, 充分融合图像的浅层特征和深层特征, 以此保留输入特征的原始信息, 提升网络对图像浅层特征的利用率.具体过程如下:

$F_{Agg}^{1}=\delta ({{F}_{m}})\otimes F'+F'$,

$F_{Agg}^{2}=\delta ({{F}_{m}})\otimes F\prime\prime +F\prime\prime $,

其中δ (· )表示Sigmoid函数.

然后使用3× 3卷积进一步处理$F_{Agg}^{1}$和$F_{Agg}^{2}$后, 逐像素相加, 得到聚合特征

${{F}_{Agg}}={{f}_{3\times 3}}({{f}_{3\times 3}}(F_{Agg}^{1})+{{f}_{3\times 3}}(F_{Agg}^{2}))$,

进一步增强网络的特征表达能力, 其中 f_{3× 3}(· )表示3× 3卷积函数.

特征传播部分首先对聚合特征F_Agg使用3× 3深度卷积、1× 1逐点卷积序列、5× 5深度卷积、1× 1逐点卷积序列进行卷积操作, 再逐像素相加, 使不同感受野下的信息互相补充, 得到更精细的深层信息, 具体过程如下:

F_Depth=F_Depth1+F_Depth2,

其中

F_Depth1=f_{PW1× 1}( f_{DW3× 3}(F_Agg)),

FD_epth2=fP_{W1× 1(}fD_{W5× 5(}FA_gg)),

f_{DW3× 3}(· )表示3× 3深度卷积函数, f_{DW5× 5}(· )表示5× 5深度卷积函数, f_{PW1× 1}(· )表示逐点卷积函数.

然后, 通过1× 1卷积, 进一步对F_Depth进行特征映射, 得到2个不同的特征向量

g₁=f_{1× 1}(F_Depth)∈ R^{1× W× H},

g₂₌f_{1× 1}(F_Depth)∈ R^{1× W× H,}

其中f_{1× 1}(· )表示1× 1卷积函数.

通过拼接操作, 合并映射后的2个特征, 得

g₃=Concat(g₁, g₂)∈ R^{2× W× H}.

最后, 通过Softmax操作获得2个互补权重:

$w_{1}^{\left( i, j \right)}=\frac{\text{exp}\left( g_{1}^{\left( i, j \right)} \ \ \right)}{\text{exp}\left( g_{1}^{\left( i, j \right)} \ \ \right)+\text{exp}\left( g_{2}^{\left( i, j \right)} \ \ \right)}$,

$w_{2}^{\left( i, j \right)}=\frac{\text{exp}\left( g_{2}^{\left( i, j \right)} \ \ \right)}{\text{exp}\left( g_{1}^{\left( i, j \right)} \ \ \right)+\text{exp}\left( g_{2}^{\left( i, j \right)} \ \ \right)}$

其中, $g_{1}^{\left( i, j \right)}$、$g_{2}^{\left( i, j \right)}$分别表示特征图g₁、g₂第(i, j)个位置的权重.最后与F_Depth1和F_Depth2进行相应加权操作, 进而求和, 得到传播过程中的输出特征

$F_{\text{prop}}^{p\left( i, j \right)}=w_{1}^{\left( i, j \right)}F_{\text{Depth}1}^{\left( i, j \right)}+w_{2}^{\left( i, j \right)}F_{\text{Depth}2}^{\left( i, j \right)}$,

使网络提取到更有效的高频信息.

本文采用DIV2K数据集^[21]上的800幅图像作为训练数据集.使用双三次下采样对数据集进行处理, 得到对应的低分辨率图像, 同时将这些图像旋转90° 、180° 、270° 进行数据增强, 最后将高分辨率图像和对应的低分辨率图像裁剪为64× 64的图像块.同时, 采用Set14^[19]、Set5^[20]、BSD100^[22]、Urban100^[23]数据集作为实验的测试数据集.

选用如下评价指标:峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)和结构相似度(Structural Similarity, SSIM)^[24].

FAPN使用Adam(Adaptive Moment Estima-tion)优化器训练网络及优化参数, 指数衰减率设为β ₁=0.9, β ₂=0.999, 数值稳定常数ε =10^-8.采用l₁损失函数^[25], 训练迭代轮次为1 000, 批处理大小设为16, 学习率设为10^-4, 每训练250个回合, 学习率下降一半.

实验使用Platinum 8255C CPU处理器, 内存40 GB, GPU为RTX 3090, 显存10 GB.深度学习框架使用Pytorch, 版本为1.8.1, 编程语言使用Python, 版本为3.7.

2.2.1 上下文交互注意力模块

本文在CIAB中引入GCT, 采用规范化操作, 鼓励浅层通道特征之间相互合作、深层通道特征之间相互竞争.为了验证 GCT的有效性, 将CIAB与去除GCT的CIAB进行性能对比, 在4个基准数据集上进行4倍的超分辨率重建, 具体PSNR结果如表1所示.由表可看出, 包含GCT的CIAB在4个基准数据集上均取得最优的PSNR, 由此说明GCT可使网络进一步学习每个通道内的信息.

表1

Table 1

表1(Table 1)

表1 GCT对重建性能的影响 Table 1 Effect of GCT on reconstruction performance dB GCT Set5 Set14 BSD100 Urban100 无 32.09 28.55 27.54 25.96 有 32.19 28.58 27.56 26.06

表1 GCT对重建性能的影响 Table 1 Effect of GCT on reconstruction performance dB

此外, 为了分析CIAB中不同数目的3× 3空洞卷积对CIAB重建性能的影响, 在4个数据集上进行重建效果对比, 具体PSNR结果如表2所示, 表中黑体数字为最优值.由表可知, 随着卷积个数增加, 取得的PSNR值逐渐提高, 当卷积次数为3时, 在Set5、Urban100数据集上取得最优的PSNR值, 当卷积次数为4时, 在Set14、BSD100数据集上取得最优的PSNR值.然而考虑到卷积次数增加会导致参数量增大, 本文将CIAB中的空洞卷积提取次数设置为3.

表2

Table 2

表2(Table 2)

表2 CIAB中特征提取次数对重建性能的影响 Table 2 Effect of feature extraction times of CIAB on reconstruction performance dB 提取次数 Set5 Set14 BSD100 Urban100 1 32.12 28.56 27.54 25.97 2 38.16 28.56 27.55 25.99 3 32.19 28.58 27.56 26.06 4 32.17 28.60 27.57 26.05

表2 CIAB中特征提取次数对重建性能的影响 Table 2 Effect of feature extraction times of CIAB on reconstruction performance dB

2.2.2 多维注意力增强模块

为了进一步探究MAEB各组成结构对重建性能的影响, 设计如下3种方案:1)只使用通道注意力机制(CA); 2)在1)的基础上进一步引入空间注意力(SA); 3)在2)的基础上, 添加特征细化单元(FRU).表3是上述方案在4个数据集上4倍SR的PSNR值对比.由表可见, 与方案1)只采用CA捕捉通道上下文信息相比, 方案2)引入SA, 在重建过程中进一步专注于图像的空间结构信息.考虑到使用不同注意力机制提取的信息重要性也有所不同, 方案3)在方案2)的基础上继续引入FRU, 通过生成权重的方式再次学习提取的多维度信息, 从而进一步强化网络对关键细节信息的判别能力, 提升网络的特征表达能力.

表3

Table 3

表3(Table 3)

表3 MAEB各组成结构对重建性能的影响 Table 3 Effect of each component in MAEB on reconstruction performance dB 模块 Set5 Set14 BSD100 Urban100 CA 32.10 28.53 27.51 25.99 CA+SA 32.13 28.55 27.54 26.02 CA+SA+FRU 32.19 28.58 27.56 26.06

表3 MAEB各组成结构对重建性能的影响 Table 3 Effect of each component in MAEB on reconstruction performance dB

2.2.3 特征聚合传播模块

为了验证FAPB融合特征的有效性, 将网络中的FAPB替换为逐像素相加操作(Add)和特征拼接操作(Concat), 替换前后PSNR结果如表4所示.由表可见, 相比Add和Concat, 使用FAPB时FAPN取得最优的重建性能, 说明FAPB不仅可融合不同层次的特征, 还可使网络从已提取特征中学习到更丰富的信息, 促进有益的信息在网络中的传播.

表4

Table 4

表4(Table 4)

表4 FAPB对重建性能的影响 Table 4 Effect of FAPB on reconstruction performance dB 模块 Set5 Set14 BSD100 Urban100 Add 32.09 28.54 27.55 26.03 Concat 32.09 28.56 27.55 26.05 FAPB 32.19 28.58 27.56 26.06

表4 FAPB对重建性能的影响 Table 4 Effect of FAPB on reconstruction performance dB

为了进一步验证FAPB的有效性, 首先在整体网络中使用特征聚合(FA)进行超分辨率重建, 再加入特征传播(FP), 具体PSNR结果如表5所示.由表可见, 当引入FP后, 在4个测试集上的PSNR都有所提高, 表明FAPB组合的有效性.

表5

Table 5

表5(Table 5)

表5 FAPB不同组成部分对重建性能的影响 Table 5 Effect of different components of FAPB on reconstruction performance dB FA FP Set5 Set14 BSD100 Urban100 有 无 32.16 28.56 27.53 26.0 有 有 32.19 28.58 27.56 26.06

表5 FAPB不同组成部分对重建性能的影响 Table 5 Effect of different components of FAPB on reconstruction performance dB

同时为了更直观展示FAPB在图像重建过程中的作用, 对上述实验过程效果进行对比, 结果如图5所示.采用热力图表示网络对特征的关注程度, 暖色表示网络对该区域特征关注较多, 冷色表示对该特征区域关注较少.由图可见, 相比未使用FAPB, 使用FA后方法对纹理丰富的区域关注增多, 说明FA自适应融合来自CIAB和MAEB不同状态的特征信息, 使网络更全面学习图像内部重要信息.在此基础上继续添加FP后(图5(d)), 暖色区域范围更广, 并且集中于一些复杂纹理区域(如猩猩毛发、鼻部和眼部纹理), 说明FP可再次筛选初步聚合的信息, 使图像内部的高频信息更突出, 促进关键信息在网络中的传播.

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 FAPB作用的可视化效果Fig.5 Visualization effect of FAPB

2.2.4 网络深度分析

为了分析网络深度对方法重建性能的影响, 对FAPN分别采用1、3、5、7个阶段, 进行4倍的超分辨率重建, PSNR结果如表6所示, 表中黑体数字表示最优值.

表6

Table 6

表6(Table 6)

表6 网络深度对重建性能的影响 Table 6 Effect of network depth on reconstruction performance dB 网络深度 Set5 Set14 BSD100 Urban100 1 31.85 28.36 27.42 25.61 3 32.07 28.54 27.54 25.96 5 32.19 28.58 27.56 26.06 7 32.08 28.57 27.55 26.06

表6 网络深度对重建性能的影响 Table 6 Effect of network depth on reconstruction performance dB

由表6可知, 网络深度越深, 性能越优.当网络深度由3增至5时, 各数据集上的PSNR都有所提升; 当增至7时, 在Set5、Set14、BSD100数据集上的PSNR有所下降.因此, 本文将FAPN的网络深度设置为5, 采用5个阶段逐步提取图像特征.

FAPN共包含5个阶段, 每个阶段都将MAEB和CIAB提取到的不同状态的先验信息输入FAPB进行聚合.为了验证FAPN的有效性, 输出网络中第1阶段、第3阶段、第5阶段中各模块得到的特征图, 显示其所包含的低频信息和高频信息, 具体如图6所示.从图中可得出一些较直观的结论.

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 FAPN可视化效果Fig.6 Visualization effect of FAPN

1)在每个阶段中, 与CIAB和MAEB提取到的特征相比, FAPB得到的特征图包含的信息更丰富, 表明通过FAPB对层次化信息融合及筛选能生成更好的特征表示.

2)FAPB输出特征中的边缘纹理和细节逐渐清晰, 平滑的低频分量逐渐被抑制.这说明FAPN不仅充分学习图像包含的丰富信息, 并且将不同状态信息层次化融合, 通过融合前面的分支特征生成更强大的特征表示.此外, FAPN将每个阶段获得的细节信息作为下一阶段的先验信息, 从而达到浅层特征指导深层特征表示的目的, 使图像中的高频信息分量逐渐突出, 以此保证重建图像具有更好的主观质量.

为了验证FAPN的性能, 选取如下16种方法进行客观定量和主观视觉效果对比: DRCN^[12]、IMDN^[14]、RLFN^[15]、CBPN(Compact Backprojection Network)^[26]、LapSRN(Laplacian Pyramid Super-Re-solution Network)^[27]、CARN(Cascading Residual Network)^[28]、SMSR(Sparse Mask SR)^[29]、LFFN(Light-weight Feature Fusion Network)^[30]、MSRN(Multi-scale Residual Network)^[31]、FCCSR(Feature Cheap Convolution SR)^[32]、LCRCA(Lightweight Skip Con-catenated Residual Channel Attention Network)^[33]、DRSAN-48m(Dynamic Residual Self-Attention Net-work-48m)^[34]、基于区域互补注意力和多维注意力的轻量级图像超分辨率网络(Lightweight Image Super-Resolution Network Based on Regional Com-plementary Attention and Multi-dimensional Attention, RCA-MDA)^[35]、RSANet-L(Large-Scale Residual Shu-ffle Attention Network)^[36]、EMASRN+(Lightweight Single Image Super-Resolution Network with an Ex-pectation-Maximization Attention Mechanism+)^[37]、轻量化逆可分离残差信息蒸馏网络(Lightweight Inverse Separable Residual Information Distillation Network, LIRDN)^[38].

在4个测试数据集上分别进行2倍、3倍、4倍的超分辨率重建, 各方法的平均PSNR和SSIM值对比如表7~表9所示, 表中黑体数字表示最优值.

表7

Table 7

表7(Table 7)

表7 放大倍数为2时各方法在4个数据集上的指标值对比 Table 7 Index comparison of different methods at a magnification factor of 2 on 4 datasets 方法 参数量/K Set5 Set14 BSD100 Urban100 PSNR/dB SSIM PSNR/dB SSIM PSNR/dB SSIM PSNR/dB SSIM DRCN 1774 37.63 0.9588 33.04 0.9118 31.85 0.8942 30.75 0.9133 LapSRN 812 37.52 0.9590 33.08 0.9130 31.80 0.8590 30.41 0.9100 CARN 1592 37.76 0.9590 33.52 0.9166 32.09 0.8978 31.92 0.9256 CBPN 1036 37.90 0.9590 33.60 0.9171 32.17 0.8989 32.14 0.9279 SMSR 985 38.00 0.9601 33.64 0.9179 32.17 0.8993 32.19 0.9284 IMDN 684 38.00 0.9605 33.63 0.9177 32.19 0.8996 32.17 0.9283 LFFN 1522 37.95 0.9597 - - 32.20 0.8994 32.39 0.9299 MSRN 6630 38.08 0.9605 33.74 0.9170 32.23 0.9013 32.22 0.9326 RLFN 527 38.07 0.9607 33.72 0.9187 32.22 0.9000 32.33 0.9299 FCCSR 632 38.04 0.9606 33.66 0.9188 32.20 0.8994 32.19 0.9285 LCRCA 813 38.05 0.9607 36.65 0.9181 32.17 0.8994 32.39 0.9299 LIRDN 1171 38.07 0.9610 33.64 0.9183 32.21 0.8999 32.22 0.9287 EMASRN+ - - - - - - - - - DRSAN- 48m 1190 38.14 0.9611 33.72 0.9189 32.24 0.9009 32.41 0.9312 RCA-MDA 419 38.02 0.9605 33.68 0.9180 32.20 0.8997 32.20 0.9291 RSANet-L 898 38.07 0.9608 33.57 0.9176 32.20 0.9001 32.14 0.9282 FAPN 1139 38.15 0.9612 33.81 0.9198 32.26 0.9009 32.42 0.9313

表7 放大倍数为2时各方法在4个数据集上的指标值对比 Table 7 Index comparison of different methods at a magnification factor of 2 on 4 datasets

表8

Table 8

表8(Table 8)

表8 放大倍数为3时各方法在4个数据集上的指标值对比 Table 8 Index comparison of different methods at a magnification factor of 3 on 4 datasets 方法 参数量/K Set5 Set14 BSD100 Urban100 PSNR/dB SSIM PSNR/dB SSIM PSNR/dB SSIM PSNR/dB SSIM DRCN 1774 33.82 0.9226 29.76 0.8311 28.80 0.7963 27.15 0.8276 CARN 1592 34.29 0.9255 30.29 0.8407 29.06 0.8034 28.06 0.8493 SMSR 993 34.40 0.9270 30.33 0.8412 29.10 0.8050 28.25 0.8536 IMDN 703 34.36 0.9270 30.32 0.8417 29.09 0.8046 28.16 0.8519 MSRN 6080 34.38 0.9262 30.34 0.8395 29.08 0.8041 28.08 0.8554 LFFN 1534 34.43 0.9266 - - 29.13 0.8059 28.34 0.8558 FCCSR 632 34.45 0.9272 30.33 0.8416 29.11 0.8052 28.24 0.8534 LCRCA 822 34.40 0.9269 30.36 0.8492 29.09 0.8049 28.21 0.8532 LIRDN 1180 34.48 0.9279 30.41 0.8428 29.14 0.8058 28.33 0.8549 EMASRN+ 427 34.48 0.9275 30.38 0.8422 29.11 0.8046 28.17 0.8541 DRSAN- 48m 1290 34.59 0.9286 30.42 0.8443 29.18 0.8079 28.52 0.8593 RCA-MDA 425 34.47 0.9275 32.40 0.8424 29.14 0.8053 28.26 0.8540 RSANet-L 1020 34.51 0.9277 30.38 0.8422 29.14 0.8063 28.32 0.8544 FAPN 1147 34.60 0.9290 30.48 0.8449 29.21 0.8079 28.54 0.8600

表8 放大倍数为3时各方法在4个数据集上的指标值对比 Table 8 Index comparison of different methods at a magnification factor of 3 on 4 datasets

表9

Table 9

表9(Table 9)

表9 放大倍数为4时各方法在4个数据集上的指标值对比 Table 9 Index comparison of different methods at a magnification factor of 4 on 4 datasets 方法 参数量/K Set5 Set14 BSD100 Urban100 PSNR/dB SSIM PSNR/dB SSIM PSNR/dB SSIM PSNR/dB SSIM DRCN 1774 31.53 0.8854 28.02 0.7670 27.73 0.7233 25.14 0.7510 LapSRN 812 31.54 0.8850 28.09 0.7720 27.32 0.7280 25.21 0.7560 CARN 1592 32.13 0.8937 28.60 0.7806 27.58 0.7349 26.07 0.7837 CBPN 1197 32.21 0.8944 28.63 0.7813 27.58 0.7356 26.14 0.7869 MSRN 1006 32.12 0.8932 28.55 0.7808 27.55 0.7351 26.11 0.7868 SMSR 715 32.21 0.8948 28.58 0.7811 27.56 0.7353 26.04 0.7838 IMDN 1531 32.15 0.8945 - - 27.52 0.7357 26.24 0.7902 LFFN 6330 32.07 0.8903 28.60 0.7751 27.52 0.7273 26.04 0.7896 RLFN 543 32.24 0.8952 28.62 0.7813 27.60 0.7364 26.17 0.7877 FCCSR 632 32.22 0.8952 28.64 0.7823 27.60 0.7364 26.17 0.7880 LCRCA 834 32.20 0.8948 28.60 0.7807 27.57 0.7353 26.10 0.7851 LIRDN 1192 32.33 0.8963 28.70 0.7828 27.63 0.7375 26.37 0.7927 EMASRN+ 546 32.31 0.8964 28.66 0.7828 27.61 0.7394 26.15 0.7868 DRSAN- 48m 1270 32.34 0.8960 28.65 0.7841 27.63 0.7390 26.33 0.7936 RCA-MDA 437 32.28 0.8958 28.66 0.7826 27.61 0.7369 26.18 0.7880 RSANet-L 995 32.34 0.8956 28.66 0.7825 27.62 0.7376 26.22 0.7888 FAPN 1158 32.42 0.8979 28.71 0.7847 27.65 0.7391 26.34 0.7938

表9 放大倍数为4时各方法在4个数据集上的指标值对比 Table 9 Index comparison of different methods at a magnification factor of 4 on 4 datasets

由表7~表9可知, FAPN在4个公开测试数据集上都取得最优或次优的PSNR和SSIM值.RCA-MDA采用区域互补注意力块(Region Comple-mentary Attention Block, RCAB)和多维注意力块(Multi-dimensional Attention Block, MDAB)捕捉图像局部、非局部以及不同维度的信息.RSANet-L提出RSAB(Residual Shuffle Attention Block), 捕获特征分组中的细节信息.然而, 上述方法虽然学习图像丰富的内部信息, 但是未充分将其利用.对于SR来说, 整合不同状态的信息也至关重要.本文首先基于注意力机制、空洞卷积和深度卷积提出MAEB和CIAB, 获取图像内部不同尺度的上下文信息, 强化视觉特征中包含的空间结构信息和语义信息, 丰富网络的特征表示.之后设计FAPB, 首先使网络自适应聚合来自上述两个模块不同状态的特征信息, 再通过生成可训练权重的方式使网络保留更关键的特征.FAPN通过这3个模块的相互协作, 充分学习并利用不同状态的特征信息, 更好地执行SR任务.

下面进行模型参数量的对比.从表7~表9可看出, 相比RLFN、FCCSR和LCRCA, 虽然FAPN的参数量有所增加, 但FAPN的PSNR和SSIM值显著提升.相比MSRN, FAPN的参数量约为其1/5, 然而取得的平均PSNR值显著提高.

放大倍数为4时各方法在Set5数据集上的平均PSNR和参数量对比如图7所示.由图可知, FAPN能在模型性能和参数量之间取得较好的平衡.

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 放大倍数为4时, 各方法在Set5数据集上的参数量和平均PSNR对比Fig.7 Comparison of parameters and average PSNR of different methods at a magnification factor of 4 on Set5 dataset

图8展示FAPN对图像细节的重建效果, 从Urban100数据集上选取3幅纹理结构较丰富的图像, 与其它主流方法进行4倍超分辨率重建效果对比.

图8

Fig.8

	Figure Option ViewDownloadNew Window
	图8 放大倍数为4时各方法在Urban100测试集上的重建效果对比Fig.8 Reconstruction effect comparison of different methods at a magnification factor of 4 on Urban100 test set

图8(a)中DRCN和MSRN重建出的图像模糊失真严重, CARN、IMDN、RLFN重建出的图像存在不同程度的伪影, 而FAPN重建的图像更接近原始图像, 未出现严重的失真扭曲现象, 并且只存在较少的伪影.

在图8(b)和(d)中, 其它方法重建图像都存在边缘虚化的现象, 而FAPN重建图像的轮廓更真实, 与原始图像更接近.

图8(c)中的图像重建更具挑战性, 其它方法的重建图像都存在一定程度的伪影, 而FAPN重建图像的细节纹理更清晰, 同时伪影较少.