本文提出基于全局-局部先验和纹理细节关注的图像修复方法, 整体框架如图1所示.

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 本文方法整体框架Fig.1 Overall architecture of the proposed method

本文方法分为小波-傅里叶卷积模块、全局-局部学习式先验、先验与内容的修复与融合三部分.首先, 构造小波-傅里叶卷积模块和全局-局部特征提取模块(Global-Local Block, G-L Block).然后, 利用小波-傅里叶卷积模块构造全局-局部先验提取器(Global-Local Prior Extractor, G-L PE), 提取先验.最后, 以同样方式构造先验修复分支和内容修复分支, 分别修复先验和内容, 融合两者并输出完整结果.

给定完整图像I和二值掩码矩阵M(1表示受损区域, 0表示未受损区域), 受损图像:

I_M=I☉(1-M),

其中☉表示逐元素相乘.在训练时, I_M通过G-L PE得到全局-局部学习式受损先验P_M, 再经过先验修复分支得到P_out.同时, I_M也通过内容修复分支初步修复出结果.在每个分支结构中, 又使用两支并行结构, 在频域恢复图像信息.两域恢复的融合是以通道维度堆叠的方式进行的, 通过Bi-GFF合并内容与先验, 输出完整结果I_out.

通过上述三个部分的设计, 本文方法能捕获全局和局部的先验特征, 并从整体和细节上协同把握图像的修复过程, 使生成图像具有一致的语义内容和清晰的边缘与纹理.

为了提取全局特征与局部特征, 本文改进文献[27]的快速傅里叶卷积模块, 构造小波-傅里叶卷积模块, 具体结构如图1所示.

该模块将输入特征分为局部特征和全局特征.局部特征通过小波卷积充分提取各频带细节, 同时也通过卷积提取特征分支并与全局特征部分融合.全局特征通过傅里叶卷积扩大感受野, 同样通过卷积提取全局特征并与局部特征部分融合.最终输出特征:

F_out=WFC(F_in),

其中, F_in表示输入特征, WFC(·)表示小波-傅里叶卷积层.

单个通道的小波卷积运算示例如图2所示, 在小波变换部分, 使用二维Haar小波变换^[25], 将输入特征通过如下4种步长为2的卷积核分解为4种分量特征:

$\begin{array}{l} f_{\mathrm{LL}}=\frac{1}{2}\left[\begin{array}{ll} 1 & 1 \\ 1 & 1 \end{array}\right], f_{\mathrm{HL}}=\frac{1}{2}\left[\begin{array}{cc} 1 & 1 \\ -1 & -1 \end{array}\right], \\ f_{\mathrm{HD}}=\frac{1}{2}\left[\begin{array}{cc} 1 & -1 \\ -1 & 1 \end{array}\right], f_{\mathrm{HV}}=\frac{1}{2}\left[\begin{array}{ll} 1 & -1 \\ 1 & -1 \end{array}\right], \end{array}$

其中, f_LL表示低频滤波器, f_HL表示水平方向梯度滤波器, f_HD表示斜对角方向梯度滤波器, f_HV表示垂直方向梯度滤波器.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 单个通道的小波卷积运算示例Fig.2 An example of wavelet convolution operation for a single channel

经过小波变换后, 各分量通过一层卷积进一步提取特征:

[F_LL, F_HL, F_HD, F_HV]=Conv([fL_L, fH_L, fH_D, fH_V], Fi_n),

其中, F_LL、F_HL、F_HD、F_HV分别表示通过4种滤波器得到的各分量特征, Conv([f_LL, f_HL, f_HD, f_HV], F_in)表示以[f_LL, f_HL, f_HD, f_HV]为卷积核作用在F_in 上的卷积运算.再经过逆变换转换回原空间.由于二维Haar小波变换使用正交基, 逆小波变换可表示为转置卷积的形式, 即

[F'_LL, F'_HL, F'_HD, F'_HV]=Conv([FL_L, FH_L, FH_D, FH_V]),

其中Conv([F_LL, F_HL, F_HD, F_HV])表示以3×3的卷积核作用在[F_LL, F_HL, F_HD, F_HV]上的卷积运算.至此, 最终输出特征:

Fout1=Conv-transposed([f_LL, f_HL, f_HD, f_HV], [FL_L, FH_L, FH_D, FH_V]),

其中Conv-transposed([f_LL, f_HL, f_HD, f_HV], [F_LL, F_HL, F_HD, F_HV])表示以[f_LL, f_HL, f_HD, f_HV]为卷积核分别一一对应作用在[F_LL, F_HL, F_HD, F_HV]上的转置卷积.

类似地, 在全局特征提取部分, 本文使用快速傅里叶变换^[27].通过快速傅里叶变换, 图像空域特征转化为谱域特征, 对谱域特征进行卷积时, 卷积核处理的特征对应于原图整个空间特征中包含对应频率的部分, 这使得快速傅里叶卷积具有较高感受野, 因此能提取全局特征, 最终输出特征为:

Fout2=FFC( Fin2),

其中, Fout2表示输入特征, FFC(·)表示快速傅里叶卷积.

将快速傅里叶卷积、小波卷积和另外与它们并行的卷积层按图1中的方式结合, 构成小波-傅里叶卷积模块.

通过小波-傅里叶卷积模块, 成功分离输入特征并提取为局部特征和全局特征, 两种特征经过批量归一化和ReLU激活后, 以对称的方式融合并输出F_out.此外, 当堆叠两个以上的小波-傅里叶卷积模块时, 由于下一层的输入中局部特征部分也包含被卷积处理过的全局特征, 输入特征不仅能分别分成局部特征和全局特征, 还能在过程中交互影响.

本文通过残差的方式将两个小波-傅里叶卷积模块组合为全局-局部特征提取模块(G-L Block).这样的构造有如下优点.

1)残差的构造可保留原始特征, 使方法在提取特征时更容易关注和学习需要修复的内容, 同时增强多个模块之间的独立性.

2)相比传统的卷积^[27], 将小波变换引入用于局部特征处理, 能直接关注边缘细节和纹理.同时, 在形状和边缘特征识别场景中, 小波卷积可更好地响应.特别是在图像受损时, 小波卷积的多频率处理^[28]可增强模型对图像损坏的鲁棒性.

3)两层堆叠的模块可增强局部特征和全局特征的交互.基于上述优点, 本文利用小波-傅里叶卷积模块和全局-局部特征提取模块, 构造全局-局部先验提取器、内容自编码器和先验自编码器.

如图3所示, 本文的全局-局部学习式先验由一个1×1的卷积层和一个G-L Block组成.这一模块首先作用在受损图像I_M上, 得到受损先验:

P_M=PE(I_M),

其中, PE(·)表示先验提取器, 在提取P_M和P_gt时使用共享参数的先验提取器.同样作用在完整图像上, 可得到全局-局部学习式监督先验:

P_gt=PE(I_gt).

受损先验P_M经过先验修复, 得到

P_out=AE(P_M),

其中AE(·) 表示自编码器.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 全局-局部学习式先验的提取及训练过程Fig.3 Extraction and training process of global-local learning-based prior

在特征层级的先验损失L_lp和P_gt的作用下, 先验分支可实现全局-局部学习式先验的修复训练.

通过这种学习结构, 本文得到学习式先验.不同于以往给定的滤波器提取固定先验, 本文的学习式先验通过学习的方式训练提取器, 因此提取的先验也是可学习的.

此外, 由于G-L PE是由全局-局部特征提取模块构成, 因此, 相比传统先验, G-L PE兼顾全局特征和局部特征, 既保证图像整体内容的语义完整性, 也增强图像纹理和边缘的清晰度^[29].需要指出的是, 通过控制G-L PE的输出层数可控制先验的数量, 因此设置较多层数可使学习式先验提取器学习多样化的先验.

先验与内容的修复与融合部分均由小波-傅里叶卷积模块构成, 具体结构如图4所示.两个分支除去输入通道不同以外其它均相同, 并且都使用自编码器的结构作为主干.

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 先验与内容的修复与融合结构图Fig.4 Structure of prior and content inpainting and fusion

与LaMa(Large Mask Inpainting)^[27]类似, 首先, 通过3层下采样小波-傅里叶卷积(在小波-傅里叶卷积模块的第一个特征提取层将卷积步长设为2, 即为下采样小波-傅里叶卷积)将受损图像或先验编码到隐空间.再连续通过多组G-L Block, 在编码空间实现特征修复.

然后, 通过3层上采样层(使用转置卷积)将初步修复的内容编码和先验编码解码至原空间.

最后, 经由Bi-GFF, 将内容与先验充分交互合并, 输出完整图像.这样的构造使方法能实现语义先验和纹理边缘先验的修复, 协同指导原缺失内容的补全, 实现更精细的图像修复.

本文将G-L Block的层数控制在18层.Bi-GFF通过两个门控机制自适应地融合先验特征和内容特征, 最终输出特征为:

Fout3=Concat(β·G_p☉P_out, α·G_c☉C_out),

其中

G_c=σ(Conv(Concat(P_out, C_out))),

Gp₌σ(Conv(Concat(Po_ut, Co_ut))),

P_out表示先验分支的输出, C_out表示内容分支的输出, σ(·)表示Sigmoid激活函数, α、 β表示可学习的系数.

本文使用L₁重构损失、感知损失、对抗损失构造损失函数, 此外新增学习式先验损失和高感受野风格损失.

为了使重构的先验更接近真实先验, 使用最直观衡量两者差距的L₁损失, 先验损失定义为

L_lp=‖ P_out-P_gt‖ ₁,

其中‖ ·‖ ₁表示L₁距离.

传统的感知损失和风格损失使用预训练的VGG-16^[30]作为特征提取网络, 作用在输出图像I_out和真实图像I_gt上, 并根据各层提取特征衡量两者的差距^[31].然而, VGG-16的感受野较小, 难以衡量图像之间全局特征的相似程度.本文使用预训练的ResNet-dilated-50^[27]作为特征提取网络ϕ , ϕ 以膨胀卷积为卷积核, 大幅提升感受野, 更好地关注I_out和I_gt在全局特征上的差异.感知损失L_per和风格损失L_style可分别表示为

L_per= ∑l=141HlWlCl‖ ϕ _l(I_out)-ϕ _l(I_gt)‖ ₁ ,

L_sty= ∑l=141HlWlCl‖ ϕ _l(I_out)^Tϕ _l(I_out)-ϕ _l(I_gt)^Tϕ _l(I_gt)‖ ₁,

其中, ϕ _l(·)表示ResNet-dilated-50的第l层输出特征, H_l、W_l表示第l层输出特征的高、宽, C_l表示第l层输出特征的通道数.

本文也采用重构损失L_rec衡量I_out和I_gt的距离, 即

L_rec=‖ I_out-I_gt‖ ₁.

类似地, 为了使输出图像具有更逼真的细节, 本文也使用对抗损失^[32]:

LadvG= Ez~Iout[log₂(1-D(z))],

其中, G表示生成器即本文方法, z表示服从于生成图像分布的样本.

综上所述, 总损失:

L_total=λ_recL_rec+λ_lpL_lp+λ_perL_per+λs_tyLs_ty+λ_advLadvG

其中, λ_rec、λ_lp、λ_per、λ_sty、λ_adv表示权重, 本文参照文献[21]和文献[27], 设定

λ_rec=10, λ_lp=1, λ_per=10, λ_sty=250, λ_adv=0.1.

为了验证本文方法的有效性, 选择在如下三个公共数据集和一个掩码数据集上进行实验.

1)Places2数据集^[33].场景图像数据集, 本文采用12个场景共60 000幅图像作为训练集, 1 200幅图像作为测试集.

2)CelebA-HQ数据集^[34].包含30 000幅高质量人脸图像, 本文采用29 500幅图像作为训练集, 500幅图像作为测试集.

3)Paris StreetView数据集^[35].包含15 000幅巴黎街景图像, 本文采用14 900幅图像作为训练集, 100幅图像作为测试集.

4)掩码数据集^[36].包含12 000个不规则掩码, 分为6个等长间隔, 每个间隔2 000幅图像, 掩码比例分别是1%~10%, 10%~20%, 20%~30%, 30%~40%, 40%~50%, 50%~60%.在训练阶段和测试阶段, 所有图像和掩码大小调整为256×256.

所有的实验都在NVIDIA RTX 6000 GPU上进行, 并通过PyTorch框架实现.在训练过程中, 使用Adam(Adaptive Moment Estimation)^[37]作为整个网络的优化器.生成器学习率为1×10^-4, 判别器学习率为1×10^-5, 批量大小为4.同时, 使用峰值信噪比(Peak Signal to Noise Ratio, PSNR), 结构相似性(Structure Similarity Index Measure, SSIM)和LPIPS(Learned Perceptual Image Patch Similarity)作为衡量图像修复性能的指标.PSNR、SSIM数值越大修复效果越优, LPIPS数值越小修复效果越优.

此外, 参数设置如表1所示, 在表中, Conv表示卷积层, ConvT表示反卷积层, WFC表示小波-傅里叶卷积模块, K表示卷积核尺寸, S表示滑动步长, P表示零填充数.

表1

Table 1

表1(Table 1)

表1 本文方法参数设置 Table 1 Parameter settings of the proposed method 模块 编号 输入维度 操作 (K, S, P) 输出维度 1 256×256×4 Conv (1, 1, 0) 256×256×16 G-L PE 2 256×256×16 WFC (3, 1, 1) 256×256×16 3 256×256×16 WFC (3, 1, 1) 256×256×16 1 256×256×16 WFC (7, 1, 3) 256×256×64 2 256×256×64 WFC (3, 2, 1) 128×128×128 3 128×128×128 WFC (3, 2, 1) 64×64×256 4 64×64×256 WFC (3, 2, 1) 32×32×512 先验修复分支 5 32×32×512 18×G-L Block (3, 1, 1) 32×32×512 6 32×32×512 ConvT-ReLU (3, 2, 1) 64×64×256 7 64×64×256 ConvT-ReLU (3, 2, 1) 128×128×128 8 128×128×128 ConvT-ReLU (3, 2, 1) 256×256×64 9 256×256×64 Conv-Tanh (7, 1, 3) 256×256×16 10 256×256×16 Conv (1, 1, 0) 256×256×3 1 256×256×4 WFC (7, 1, 3) 256×256×64 2 256×256×64 WFC (3, 2, 1) 128×128×128 3 128×128×128 WFC (3, 2, 1) 64×64×256 4 64×64×256 WFC (3, 2, 1) 32×32×512 内容修复分支 5 32×32×512 18×G-L Block (3, 1, 1) 32×32×512 6 32×32×512 ConvT-ReLU (3, 2, 1) 64×64×256 7 64×64×256 ConvT-ReLU (3, 2, 1) 128×128×128 8 128×128×128 ConvT-ReLU (3, 2, 1) 256×256×64 9 256×256×64 Conv-Tanh (7, 1, 3) 256×256×3 Bi-GFF 1 256×256×6 参考文献[25]的参数配置 256×256×6 输出层 1 256×256×6 Conv-Tanh (3, 1, 1) 256×256×3

表1 本文方法参数设置 Table 1 Parameter settings of the proposed method

为了证实本文方法的修复性能, 选择如下7种深度学习图像修复方法进行对比实验:Spa-former^[13]、EdgeConnect^[21]、CTSDG(Conditional Tex-ture and Structure Dual Generation)^[26]、LaMa^[27]、RFR(Recurrent Feature Reasoning)^[38]、Edge-LBAM(Edge-Guided Learnable Bidirectional Attention Map)^[39]、 CMT(Continuously Masked Transformer)^[40].

为了公平起见, 所有实验均在相同的环境和设置下进行.各方法在Places2、CelebA-HQ、Paris Street-View数据集上的指标值对比结果如表2~表4所示, 其中黑体数字表示最优值.由表可见, 本文方法在整体结果上均最优, 并且在不同的数据集上有不同的提升, 在Places2、CelebA-HQ数据集上提升更明显, 尤其是PSNR值, 由此说明本文方法能适应于各类分布的数据.

表2

Table 2

表2(Table 2)

表2 各方法在Places2数据集上的指标值对比 Table 2 Comparison of metric values for different methods on Places2 dataset 指标 受损率/% EdgeConnect RFR CTSDG Edge-LBAM LaMa CMT Spa-former 本文方法 PSNR 10~20 30~40 50~60 28.95 24.06 20.29 29.01 24.11 20.33 30.56 25.15 20.95 29.33 24.11 20.14 31.41 26.06 21.72 31.12 25.80 21.56 29.85 25.02 20.82 31.76 26.32 21.90 SSIM 10~20 30~40 50~60 0.919 0.807 0.670 0.919 0.808 0.672 0.936 0.833 0.691 0.920 0.801 0.655 0.942 0.848 0.717 0.939 0.840 0.709 0.929 0.829 0.696 0.946 0.854 0.722 LPIPS 10~20 30~40 50~60 0.065 0.149 0.253 0.073 0.159 0.260 0.056 0.144 0.260 0.074 0.174 0.288 0.044 0.115 0.221 0.046 0.123 0.239 0.053 0.122 0.229 0.041 0.109 0.215

表2 各方法在Places2数据集上的指标值对比 Table 2 Comparison of metric values for different methods on Places2 dataset

表3

Table 3

表3(Table 3)

表3 各方法在CelebA-HQ数据集上的指标值对比 Table 3 Comparison of metric values for different methods on CelebA-HQ dataset 指标 受损率/% EdgeConnect RFR CTSDG Edge-LBAM LaMa CMT Spa-former 本文方法 PSNR 10~20 30~40 50~60 31.05 25.89 21.34 31.53 26.42 21.37 31.57 26.14 21.56 31.06 25.69 21.36 33.77 28.42 23.70 33.36 28.01 23.53 28.41 26.88 22.77 34.34 28.73 23.93 SSIM 10~20 30~40 50~60 0.941 0.854 0.734 0.944 0.862 0.741 0.947 0.862 0.739 0.939 0.840 0.708 0.959 0.893 0.794 0.956 0.886 0.788 0.920 0.872 0.773 0.964 0.900 0.800 LPIPS 10~20 30~40 50~60 0.046 0.108 0.193 0.043 0.103 0.189 0.046 0.119 0.216 0.051 0.123 0.214 0.029 0.075 0.146 0.030 0.078 0.152 0.080 0.085 0.149 0.025 0.070 0.140

表3 各方法在CelebA-HQ数据集上的指标值对比 Table 3 Comparison of metric values for different methods on CelebA-HQ dataset

表4

Table 4

表4(Table 4)

表4 各方法在Paris StreetView数据集上的指标值对比 Table 4 Comparison of metric values for different methods on Paris StreetView dataset 指标 受损率/% EdgeConnect RFR CTSDG Edge-LBAM LaMa CMT Spa-former 本文方法 PSNR 10~20 30~40 50~60 30.05 24.79 20.96 30.86 25.36 21.02 31.92 25.87 21.75 30.19 24.42 20.22 32.74 26.80 22.45 32.35 26.40 22.12 28.43 25.53 21.52 32.90 26.85 22.47 SSIM 10~20 30~40 50~60 0.931 0.822 0.678 0.940 0.835 0.686 0.950 0.846 0.696 0.923 0.794 0.622 0.955 0.862 0.727 0.951 0.851 0.713 0.922 0.839 0.703 0.955 0.864 0.728 LPIPS 10~20 30~40 50~60 0.061 0.146 0.259 0.053 0.134 0.243 0.050 0.142 0.267 0.076 0.186 0.320 0.041 0.119 0.231 0.043 0.128 0.253 0.078 0.130 0.238 0.040 0.115 0.226

表4 各方法在Paris StreetView数据集上的指标值对比 Table 4 Comparison of metric values for different methods on Paris StreetView dataset

Places2数据集上的数据包含相当多的场景图像, 任务难度较大.本文方法在一个多场景数据集(Place2数据集)上的优越性能表现说明其自身可适应不同场景的修复任务.CelebA-HQ、Paris Street-View数据集上的数据分布并没有像Places2数据集上那样多样性, 图像的语义信息更接近, 人类面部器官相似程度和建筑之间的相似程度远高于不同场景之间的相似程度, 因此任务较简单.本文方法仍能取得优越的性能表现, 这说明本文方法不论在单一风格的图像任务或多种风格的图像任务上都具有较好的适应能力, 对不同的数据类型表现出一致优越的性能.

各方法在Places2、CelebA-HQ、Paris StreetView数据集上的可视化结果如图5~图7所示.由图可见, 本文方法可视化结果最优.

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 各方法在Places2数据集上的可视化结果对比Fig.5 Comparison of visualization results for different methods on Places2 dataset

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 各方法在CelebA-HQ数据集上的可视化结果对比Fig.6 Comparison of visualization results for different methods on CelebA-HQ dataset

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 各方法在Paris StreetView数据集上的可视化结果对比Fig.7 Comparison of visualization results for different methods on Paris StreetView dataset

图5中对比方法生成的场景图像都存在模糊区域、斑块、边界不清晰等影响视觉效果的现象.例如, 原图像远处的山脊较平直, 而在修复结果中只有EdgeConnect、CMT和本文方法具有较清晰和明确的边界, 但在近地面的路中, EdgeConnect的结果过于模糊, CMT则有较明显的斑块.

图6中人脸受损区域较大, 这类受损图像的修复考验方法对人脸整体布局的把握能力.就眼睛的布局而言, 只有LaMa、CMT和本文方法在语义上较合理, 同时, LaMa、CMT修复的面部皮肤仍有较明显的重复性的斑块, 而本文方法在一定程度上缓解这一现象, 修复后的面部内容具有更合理平滑的纹理细节.

在图7中, 本文方法修复结果的合理性体现在一楼明确的窗户边缘以及二楼窗台左端点处与墙壁明确的区分, 明显优于对比方法.

综上所述, 本文方法在视觉上也优于现有对比方法, 修复结果边界清晰、纹理细节真实.

在Places2数据集上进行消融实验.本文方法包含三个重要部分:高感受野风格损失、小波-傅里叶卷积模块、学习式先验分支.为了验证三个部分的有效性, 设计如下3组消融实验:

1)模型1, 移除高感受野风格损失;

2)模型2, 移除学习式先验分支;

3)模型3, 替换小波-傅里叶卷积中的小波卷积为普通卷积.

模型1~模型3和本文方法在Places2、CelebA-HQ、Paris StreetView数据集上的具体指标值对比如表5所示, 表中黑体数字表示最优值.

表5

Table 5

表5(Table 5)

表5 在不同数据集上的消融实验指标值对比 Table 5 Comparison of metric values in ablation experiment on different datasets 指标 受损率/% Places2 CelebA-HQ Paris StreetView 模型1 模型2 模型3 本文方法 模型1 模型2 模型3 本文方法 模型1 模型2 模型3 本文方法 PSNR 10~20 30~40 50~60 31.41 26.06 21.72 31.67 26.22 21.82 31.71 26.28 21.87 31.76 26.32 21.90 33.77 28.42 23.70 34.07 28.60 23.86 34.27 28.64 23.80 34.34 28.73 23.93 32.74 26.80 22.45 32.82 26.80 22.45 32.78 26.84 22.42 32.90 26.85 22.47 SSIM 10~20 30~40 50~60 0.942 0.848 0.717 0.943 0.854 0.720 0.946 0.852 0.720 0.946 0.854 0.722 0.959 0.893 0.794 0.962 0.896 0.797 0.964 0.898 0.797 0.964 0.900 0.800 0.955 0.862 0.727 0.955 0.864 0.728 0.955 0.862 0.726 0.955 0.864 0.728 LPIPS 10~20 30~40 50~60 0.044 0.115 0.221 0.042 0.112 0.217 0.042 0.110 0.216 0.041 0.109 0.215 0.029 0.075 0.146 0.027 0.072 0.142 0.026 0.071 0.143 0.025 0.070 0.140 0.041 0.119 0.231 0.041 0.116 0.225 0.041 0.118 0.229 0.040 0.115 0.226

表5 在不同数据集上的消融实验指标值对比 Table 5 Comparison of metric values in ablation experiment on different datasets

由表5可观察到, 本文方法性能最优.模型1~模型3的结果都与本文方法结果有一定差距, 这验证本文方法三个部分的有效性.当使用小波-傅里叶卷积或全局-局部学习式先验之后, 精度都有一定程度的提升, 这是因为小波-傅里叶卷积能同时把握全局信息和局部细节, 并且将两者较好地交互与融合, 而全局-局部学习式先验对内容修复起到指导作用, 进一步增强图像的全局一致性以及局部纹理和边缘清晰度.高感受野风格损失则能更好地从全局视角衡量生成图像与真实图像之间的风格差异, 使生成图像在视觉上能更接近真实图像.

在不同数据集上的消融实验可视化结果如图8所示.由图容易观察到, 本文方法在内容的生成上比模型1~模型3的结果更合理, 包括第1幅图像的窗台、第2幅图像人脸背后的纹路、第3幅图像的百叶窗门等内容.

图8

Fig.8

	Figure Option ViewDownloadNew Window
	图8 消融实验的可视化结果对比Fig.8 Comparison of visualization results in ablation experiment

为了讨论编码层的层数对本文方法性能的影响, 设置编码层G-L Block的数量n=6, 18, 24, 具体指标值如表6所示, 表中黑体数字表示最优值.

表6

Table 6

表6(Table 6)

表6 不同n对本文方法性能的影响 Table 6 Effect of different n on performance of the proposed method 指标 受损率/% n=6 n=18 n=24 PSNR 10~20 30~40 50~60 31.74 26.35 21.92 31.76 26.32 21.90 31.91 26.37 21.92 SSIM 10~20 30~40 50~60 0.944 0.853 0.721 0.946 0.854 0.722 0.948 0.855 0.723 LPIPS 10~20 30~40 50~60 0.041 0.109 0.213 0.041 0.109 0.215 0.040 0.108 0.215

表6 不同n对本文方法性能的影响 Table 6 Effect of different n on performance of the proposed method

由表6可发现, 除了n=24, 10%~20%受损情况下的PSNR值明显高于n=6, 18时以外, 其余指标值均只有细微差异.在n=6和n=18时性能各有高低, 增加模块带来的效果提升并不明显, 直至将n增至24时才有较一致的提升.

为了更好地说明本文方法三个部分的有效性, 在n的取值上本文选择和Big LaMa^[27]保持一致, 设置n=18.若在实际应用中有参数量限制等要求, 则可设定n=6, 大幅减少隐藏层的模块堆叠数量.

为了验证全局-局部学习式先验与其它先验的区别, 将图像修复过程中得到的先验进行可视化, 并选择具有代表性的部分加以阐述.结果如图9所示, (a)为原图, (b)~(e)为全局式先验, (f)~(i)为局部细节先验, (j)、(k)为混合式先验.

图9

Fig.9

	Figure Option ViewDownloadNew Window
	图9 各种先验的可视化结果Fig.9 Visualization results of different priors

全局先验的特点在于, 关注图像的整体内容, 如器官分布、整体颜色布局等, 因此图像较模糊, 像素点之间的差异较小, 但不同部分的颜色特征差异明显.局部细节先验的清晰度较高, 像素点之间的差异较大, 可对内容起到边界约束和纹理的指导作用.

此外, 需要指出的是, 混合式先验特指如图9(j)、(k)所示的划分成像素块的先验.这类先验的特点在于像素块内部较模糊, 体现整体特性, 而块之间的差异较明显, 体现局部特性.这种混合特征表明深度网络将像素块当成像素点, 可通过所有像素块整体性地考虑图像的特征表示.

各方法的FLOPs(Floating Point Operations per Second)、参数量及每幅图像的推理时间对比如表7所示.

表7

Table 7

表7(Table 7)

表7 各方法复杂度与推理时间对比 Table 7 Comparison of complexity and referring time among different methods 方法 FLOPs/G 参数量/M 推理时间/s EdgeConnect 122.64 21.53 0.011 RFR 206.17 30.59 0.022 CTSDG 17.67 0.54 0.035 Edge-LBAM 144.96 126.46 0.045 LaMa 66.12 50.98 0.044 CMT 40.87 125.72 0.074 Spa-former 44.94 13.16 0.056 本文方法 127.70 91.85 0.079

表7 各方法复杂度与推理时间对比 Table 7 Comparison of complexity and referring time among different methods

由表7可见, 相比现有方法, 本文方法的复杂度较高, 但是本文方法在各个数据集上的效果均达到最优.

为了平衡模型精度与执行速度, 可行的做法包括剪枝与优化.此外, 就本文方法而言, 先验与内容分支的模型复杂度允许不同.通过不同的模块参数设计和剪枝策略等方式, 理论上可达到降低参数量、提高模型速度的效果.

为了检验本文方法在实际任务中的应用效果, 同时检验其泛化能力, 在一些现有图像上人为添加掩码并进行模型修复, 结果如图10所示.

图10

Fig.10

	Figure Option ViewDownloadNew Window
	图10 本文方法在人脸编辑和物体移除上的可视化结果Fig.10 Visualization results of the proposed method on face editing and object removal

图10中, 前两幅图像为人脸编辑, 包括墨镜的移除和面部严肃表情的缓和; 后两幅图像为场景图像中的移除任务, 包括烟囱的移除、遮挡树干的移除.

通过4幅图像的结果可明显看出, 本文方法具有良好的性能表现, 输出图像具有一致的语义内容、清晰的边缘和纹理细节.