边缘结构补全模块(ESCM)是整个修复过程中的关键步骤, 通过层级化补全被损图像的边缘结构, 为后续纹理重构过程提供准确、细致的边缘特征信息.ESCM具体架构如图2所示, 核心思想是通过结构补全和平滑操作, 逐步恢复受损区域的边缘结构信息.ESCM通过CATS得到原始图像I的原始边缘E, 并选用现有不规则掩码数据集^[26]设定中的多孔洞二进制掩码M模拟对图像的遮挡.合成E与M, 模拟受损边缘图E_m, 将所有信息连接并输入网络中进行边缘结构修补.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 ESCM架构图Fig.2 Architecture of ESCM

ESCM由两个组件构成:结构变换补全器(Stru-cture Transform Completer Module, STCM)和结构平滑器(Structure Smoother Module, SSM).

2.1.1 结构变换补全器

受损边缘结构修复的结构变换补全器(STCM)作为ESC的核心部件, 全面综合CNN和Transformer的优势.对于一组256× 256的预输入信息, 先利用CNN对输入特征进行下采样, 以减少后续计算量, 通过轴向注意力机制(Axial Attention)^[27]和整合CNN与注意力机制的上下文CoT(Contextual Trans-former) Block^[28], 有效捕捉边缘结构的局部信息与全局信息, 避免修复后的边缘细节区域出现模糊失真.

在STCM的较高层, 利用CoT Block中的上下文感知注意力机制, 提升模块对整体边缘结构的理解能力.在STCM的较低层, 使用轴向注意力机制在行列方向上分别计算注意力, 有效整合局部结构信息.轴向注意力机制将经过CNN下采样后的特征图信息X∈ R^{h× w× c}转换为适合注意力机制的形式, 并进行归一化处理, 其中, h、w表示特征图的行数、列数, c表示通道数.对行方向进行计算时, 将每行视为独立序列, 利用张量重塑reshape(X)操作将特征图转换为X_row∈ RMh×(Mw×c), 其中, M_h、M_w表示输入特征图的行数、列数, M_w× c表示序列中每个位置的特征维度.

同时在轴向注意力机制内部, 对待处理特征添加一个可学习的相对位置编码(Relative Position Encoding, RPE), 通过编码相对位置, 使当前注意力机制感知像素间的空间关系.这些嵌入可表示为

R=W_i-j+L.

其中:W_i-j 表示可学习向量, i、 j分别表示序列中两个元素的位置索引; L表示RPE的覆盖尺度, 约束可学习的相对位置偏移范围.在此基础上计算当前特征图行方向上的注意力权重:

$\boldsymbol{A}_{\text {row }}=\operatorname{softmax}\left(\frac{\boldsymbol{Q}_{\text {row }} \cdot \boldsymbol{K}_{\text {row }}^{\mathrm{T}}+\boldsymbol{R}_{\text {row }}}{\sqrt{d_{k}}}\right),$

其中, Q_row表示行方向查询矩阵, KrowT表示行方向键矩阵, R_row表示当前行位置的编码信息, d_k表示自注意力机制的维度.列方向同理, 即最终行轴、列轴注意力的最终输出如下:

$Z_{\mathrm{axis}}^{\mathrm{row}}=A_{\mathrm{row}} \cdot V_{\mathrm{row}}, Z_{\mathrm{axis}}^{\mathrm{col}}=A_{\mathrm{col}} \cdot V_{\mathrm{col}},$

其中, V_row表示行轴注意力的值向量, V_col表示列轴注意力的值向量.

拼接行轴和列轴的输出, 得到最终输出:

$Z_{\text {axis }}^{\text {total }}=Z_{\text {axis }}^{\text {row }}+Z_{\text {axis }}^{\text {col }} .$

在完成轴向注意力的局部细节捕捉后, 输出 Zaxistotal恢复为原始空间维度h× w× c, 进一步利用CoT Block中的卷积层及上下文感知注意力机制, 整合更广泛的全局上下文信息, 基于每个像素的自适应上下文关系捕捉图像中的长距离依赖关系, 优化和完善图像整体的边缘结构修复.

为了稳定特征分布, 将经过归一化处理后的特征图信息 Zaxistotal作为当前输入, 使用卷积层在输入特征中提取局部上下文信息, 得到局部上下文键:

$\boldsymbol{K}_{\text {local }}=\operatorname{Conv}_{3 \times 3}\left(\boldsymbol{Z}_{\text {axis }}^{\text {total }}\right),$

其中Conv_{3× 3}(· )表示标准的3× 3卷积层操作.

通过线性投影生成自注意力所需的生成查询Q、全局键K_global和值V, 并融合K_local和全局键K_global, 得到上下文感知键:

K=Linear(Concat(K_local, K_global)),

其中, Concat(· )表示沿通道维度拼接, Linear(· )表示通过1× 1卷积降维, 同时确保维度匹配.

使用Q与K计算注意力权重矩阵A_cot, 并利用A_cot对值V加权, 得到全局上下文感知特征:

Z_cot=A_cotV.

Z_cot提供更丰富的全局上下文信息, 以此优化边缘结构修复结果.再利用残差连接(Residual Con-

nection)结合两种注意力机制的输出, 将轴向注意力机制的输出 Zaxistotal与CoT Block的输出Z_cot按元素相加, 得到总输出特征图信息:

Z_out= Zaxistotal+Linear(Z_cot)∈ R^{h× w× c}.

Linear(Z_cot)确保与 Zaxistotal维度匹配, 通过残差链接促进梯度流动以防止深层网络退化, 同时保留局部结构细节与全局上下文信息.最终通过反卷积恢复细节, 实现高效精准的边缘结构补全.生成的粗略边缘修复结果为:

$\widetilde{\boldsymbol{E}}=\operatorname{STCM}\left(\boldsymbol{E}, \boldsymbol{M}, \boldsymbol{E}_{m}\right),$

其中, STCM(· )表示受损边缘修补函数, $\widetilde{\boldsymbol{E}}$作为后续模块的输入, 可进一步优化$\widetilde{\boldsymbol{E}}$.

2.1.2 结构平滑器

由于STCM的输出是一个初步补全的边缘图, 虽然已尽可能补全缺失区域的边缘结构, 但仍存在一些噪声或结构性断连, 主要表现在某些边缘结构本应连贯, 但由于STCM或输入受损边缘图E_m的局限性, 被分割成若干不相连的片段.

这种断连现象不仅降低边缘结构的完整性, 还可能导致后续纹理修复网络生成大面积不合理的纹理区域.为了解决上述问题, 本文提出结构平滑器(SSM), 通过多层卷积块提取并增强边缘细节信息, 同时利用残差卷积块(Residual Convolutional Block, RCB)保留输入特征并捕捉高频信息, 避免过度平滑导致的信息损失.

对于平滑后的精细边缘 $\check{E}$, 传统的边缘细化方法通常采用像素级损失优化修复后的边缘轮廓, 将粗略边缘细化为精细边缘, 但这种方法通常忽略区域级别信息, 无法充分捕捉不同区域之间的结构关联.

因此SSM在互相关(Cross-Correlation, CC)函数的基础上设计交叉相关损失函数(Cross Correla-tion Loss, CCL), 约束修复边缘 $\check{E}$与目标边缘E的区域相关性.CCL具体原理如图3所示.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 CCL原理图解Fig.3 Illustration of CCL

受互相关函数思想启发, 设计归一化互相关约束, 通过滑动窗口计算细化边缘图 $\check{E}$与目标边缘图E的局部均值偏离幅度相关性, 保证局部边缘密度与全局分布一致.对于修复后的细化边缘结果 $\check{E}$, 利用滑动步长动态覆盖整幅图像以计算局部均值, 遍历所有可能的局部区域, 具体修复后的细化边缘在局部窗口pi内的均值强度为:

$\overline{\check{\boldsymbol{E}}}_{p i}^{r}=\frac{1}{N^{2}} \sum_{i=1}^{N} \sum_{j=1}^{N} \boldsymbol{v}_{i, j},$

其中, pi表示给定大小的滑动局部窗口, v_{i, j}表示pi范围内的第i行、第j列像素值.

类似地, 对于输入的目标边缘图E, 也在相同的滑动窗口pi内分别计算局部均值, 记作 E-pi.

N=1时, L_CCL退化为像素级损失计算:

$L_{\mathrm{CCL}}^{1}(\check{\boldsymbol{E}}, \boldsymbol{E})=\|\check{\boldsymbol{E}}-\boldsymbol{E}\| .$

N> 1时, 互相关值$C C(\check{\boldsymbol{E}}, \boldsymbol{E})$表示细化边缘图和目标边缘图之间的更好对准, 将互相关值设置为负以公式化损失函数.CCL定义为交叉相关函数的负值, 具体计算方式如下:

$\begin{array}{l} L_{\mathrm{CCL}}^{N}(\check{\boldsymbol{E}}, \boldsymbol{E})=-C C(\check{\boldsymbol{E}}, \boldsymbol{E})= \\ -\sum_{p \in \Omega} \frac{\sum_{p i \in p}\left\|\check{\boldsymbol{E}}_{p i}^{r}-\overline{\boldsymbol{E}}_{p}\right\| \cdot\left\|\overline{\boldsymbol{E}}_{p i}-\overline{\boldsymbol{E}}_{p}\right\|}{\left[\sum_{p i \in p}\left(\left\|\check{\boldsymbol{E}}_{p i}^{r}-\overline{\boldsymbol{E}}_{p}\right\|+\boldsymbol{\epsilon}\right)\right]\left[\sum_{p i \in p}\left(\left\|\overline{\boldsymbol{E}}_{p i}^{r}-\overline{\boldsymbol{E}}_{p}\right\|+\boldsymbol{\epsilon}\right)\right]} . \end{array}$

其中:Ω 表示目标边缘图E的全部区域; ·表示欧几里得距离; p1, p2, …, pn表示在E中的全局固定窗口, pi在固定区域p中进行滑动计算; E-p表示目标边缘图E在固定区域 p 内的均值.同时在分母中添加平滑因子$\epsilon$, 有效避免分母趋于零或分子失控导致梯度不稳定.pi遍历p内的所有像素, 而p遍历Ω 中的所有区域.

如图3所示, 计算目标边缘图E中当前固定窗口p3的均值 E-p、当前滑动窗口中的局部均值$\overline{ \check{\boldsymbol{E}}_{p i}^{r}}$和 E-pi, 利用CCL函数使细化边缘图 $\check{E}$的局部均值分布与目标边缘图E最大程度对齐, 避免修复后的某些边缘区域过于密集或稀疏.

SSM逐步连接和消除粗略边缘$\widetilde{E}$中的空缺区域, 同时结合 LCCLN, 提升边缘结构的精确度.经过SSM处理后的细化边缘结果如下:

$\check{\boldsymbol{E}}=f_{\mathrm{ssm}}(\widetilde{\boldsymbol{E}}) .$

其中f_ssm(· ) 表示SSM对粗略边缘进行优化与断裂修补的函数.经过处理后生成的细化边缘 $\check{E}$更符合真实目标边缘E的结构特点.

为了进一步重构图像的纹理信息, 纹理重构修复模块(TRRM)利用经ESCM修复后的细化边缘 $\check{E}$作为引导, 完成对受损图像I_m的纹理修复.TRRM具体架构如图4所示.

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 TRRM架构图Fig.4 Architecture of TRRM

目前多种方法将像素级的边缘信息输入深层网络时, 会因特征提取过程的抽象化而发生特征信息间丢失和对准困难, 在最终的修复图像中容易发生错位修复问题.同时, 随着深层网络中的下采样操作, 边缘结构信息会被逐渐削弱, 导致修复过程未能有效利用边缘结构与纹理修复之间的协同关系, 尤其是在后续的下采样和特征聚合阶段, 会影响纹理修复的整体效果.

因此, 为了更精准地将边缘信息融入整个纹理重构过程中, 在TRRM内部设计相互关联的两个组件:边缘引导特征对齐器(EGFA)和边缘纹理双特征聚合器(ETFA).

2.2.1 边缘引导特征对齐器

在边缘引导下对图像纹理进行修复时, 重要的一点是将边缘结构与纹理分布的特征信息在不同特征空间层次上相互对准, 避免发生错位修复现象.

边缘引导特征对齐器(EGFA)首先将精细边缘 $\check{E}$投影至特征空间中, 以便和后续模块的相应纹理特征对齐.将 $\check{E}$送入编码器, 可有效提取全局的多尺度特征和局部的多尺度特征, 降低特征维度, 并为后续残差卷积块的处理提供一个更压缩、易处理的特征输入.

RCB通过卷积、激活函数和残差连接的组合, 有效地将输入特征转换为高维特征表示, 实现特征空间的投影.边缘引导特征对齐器(EGFA)将精细边缘 $\check{E}$编码为一组特征表示:

$f_{\mathrm{EGFA}}(\check{\boldsymbol{E}})=\left\{\boldsymbol{F}_{1}^{e}, \boldsymbol{F}_{2}^{e}, \boldsymbol{F}_{3}^{e}, \cdots, \boldsymbol{F}_{i}^{e}, \cdots, \boldsymbol{F}_{n}^{e}\right\},$

其中 Fie(i=1, 2, …, n)表示第i层残差卷积块提取的边缘特征.通过这种方式, 精细边缘信息 $\check{E}$被逐步映射至不同层次的特征空间, 使得高层特征不仅能捕捉全局的结构信息, 同时低层特征也能保留局部细节.每个层次的特征{ F1e, F2e, …, Fie, …, Fne}通过在多尺度上的卷积操作, 保留边缘的细粒度细节, 并确保后续双特征聚合阶段能更精准地与图像纹理特征信息对齐.

2.2.2 边缘纹理双特征聚合器

基于LaMa^[29]的边缘纹理双特征聚合器(ETFA)通过边缘引导纹理完成双特征聚合, 修复图像受损区域.

ETFA包括一个生成器和一个判别器, 生成器采用编码器-解码器架构, 利用核心组件特征聚合器(Feature Aggregator, FA)修复图像的缺失区域, 并使用LaMa中的默认解码器进行解码.

精细边缘 $\check{E}$与受损图像I_m被传入编码器, FA在编码器中聚合精细边缘特征{ F1e, F2e, …, Fie, …, Fne}和受损图像纹理特征{ F1r, F2r, …, Fir, …, Fnr}.具体FA结构如图5所示.

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 FA架构图Fig.5 Architecture of FA

在FA中, 精细边缘特征 Fie与图像纹理特征 Fir的聚合能有效结合精细边缘 $\check{E}$的结构信息与受损图像I_m的纹理信息, 确保修复既能保持纹理细节, 又遵循精细的边缘结构.聚合后的特征信息为:

$\begin{aligned} \boldsymbol{F}_{i}^{\mathrm{FA}}= & \boldsymbol{\alpha}_{i}\left(\boldsymbol{F}_{i}^{e}\right) \odot \frac{\left(\boldsymbol{F}_{i}^{e}+\boldsymbol{F}_{i}^{r}\right)-\boldsymbol{\delta}_{i}}{\boldsymbol{\mu}_{i}}+ \\ & \boldsymbol{\beta}_{i}\left(\boldsymbol{F}_{i}^{e}\right)+\left(\boldsymbol{F}_{i}^{e}+\boldsymbol{F}_{i}^{r}\right) . \end{aligned}$

其中:( Fie+ Fir)表示初步的特征聚合; α _i( Fie)、β _i( Fie)表示可训练的张量, 自适应地学习聚合过程的尺度和移位; δ _i、 μ _i表示( Fie+ Fir)的平均值和标准差, 用于标准化添加的特征.

由FA产生的特征 FFAi随后进入设计的傅里叶通道注意力模块(Fourier Channel Attention Module, FCAM).FCAM包括两个组件:D-SEM(Dynamic Squeeze-and-Excitation Module)和快速傅里叶卷积(Fast Fourier Convolution, FFC).

在SE(Squeeze-and-Excitation)^[30]的基础上, D-SEM具体结构如图6所示.

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 D-SEM架构图Fig.6 Architecture of D-SEM

D-SEM进一步优化图像特征间的关系, 对聚合后的特征 FFAi进行Squeeze操作, 得到一个C维的通道c的压缩特征:

$z_{c}=\frac{1}{H \times W} \sum_{h=1}^{H} \sum_{w=1}^{W} \boldsymbol{F}_{i}^{\mathrm{FA}}(h, w, c) .$

接下来传统做法是通过全连接层学习每个通道的注意力权重, 但本文引入动态门控机制, 调整每个通道的加权, 经过Sigmoid激活的通道权重向量为:

$\boldsymbol{s}=\sigma\left(\boldsymbol{W}_{2}^{\text {dynamic }} \cdot \operatorname{Re} L U\left(\boldsymbol{W}_{1}^{\text {dynamic }} \cdot \boldsymbol{z}\right)\right),$

其中, Wdynamic1和 W2dynamic会根据输入特征动态调整, 进一步优化特征通道间的关系.最后进行Reweight的操作, 对聚合后的特征图 FFAi的每个通道进行加权重标定, 得到经过注意力调节后的特征:

$\widetilde{\boldsymbol{F}}_{i}^{\mathrm{FA}}(h, w, c)=\boldsymbol{s}_{C} \cdot \boldsymbol{F}_{i}^{\mathrm{FA}}(h, w, c),$

其中, s_C表示通道权重向量s中的第C个通道的权重值, 用于调整第C个通道特征强弱的缩放因子.

FFC对调节后的特征$\widetilde{\boldsymbol{F}}_{i}^{\mathrm{FA}}$进行局部和全局的混合操作.将特征$\widetilde{\boldsymbol{F}}_{i}^{\mathrm{FA}}$分解为局部特征$\widetilde{\boldsymbol{F}}_{i, L}^{\mathrm{FA}}$和全局特征$\widetilde{\boldsymbol{F}}_{i, G}^{\mathrm{FA}}$:

$\widetilde{\boldsymbol{F}}_{i}^{\mathrm{FA}}=\widetilde{\boldsymbol{F}}_{i, L}^{\mathrm{FA}}+\widetilde{\boldsymbol{F}}_{i, G}^{\mathrm{FA}} .$

最后逐元素相加融合局部卷积结果$\check{\boldsymbol{F}}_{i, L}^{\mathrm{FA}}$和全局频域结果$\check{\boldsymbol{F}}_{i, G}^{\mathrm{FA}}$, 输出最终的特征信息$\check{\boldsymbol{F}}_{i}^{\mathrm{FA}}$.

ETFA中的解码器由上采样层组成, 处理 $\check{\boldsymbol{F}}_{i}^{\mathrm{FA}}$并预测损坏区域的缺失像素, 得到最终的修复结果图:

$\check{\boldsymbol{I}}=f_{\text {TRRM }}\left(\boldsymbol{E}, \check{\boldsymbol{E}}, \boldsymbol{I}, \boldsymbol{I}_{m}\right) .$

通过精细化的边缘引导, TRRM的训练过程同时优化生成器和判别器, 达到GAN的效果.将修复结果 $\check{I}$传入判别器, 利用判别器评估与真实图像I是否相似, 为ETFA提供反馈, 提升受损图像的修复质量.

在ESCM中, STCM主要为后续模块提供粗略边缘信息, 采用二值交叉熵损失函数(Binary Cross-En- tropy, BCE)监督边缘结构补全过程, 确保生成边缘在像素级别上与真实边缘的精确对齐, 具体损失函数为:

$L_{\mathrm{STCM}}=-\frac{1}{N} \sum_{i=1}^{N}\left[y_{i} \ln p_{i}+\left(1-y_{i}\right) \ln \left(1-p_{i}\right)\right],$

其中, N表示图像中像素总数, y_i表示第i个样本的真实标签, p_i表示第i个样本的预测概率值, 目的是衡量模型的预测值p_i和真实值y_i之间的差异.

SSM采用 LCCLN, 同时引入低秩稀疏先验作为正则化项, 从而优化全局结构和细节修复的平衡, SSM整体损失函数:

$\begin{aligned} L_{\mathrm{SSM}}= & L_{\mathrm{CCL}}^{N}(\check{\boldsymbol{E}}, \boldsymbol{E})+ \\ & \alpha\left(\|\boldsymbol{L}\|_{* }+\lambda\|\boldsymbol{S}\|_{1}+\frac{\rho}{2}\|\check{\boldsymbol{E}}-(\boldsymbol{L}+\boldsymbol{S})\|_{\mathrm{F}}^{2}\right) . \end{aligned}$

其中:S表示当前边缘图的稀疏分量; L表示当前边缘图的低秩分量; $L_{\mathrm{CCL}}^{N}(\check{\boldsymbol{E}}, \boldsymbol{E})$用于衡量细化边缘$\breve{E}$与目标边缘E之间差异的损失; α 、λ 表示超参数, α 控制正则化项在整体损失中权重, λ 控制稀疏分量S的正则化强度; ρ 表示二次惩罚系数.

TRRM的损失包括像素损失L₁、对抗性损失L_adv、特征匹配损失L_fm和高感受野感知损失L_hrf.

像素损失

$L_{1}=(1-M) \odot|\check{\boldsymbol{I}}-\boldsymbol{\boldsymbol { I }}|_{1},$

其中, $\check{I}$表示生成图像, I表示真实图像, M表示二进制掩码.

对抗性损失包括判别器损失L_D、生成器损失L_G和带有权重λ _GP的梯度惩罚损失L_GP, 用于提升生成图像的逼真度, 具体公式如下:

L_adv=L_D+L_G+λ _GPL_GP,

其中,

$\begin{array}{l} L_{D}=-E_{\boldsymbol{I}}[\ln D(\boldsymbol{I})]-E_{\check{\boldsymbol{I}}}[\ln (1-D(\check{\boldsymbol{I}}))], \\ L_{G}=-E_{\check{\boldsymbol{I}}}[\ln D(\check{\boldsymbol{I}})], \\ L_{\mathrm{GP}}=E_{\hat{\boldsymbol{I}}}\left[\left(\left\|\nabla_{\hat{\boldsymbol{I}}} D(\hat{\boldsymbol{I}})\right\|_{2}-1\right)^{2}\right], \end{array}$

$\check{I}$表示插值图像, 为真实图像I和生成图像$\check{I}$之间随机插值得到的样本, $\nabla_{\hat{I}} D(\hat{I})$表示判别器D(· )输出相对于输入图像$\check{I}$的梯度, D(· )表示判别器对输入图像真实性的概率估计.

特征匹配损失L_fm用于衡量生成图像和真实图像在判别器的中间特征层上的差异, 具体公式如下:

$L_{\mathrm{fm}}=E\left[\sum_{i=1}^{T} \frac{1}{N_{i}}\left\|D^{(i)}(\check{\boldsymbol{I}})-D^{(i)}(\boldsymbol{I})\right\|_{1}\right],$

其中, E表示对当前样本的平均值, D⁽ⁱ⁾(· )表示判别器在不同深度层次上对生成图像和真实图像的特征提取结果.

高感受野感知损失L_hrf使用预训练的ResNet50提取图像的高层特征, 衡量真实图像和生成图像之间的差异, 具体公式如下:

$L_{\mathrm{hrf}}=E\left[\left\|\phi_{\mathrm{hrf}}(\boldsymbol{I})-\phi_{\mathrm{hrf}}(\hat{\boldsymbol{I}})\right\|_{2}^{2}\right],$

其中ϕ _hrf(· )表示预训练的ResNet50特征提取函数.

最终

$L_{\mathrm{TRRM}}=\lambda_{\mathrm{L} 1} L_{1}+\lambda_{\mathrm{adv}} L_{\mathrm{adv}}+\lambda_{\mathrm{fm}} L_{\mathrm{fm}}+\lambda_{\mathrm{hrf}} L_{\mathrm{hrf}},$

为上述各损失函数的加权和, 权重λ _L1、λ _adv、λ _fm、λ _hrf决定每种损失在最终训练目标中的重要性.

实验硬件配置为单个Intel(R) Xeon(R) Plati-num 8362 CPU、单个NVIDIA GeForce RTX 3090 24 GB GPU、64.0 GB RAM.软件环境为Windows 10、PyThon v3.12、Pytorch v2.3.0、CUDA v12.1.

本文选择在Facade^[8]、CelebA^[9]、Places2^[10]这3个公开数据集上进行训练和评估.数据集具体信息如表1所示.

表1

Table 1

表1(Table 1)

表1 实验数据集 Table 1 Experimental datasets 名称 训练集 验证集 测试集 Facade 506 50 50 CelebA 182599 10000 10000 Places2 180000 15000 10000

表1 实验数据集 Table 1 Experimental datasets

在掩码数据集设定上, 按照不规则掩码^[26]设置, 取用1.5× 10⁴幅具有不同掩码比例的多孔洞掩码图像, 模拟不同复杂度的修复场景, 训练过程中随机选取掩码遮挡图像.

ETSTC采用 PyTorch, 在训练测试和验证测试中, 图像I和掩码图M都调整为256× 256, 以便进行后续实验和评估.在ESCM中, 使用Adam(Adaptive Moment Estimation)优化器, 学习率为4.24e-4, 预热1 500步, 训练批量大小为16.在TRRM中, 也使用Adam优化器, 生成器的学习速率为2e-4, 判别器的学习速率为1e-4, 预热步数为2 000, 训练过程中采用学习率衰减策略, 衰减率为0.5, 批量大小为16.

为了测试ETSTC的检测性能, 选择如下5种常用的图像修复评估指标.

1)峰值信噪比(Peak Signal-to-Noise Ratio, PS-NR).通过均方误差(Mean Square Error, MSE)衡量图像质量, 公式如下:

$P S N R=10 \lg \left(\frac{M A X^{2}}{M S E}\right),$

其中, MAX表示像素的最大值,

$M S E=\frac{1}{N} \sum_{i=1}^{N}\left(y_{i}-\hat{y}_{i}\right)^{2},$

N表示像素总数, y_i表示真实图像的像素值, y^i表示修复图像的像素值.

2)结构相似性(Structural Similarity, SSIM).从亮度、对比度和结构三个维度评估相似性, 公式如下:

$\operatorname{SSIM}(x, y)=\frac{\left(2 \mu_{x} \mu_{y}+C_{1}\right)\left(2 \sigma_{x y}+C_{2}\right)}{\left(\mu_{x}^{2}+\mu_{y}^{2}+C_{1}\right)\left(\sigma_{x}^{2}+\sigma_{y}^{2}+C_{2}\right)},$

其中, σ _x表示图像x的方差, σ _y表示图像y的方差, σ _xy表示图像x、y的协方差, μ _x表示图像x的均值, μ _y表示图像y的均值,

$C_{1}=\left(k_{1} \cdot M A X\right)^{2}, C_{2}=\left(k_{2} \cdot M A X\right)^{2},$

表示稳定常数.

3)平均绝对误差(Mean Absolute Error, MAE).直接计算像素级绝对误差的均值, 公式如下:

$M A E=\frac{1}{N} \sum_{i=1}^{N}\left|y_{i}-\hat{y}_{i}\right| .$

4)LPIPS(Learned Perceptual Image Patch Simi-larity).通过预训练神经网络提取特征并计算距离, 公式如下:

$\begin{array}{l} \operatorname{LPIPS}(x, y)= \\ \sum_{l} \frac{1}{H_{l} W_{l}} \sum_{h, w}\left\|\boldsymbol{w}_{l} \odot\left(\boldsymbol{F}_{l}^{(x)}(h, w)-\boldsymbol{F}_{l}^{(y)}(h, w)\right)\right\|_{2}^{2}, \end{array}$

其中 Fl(x)表示图像x在第l层的特征图, Fl(y)表示图像y在第l层的特征图, w_l为第l层的权重向量, H_l、W_l表示特征图的尺寸.

5)相似性度量(Fré chet Inception Distance, F- ID).计算真实图像和生成图像在特征空间中的分布相似性, 公式如下:

$F I D=\left\|\boldsymbol{\mu}_{x}-\boldsymbol{\mu}_{y}\right\|_{2}^{2}+\operatorname{tr}\left(\boldsymbol{\Sigma}_{x}+\boldsymbol{\Sigma}_{y}-2\left(\boldsymbol{\Sigma}_{x} \boldsymbol{\Sigma}_{y}\right)^{\frac{1}{2}}\right),$

其中, μ _x、 μ _y分别表示真实图像和生成图像在In- ception网络特征空间的均值, Σ _x、Σ _y表示真实图像和生成图像在Inception网络特征空间中提取特征的协方差矩阵.

为了定量评估ETSTC的效率, 选择如下对比方法:ICT^[6]、EdgeConnect^[7]、CTSDG^[19]、PUT^[20]、M-AT^[22]、CMT^[23].

各方法均采用在不规则掩码数据集上随机抽取并遮罩真实图像的策略进行训练、验证与测试, 在Facade、CelebA、Places2数据集上的评估结果如表2~表4所示, 表中黑体数字表示最优值.

表2

Table 2

表2(Table 2)

表2 各方法在Facade数据集上的指标值对比 Table 2 Metric value comparison of different methods on Facade dataset 算法 PSNR↑ SSIM↑ MAE↓ LPIPS↓ FID↓ EdgeConnect 21.825 0.783 0.0396 0.1676 8.210 CTSDG 21.796 0.816 0.0367 0.1687 8.557 ICT 22.729 0.873 0.0408 0.1425 6.761 MAT 23.839 0.857 0.0306 0.1021 5.549 CMT 25.293 0.899 0.0298 0.0973 5.381 PUT 24.649 0.917 0.0258 0.0984 5.274 ETSTC 25.642 0.954 0.0243 0.0900 4.936

表2 各方法在Facade数据集上的指标值对比 Table 2 Metric value comparison of different methods on Facade dataset

表3

Table 3

表3(Table 3)

表3 各方法在CelebA数据集上的指标值对比 Table 3 Metric value comparison of different methods on CelebA dataset 算法 PSNR↑ SSIM↑ MAE↓ LPIPS↓ FID↓ EdgeConnect 24.018 0.854 0.0316 0.0869 13.954 CTSDG 26.004 0.894 0.0223 0.0816 12.274 ICT 25.748 0.882 0.0271 0.0856 11.910 MAT 26.702 0.917 0.0229 0.0792 10.652 CMT 26.553 0.908 0.0235 0.0827 10.729 PUT 26.267 0.897 0.0227 0.0780 10.120 ETSTC 27.131 0.922 0.0214 0.0774 9.912

表3 各方法在CelebA数据集上的指标值对比 Table 3 Metric value comparison of different methods on CelebA dataset

表4

Table 4

表4(Table 4)

表4 各方法在Places2数据集上的指标值对比 Table 4 Metric value comparison of different methods on Places2 dataset 算法 PSNR↑ SSIM↑ MAE↓ LPIPS↓ FID↓ EdgeConnect 21.721 0.827 0.0461 0.1853 17.512 CTSDG 22.183 0.854 0.0428 0.1818 17.267 ICT 23.152 0.842 0.0473 0.1497 15.971 MAT 24.206 0.871 0.0441 0.1223 14.812 CMT 25.839 0.905 0.0372 0.1091 14.087 PUT 25.814 0.946 0.0386 0.1073 13.624 ETSTC 26.043 0.938 0.0324 0.1006 13.102

表4 各方法在Places2数据集上的指标值对比 Table 4 Metric value comparison of different methods on Places2 dataset

由表2~表4可得, ETSTC在5个指标值上普遍高于对比方法, 特别是在需要精细结构保持的Facade数据集上, 这表明ETSTC在修复面部细节、处理高度结构化对象及复杂场景上的优势.这是由于ETSTC能对受损边缘结构进行精细化修复并为纹理重构阶段提供完整的边缘结构先验, 同时结合边缘结构与纹理分布特征之间的相关性, 通过双特征间的有效聚合实现图像重建.

下面通过可视化对比, 评估各方法针对修复图像在纹理细节、边缘平滑过渡和颜色分布一致性方面的表现.为了充分展示ETSTC在特定类型遮挡条件下的视觉表现, 额外设计由方法生成的中心矩形掩码图.

各方法在Facade数据集上的修复结果如图7所示.由图可见, 相比对比方法, ETSTC在边缘清晰度、结构完整性和纹理自然度上表现更佳.Edge-Connect因结构预测不完整, 导致边缘模糊和纹理失真, 如(c)中第1行门框区域.CTSDG在复杂场景中容易生成网格伪影, 结构不连续, 如(d)中第2行屋顶结构呈现断裂伪影.ICT尽管全局建模能力较强, 但在较大缺失区域的细节部分重建不足, 如(e)中第2行门窗区域.MAT在局部复杂纹理恢复方面仍有缺陷, 生成图像纹理不协调, 如(f)中第3行墙面纹理表现突兀.CMT在局部纹理精细化上存在不足, 修复图像纹理显得呆板, 如(g)中第1行围栏区域.PUT使用非量化的Transformer提高图像质量, 虽然修复大体轮廓, 但纹理较平坦, 局部区域仍存在伪影, 在(h)中第1行和第3行窗户和墙壁区域修复效果缺乏真实感.相比之下, ETSTC能生成清晰边缘和自然纹理, 整体修复效果更真实自然.

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 各方法在Facade数据集上的修复结果Fig.7 Inpainting results of different methods on Facade dataset

CelebA数据集上包含具有相似语义的人脸图像, 各方法的修复结果如图8所示.由图可见, ETSTC在理解全局语义和保留更真实的人脸细节方面表现出色.各方法在包含不同语义图像的Places2数据集上的修复结果如图9所示.由图可见, ETSTC得到较高质量的纹理恢复效果.

图8

Fig.8

	Figure Option ViewDownloadNew Window
	图8 各方法在CelebA数据集上的修复结果Fig.8 Inpainting results of different methods on CelebA dataset

图9

Fig.9

	Figure Option ViewDownloadNew Window
	图9 各方法在Places2数据集上的修复结果Fig.9 Inpainting results of different methods on Places2 dataset

在Facade数据集上, ETSTC训练过程中的损失变化趋势如图10所示.在整个训练过程中, 每轮记录最新一批数据的损失值, ESCM进行256 轮训练, TRRM进行512轮训练.

图10

Fig.10

	Figure Option ViewDownloadNew Window
	图10 ETSTC中两阶段训练损失曲线Fig.10 Two-stage training loss curves of ETSTC

在ESCM训练期间, 交叉相关损失L_CCL和二值交叉熵损失L_BCE的变化趋势如图10(a)所示.初步边缘修复阶段中L_BCE在第1~60轮左右逐渐下降, 并逐渐接近平衡状态, 表明网络能较快收敛并生成较稳定的初步边缘结果.边缘细化使用的L_CCL由-0.46降至-0.62左右逐渐平稳, 表明修复后的边缘结构相关性逐步提高, 网络对边缘的细化处理取得良好效果.

在TRRM训练期间, 基于预设的合理权重区间进行损失权重组合实验, 以PSNR、SSIM、MAE、LPI- PS指标为优化目标进行最终的权重组合选取, 最终得到的最优损失权重组合如下: λ _L1=15, λ _adv=8, λ _fm=85, λ _hrf=35.

如图10(b)所示, 随着训练的进行, 对抗性损失L_adv稳定在(0.85, 1.10)范围内波动, 表明生成器和判别器之间的博弈逐渐平衡.像素损失L₁、特征匹配损失L_fm和高感受野感知损失L_hrf逐渐下降, 表明在特征图或像素级上修复样本与真实样本之间的差距正在缩小, 修复图像质量正在稳步提高.

在Facade数据集上分别进行边缘结构补全模块(ESCM)和纹理重构修复模块(TRRM)的消融实验, 分析2个组件之间的差异.

在ESCM上全面分析整合CNN与Transformer的结构变换补全器(STCM)的有效性.指标包含边缘精确度、边缘召回率和边缘F1分数, 结果如表5所示.由表可见, 结合使用轴向注意力与CoT Block的STCM可有效提升边缘结构补全信息的精准性与完整性.

表5

Table 5

表5(Table 5)

表5 STCM在Facade数据集上的消融实验结果 Table 5 Ablation experiment results of STCM on Facade dataset % CoT Block 轴向 注意力 边缘 精确度↑ 边缘 召回率↑ 边缘 F1分数↑ √ - 71.487 50.994 59.955 - √ 73.109 52.181 60.152 √ √ 74.604 53.217 61.745

表5 STCM在Facade数据集上的消融实验结果 Table 5 Ablation experiment results of STCM on Facade dataset %

针对ESCM进行可视化分析, 结果如图11所示.

图11

Fig.11

	Figure Option ViewDownloadNew Window
	图11 ESCM在Facade数据集上的消融实验结果Fig.11 Ablation experiment results of ESCM on Facade dataset

由图11可见, 通过对输入的受损图像(图(b))进行边缘提取, 得到受损边缘(图(c))后输入STCM进行消融实验.分别移除STCM中的轴向注意力和CoT Block, 各自替换为标准自注意力机制后均出现边缘连续性不足现象, 补全结果中产生明显的边缘伪影.相比之下, 应用完整的STCM, 补全后的边缘结构较完整, 这一改进得益于STCM对局部边缘细节与全局结构依赖的有效捕捉.

最后进行ETSTC的消融实验时, 选择STCM、SSM、FA、FCAM模块, 测试各种组合对指标值的影响, 具体如表6所示, 表中黑体数字表示最优值, 未使用FA的组合一律使用SPADE^[31]支持模型训练.

表6

Table 6

表6(Table 6)

表6 ETSTC在Facade数据集上的消融实验结果 Table 6 Ablation experiment results of ETSTC on Facade dataset STCM SSM FA FCAM PSNR↑ SSIM↑ MAE↓ LPIPS↓ FID↓ √ - - - 23.435 0.831 0.0324 0.1104 5.711 √ √ - - 23.811 0.853 0.0301 0.1069 5.324 √ √ - √ 24.401 0.909 0.0287 0.1031 5.179 √ √ √ - 24.615 0.939 0.0271 0.0986 5.097 √ √ √ √ 25.642 0.954 0.0243 0.0900 4.936

表6 ETSTC在Facade数据集上的消融实验结果 Table 6 Ablation experiment results of ETSTC on Facade dataset

由表6可见, 当仅利用STCM进行初步边缘修补时, STCM虽具有基础边缘补全能力, 但缺乏精细化处理.引入SSM后, 结构更连贯, 各项指标值得到优化.进一步引入FCAM, 增强纹理表达, SSIM值显著提高.使用FA替换SPADE后, 边缘与纹理特征对齐更精准.当应用完整的ETSTC时, 所有模块协同作用, 各项指标达到最优, 由此验证ETSTC的有效性.

各模块在Facede数据集上的可视化结果如图12所示.由图可见, (b)中只使用STCM模块并使用SPADE替换FA, (c)在(b)基础上增加SSM, 使边缘结构过渡更自然, 但纹理细节仍有欠缺.(d)中再加入FCAM, 可进一步提升纹理表达, 使边缘和纹理过渡更顺畅.(e)中引入FA代替SPADE, 实现边缘特征与纹理特征的有效聚合.(f)为ETSCM, 修复效果最优, 这充分表明在所有模块的共同作用下, ETSTC在边缘结构补全、纹理重构修复和整体一致性上达到最佳状态.

图12

Fig.12

	Figure Option ViewDownloadNew Window
	图12 ETSTC在Facade数据集上的消融实验结果Fig.12 Ablation experiment results of ETSTC on Facade dataset