引用本文
刘姝, 张宇峰, 奎晓燕. 基于频域交互与密集融合的人脸超分辨率重建. 模式识别与人工智能, 2026,39(5): 436-447
LIU Shu, ZHANG Yufeng, KUI Xiaoyan. Face Super-Resolution Reconstruction Based on Frequency-Domain Interaction and Dense Fusion. PATTERN RECOGNITION AND ARTIFICIAL INTELLIGENCE, 2026,39(5): 436-447.  
Doi: 10.16451/j.cnki.issn1003-6059.202605004
Permissions
Copyright©2026, 《模式识别与人工智能》编辑部
《模式识别与人工智能》编辑部
基于频域交互与密集融合的人脸超分辨率重建
刘姝1, 张宇峰1, 奎晓燕1
1.中南大学 计算机学院 长沙 410083
通讯作者:

奎晓燕,博士,教授,主要研究方向为图像处理、数据可视化与可视分析.E-mail:xykui@csu.edu.cn.

作者简介:

刘姝,博士,副教授,主要研究方向为计算机视觉、多模态智能认知.E-mail:sliu35@csu.edu.cn.

张宇峰,硕士研究生,主要研究方向为计算机视觉、图像超分辨率.E-mail:yufengzhang@csu.edu.cn.

收稿日期: 2026-01-22 接受日期: 2026-04-22
资助项目: 国家自然科学基金项目(No.U22A2034)、湖南省教育厅科学研究重点项目(No.24A0018)、湘江实验室重点项目(No.23XJ02005)资助
摘要

针对现有人脸超分辨率方法在计算效率与重建质量之间难以取得最佳平衡的问题,文中提出基于频域交互与密集融合的人脸超分辨率重建网络.首先,利用小波变换进行频域下采样,有效保留图像的频谱信息.在此基础上,设计全局-局部Transformer模块,串行处理局部窗口注意力与全局稀疏注意力,在降低计算复杂度的同时较好地捕捉人脸的整体几何结构.然后,提出频域交互Transformer模块,构建跨频段的交互机制,利用高频特征反向修正低频语义,提升图像锐度.最后,通过邻域尺度密集融合机制实现跨尺度特征聚合.实验表明,文中网络在降低参数量的同时,实现感知质量与像素保真度的良好平衡,为资源受限场景中的人脸超分辨率重建提供新的解决方案.相应源代码获取地址https://github.com/Hddcc/FIDFN.

关键词: 深度学习; 人脸超分辨率; Transformer; 频域交互; 密集融合
中图分类号:TP391
Face Super-Resolution Reconstruction Based on Frequency-Domain Interaction and Dense Fusion
LIU Shu1, ZHANG Yufeng1, KUI Xiaoyan1
1. School of Computer Science and Engineering, Central South University, Changsha 410083
Corresponding author:
KUI Xiaoyan, Ph.D., professor. Her research interests include image processing, data visualization and visual analytics.

About Author:
LIU Shu, Ph.D., associate professor. Her research interests include computer vision and multimodal intelligent cognition.
ZHANG Yufeng, Master student. His research interests include computer vision and image super-resolution.

Fund:Supported by National Natural Science Foundation of China(No.U22A2034), Key Project of Scientific Research Fund of Hunan Provincial Education Department(No.24A0018), Key Program of Xiang-jiang Laboratory(No.23XJ02005)
Abstract

It is difficult for existing face super-resolution methods to achieve an optimal tradeoff between computational efficiency and reconstruction quality. To address this issue, a face super-resolution network based on frequency-domain interaction and dense fusion is proposed. First, wavelet transform is adopted for frequency-domain downsampling. The spectral information of images is effectively preserved. On this basis, a global-local Transformer module is designed to serially process local window attention and global sparse attention. The overall geometric structure of the face is better captured and the computational complexity is reduced. Second, a frequency-domain interaction Transformer module is proposed to construct a cross-frequency band interaction mechanism. High-frequency features are utilized to refine low-frequency semantics, thereby improving image sharpness. Finally, cross-scale feature aggregation is realized through an adjacent cross-scale fusion mechanism. Experiments indicate that the proposed network achieves a good balance between perceptual quality and pixel fidelity while reducing the number of parameters. A new solution is provided for face super-resolution in resource-constrained scenarios. The code is available at https://github.com/Hddcc/FIDFN.

Key words: Deep Learning; Face Super-Resolution; Transformer; Frequency-Domain Interaction; Dense Fusion

伴随着数字信息技术的迅猛发展和物联网设备的全面普及, 多媒体数据量呈现出指数级的增长态势.根据《数字中国发展报告(2024年)》[1]统计, 我国移动物联网终端用户规模已达26.56亿户, 海量的视觉数据在各类智能分析系统中蕴含着不可估量的应用价值.然而, 受限于现实环境中复杂的采集条件、低成本成像设备等硬件瓶颈及网络传输带宽的约束, 实际获取的人脸图像往往伴随着模糊、噪声、伪影及下采样等严重的质量退化问题.这些严重的质量退化问题不仅极大损害图像的视觉感知质量, 而且导致人脸关键纹理与结构特征的丢失, 致使后续的图像分析处理难度显著增加.为了解决这一问题, 人脸超分辨率技术作为低质量人脸图像增强的关键手段, 近年来受到学术界与工业界的广泛关注.

针对图像增强的特殊性, 早期研究主要依赖手工设计的先验特征或浅层学习模型, 难以有效应对低分辨率图像的复杂退化场景.近年来, 研究人员开始将深度学习技术引入图像超分辨率领域, 构建深层卷积神经网络, 建立低分辨率图像到高分辨率图像之间的非线性映射关系.这一转变大幅提升重建图像的结构完整性与纹理逼真度.这种基于深度学习的复原方法能从大数据中学习通用的纹理先验, 为各类高精度视觉应用提供强力的技术支撑.

然而, 现有人脸超分辨率方法在计算效率、全局结构建模能力及高低频细节协同恢复方面仍存在一定不足, 如何在有限计算成本下实现感知质量与像素保真度的平衡, 仍是值得进一步研究的问题.为此, 本文提出基于频域交互与密集融合的人脸超分辨率重建网络(Face Super-Resolution Network Based on Frequency-Domain Interaction and Dense Fusion, FIDFN).首先, 利用小波变换进行频域下采样, 在降低特征分辨率的同时尽可能保留图像的频谱信息.然后, 设计全局-局部Transformer模块(Global-Local Transformer, GLT), 通过局部窗口注意力与全局稀疏注意力的协同建模, 有效增强对人脸整体结构与局部纹理的表征能力.进一步引入频域交互 Trans-former 模块(Frequency Interactive Transformer, FIT), 建立跨频段特征交互机制, 利用高频细节信息对低频语义表示进行补充与修正.最后, 结合邻域尺度密集融合机制(Adjacent Cross-Scale Fusion, ACSF), 实现跨尺度特征聚合, 提升重建结果的清晰度与稳定性.

1 相关工作
1.1 基于卷积神经网络的人脸超分辨率方法

随着深度学习的兴起, Dong等[2]率先提出SRCNN(Super-Resolution Convolutional Neural Net-work), 将卷积神经网络(Convolutional Neural Net-works, CNN)引入超分辨率领域, 然而该方法依赖插值预处理, 容易导致面部细节平滑和丢失.为了克服这一弊端, Dong等[3]随后提出FSRCNN(Fast Super-Resolution Convolutional Neural Networks), 利用反卷积层, 直接在网络末端放大图像, 虽然提升推理速度, 但生成的人脸往往伴随特征失真和伪影.针对速度与质量的平衡问题, Shi等[4]提出ESPCN(Effi-cient Sub-Pixel Convolutional Neural Network), 通过亚像素卷积层进一步提升效率, 但在处理复杂表情时仍难免特征模糊, 影响结构识别.

鉴于浅层网络难以捕捉复杂的人脸纹理, 该领域研究重心逐渐向加深网络深度的方向转移.VGG(Visual Geometry Group)[5]将网络扩展至20层并引入残差学习, 显著提升细节恢复能力.在此基础上, Lim等[6]提出更宽更深的EDSR(Enhanced Deep Super-Resolution Network), 移除批归一化层, 进一步释放深层网络的潜力.然而, 单纯增加深度导致参数量激增和训练困难, 为了在性能与模型效率之间寻求平衡, Kim等[7]提出DRCN(Deeply-Recursive Convolutional Network), 通过递归结构共享参数, 减少模型冗余.Tai等[8]提出DRRN(Deep Recursive Resi-dual Network), 进一步结合残差学习与递归结构, 既降低参数量, 又通过多路径残差增强对人脸高频纹理的保留能力.针对多尺度重建需求, Lai等[9]提出LapSRN(Laplacian Pyramid Super-Resolution Net-work), 并未沿用简单的递归思路, 而是利用拉普拉斯金字塔结构逐步预测残差, 实现由粗到细的渐进式重建.

尽管上述方法在深度和参数量上进行大量优化, 但多采用层层堆叠的连接方式, 导致特征利用率有限.受到DenseNet的启发, Tong等[10]提出SR-DenseNet, 引入密集连接机制, 实现特征的重复利用.Zhang等[11]提出RDN(Residual Dense Network), 进一步将密集连接融入残差块中, 充分挖掘局部特征与全局特征的关联.然而, 密集连接忽略不同通道特征的重要性差异.为了解决这一问题, Zhang等[12]提出RCAN(Residual Channel Attention Networks), 首次引入通道注意力机制, 让网络能自适应关注关键的人脸特征通道, 大幅提升表征能力.与此同时, Li等[13]提出MSRN(Multi-scale Residual Network), 侧重于多尺度特征的提取, 弥补单一尺度卷积核在捕捉不同大小人脸部件时的局限性.尽管如此, 基于CNN的方法受限于局部感受野, 难以捕捉人脸图像中的长距离依赖关系, 容易导致整体结构失调.

1.2 基于Transformer与状态空间模型的人脸超分辨率方法

随着ViT(Vision Transformer)[14]在计算机视觉领域的兴起, 研究者开始利用自注意力机制突破CNN的局限.Liang等[15]率先提出SwinIR, 将Swin Transformer的移动窗口机制引入图像恢复领域, 在特征提取的局部性与全局性之间取得优异平衡, 显著提升重建图像的结构完整性.在此基础上, 针对Transformer在超分辨率任务中部分区域激活程度不足的问题, Chen等[16]提出HAT(Hybrid Attention Transformer), 结合通道注意力机制和自注意力机制, 进一步激活更多的有效像素, 证实Transformer架构在处理人脸复杂纹理时具有巨大潜力.

然而, Transformer随分辨率二次增长的计算复杂度限制其在移动端等资源受限场景中的应用.为了解决这一瓶颈, 研究者开展不同方向的探索.近期, Guo等[17]提出MambaIR, 率先将状态空间模型引入图像复原, 在维持长距离依赖建模能力的同时降低推理成本.随后, 针对单向建模导致的信息丢失问题, Liu等[18]提出VMamba(Visual State Space Mo-del), 引入二维交叉扫描机制, 增强模型对图像空间上下文的感知能力.尽管此类方法在推理效率上表现卓越, 但仍侧重于空域的特征学习, 缺乏对频率信息的显式分离, 在面对人脸微小纹理或高频噪声时, 精准性不如频域方法.

另一类研究致力于通过引入明确的几何或频率先验以提升模型的效率与精度.Ma等[19]提出DIC, 利用人脸地标作为几何先验, 有效校正面部结构.在此基础上, Wang等[20]提出SFMNet(Spatial-Frequency Mutual Network), 引入空间-频率互学习策略, 并行处理空间域纹理和频率域细节, 实现两个域信息的互补.此外, 针对Transformer计算量较大的问题, Li等[21]提出WFEN(Wavelet-Based Feature Enhancement Network), 巧妙利用小波分解将图像分离为不同频段并在低分辨率下处理, 从而在保留Transformer强大建模能力的同时大幅降低计算复杂度.然而, 现有的此类频域方法在处理不同频带信息时往往相对独立, 忽略高频纹理特征与低频结构特征之间的深度融合潜能, 难以进一步提升模型性能.

1.3 基于生成式先验与深度结构引导的进阶方法

除了效率和纹理, 如何保持人脸结构的整体一致性是另一大挑战.Shi等[22]进一步发展“ 迭代协作” 的思路, 提出MAIC(Multi-attention Mechanisms and Landmark Estimation), 将多重注意力机制与地标估计深度融合, 通过精细的迭代优化过程, 在复杂场景中实现鲁棒的人脸细节与结构恢复.为了克服生成式模型推理速度较慢的瓶颈, Wang等[23]提出OSDFace(One-Step Diffusion Model for Face Restora-tion), 利用单步扩散策略实现毫秒级的生成速度.在面对极度退化导致的结构丢失挑战时, Varanka等[24]提出PFStorer(Personalized Face Restorer), 引入基于扩散模型的个性化修复策略, 利用先验信息调整生成过程, 实现在严重退化场景中对目标人物特征的高保真恢复.在此基础上, 为了解决上述方法通常需要针对特定身份进行微调从而限制应用灵活性的问题, Liu等[25]提出无需微调的FaceMe, 引入身份编码器, 提取身份特征作为先验引导扩散模型, 成功在盲人人脸复原任务中实现鲁棒的身份一致性保持.尽管如此, 基于扩散模型的生成式方法普遍存在推理耗时较长、计算开销较大等问题, 且复杂的先验引入机制往往显著增加模型的参数量, 难以满足实时应用场景中对高计算效率的需求.

综上所述, 如何在保持模型轻量化与高计算效率的同时, 借鉴频域交互与结构引导的思想, 增强对复杂纹理及全局结构的恢复能力, 克服现有高效模型在重建质量上的局限性, 已成为当前人脸超分辨率领域的关键问题之一.

2 基于频域交互与密集融合的人脸超分辨率重建网络

针对现有人脸超分辨率方法在计算效率与重建质量之间难以取得最佳平衡的问题, 本文提出基于频域交互与密集融合的人脸超分辨率重建网络(FIDFN), 引入频域先验与跨尺度信息流, 在保持全局结构一致性的同时恢复面部细节.具体网络架构如图1所示.

图1 FIDFN整体架构Fig.1 Overall architecture of FIDFN

FIDFN整体采用多级U型编码-解码架构, 在功能逻辑上由3部分构成.第1个部分是浅层特征提取与多级编码器, 负责从输入图像中提取多尺度的结构特征与高频纹理信息, 在下采样操作中, 为了避免传统最大池化或步长卷积导致的高频信息丢失, 借鉴文献[21]的频域分解思想, 引入小波频域下采样模块(Wavelet Feature Downsample, WFD), 利用Haar小波变换的可逆性, 将输入特征分解为低频近似分量LL和3个方向的高频细节分量LH、HL、HH.低频分量分辨率减半但通道数翻倍, 作为下一级编码器的输入; 高频分量通过跳跃连接传递至对应的解码器, 与解码特征融合.中间部分是连接编码器和解码器的语义瓶颈层, 负责在低分辨率的特征空间中进行全局语义的长距离依赖建模.最后部分是密集解码重建网络, 负责融合多尺度的编码特征并逐步恢复图像的高分辨率细节, 最终生成重建的人脸图像.

2.1 全局-局部Transformer模块

在人脸图像中, 局部纹理与全局结构对于超分辨率重建同等重要.为了同时兼顾这两类特征的提取, 本文在浅层特征提取阶段及瓶颈层使用全局-局部Transformer模块(GLT), 结构如图2所示.

图2 GLT结构图Fig.2 GLT structure

GLT的主要作用是串行处理局部信息与全局信息, 使网络兼顾计算效率与长距离建模能力.在处理输入特征X时, 首先通过张量重塑与维度排列执行特征的词元化处理.GLT将二维特征图像划分为由M×M个像素组成的互不重叠局部窗口, 并将每个窗口内的空间维度展平, 构建长度为M2的特征序列, 作为注意力机制的输入.为了适应不同层级的特征分布, 离散化过程中的窗口尺寸M采用自适应设定:在浅层特征提取与解码阶段, 设定M=8以捕获精细的纹理细节; 在深层语义瓶颈层, 为匹配低分辨率特征并降低计算复杂度, 设定M=2.

在局部窗口自注意力(Region Self-Attention, RSA)阶段, 对于输入特征X, 自注意力计算仅在每个离散化的窗口词元序列内部进行, 获得相应RSA输出特征:

X'=X+RSA(LN(X)).

其中:LN(·)表示归一化操作, 用于稳定特征分布; RSA(·)表示基于局部窗口序列化的自注意力计算.然后, 通过全局自注意力(Global Self-Attention, GSA)处理经过RSA增强的特征X', 获得GSA输出特征:

X″=X'+GSA(LN(X')),

其中GSA(·)表示基于全图序列化的全局自注意力计算.此时将全图空间位置展平为全局词元序列, 建立跨窗口的依赖关系, 确立面部的整体几何结构, 最终输出特征为:

Xout=X″+FFN(LN(X″)),

其中FFN(·)表示包含2个线性层和GELU激活函数的前馈神经网络.

此外, 在网络的Transformer瓶颈层中, 为了在低分辨率特征空间中捕捉长距离语义依赖, 级联N(N=6)个GLT, 设瓶颈层的输入特征 Fbot0, 第k个GLT的输出特征为:

Fbotk=GLTk(Fbotk-1), k=1, 2, …, N,

其中GLTk(·)表示第k层的全局-局部变换处理.

在这一阶段, 为了适应低分辨率特征图的特性, GLT采用较小的局部窗口尺寸和8个注意力头数, 实现对深层语义特征的精细化重组.通过多层非线性映射, 瓶颈层将抽象的语义特征映射至全局特征空间, 最终输出特征 FbotN为后续图像重建提供语义基准.

2.2 频域交互Transformer模块

在深度CNN中, 伴随着网络层数的加深, 特征图的空间分辨率逐渐降低, 导致高频纹理信息面临严重的磨损风险.此外, 现有方法往往忽视高频纹理与低频结构在空间位置上的对应关系, 但是, 高频细节的分布并非是随机的, 而是紧密关联于低频的结构信息.因此, 本文设计频域交互Tranformer模块(FIT), 建立一种显式的交互机制, 利用高频分量的空间分布作为注意力掩码, 动态激活低频特征中的关键结构信息.具体结构如图3所示.

图3 FIT结构图Fig.3 FIT structure

2.2.1 交互注意力机制

FIT的核心在于跨源的交互注意力计算机制.不同于常规Transformer中Q、K、V同源的设计, FIT将高频特征映射为查询向量Q, 低频特征映射为键向量K和值向量V, 使网络能在低频特征中检索与高频纹理相关区域, 实现高频细节对低频语义重建的显式引导.

首先, 对输入的低频特征FLL和高频特征FHF进行层归一化.为了在空间维度建立相关性, 首先将特征图展平为序列形式, 即将空间维度H×W映射为长度为L=HW的词元序列, 然后利用卷积层生成查询向量、键向量、值向量:

$\boldsymbol{Q}= {Conv}_{1 \times 1}\left(L N\left(\boldsymbol{F}_{\mathrm{HF}}\right)\right) \in \mathbf{R}^{L \times C}, $

$\boldsymbol{K}= {Conv}_{1 \times 1}\left(L N\left(\boldsymbol{F}_{\mathrm{LL}}\right)\right) \in \mathbf{R}^{L \times C}, $

$\boldsymbol{V}=\operatorname{Conv}_{1 \times 1}\left(L N\left(\boldsymbol{F}_{\mathrm{LL}}\right)\right) \in \mathbf{R}^{L \times C}, $

其中, Conv1×1(·)表示1×1卷积, LN(·)表示层归一化, C表示特征通道数.在多头注意力机制下, 每个注意力头的特征维度定义为dk=C/Hhead, 其中Hhead表示并行注意力头的数量.为了量化空间位置上的相关性, 计算Q与K的缩放点积, 生成空间注意力图, 并对V进行加权, 从而将高频纹理先验注入低频特征中.在此过程中, QKT的运算是在序列长度L上进行的矩阵乘法, 生成的原始权重矩阵维度为L×L.softmax(·)算子沿行维度进行归一化, 确保每个空间位置的权重和为1.最后通过残差连接得到交互增强后的特征:

$\boldsymbol{F}_{\text {inter }}=\boldsymbol{F}_{\mathrm{LL}}+{Conv}_{1 \times 1}\left({softmax}\left(\frac{\boldsymbol{Q} \boldsymbol{K}^{\mathrm{T}}}{\sqrt{d_{k}}}\right) \boldsymbol{V}\right) .$

2.2.2 特征融合机制与前馈神经网络层

经过交互注意力机制处理后, 低频特征虽然获得纹理结构上的增强, 但尚未充分融合原始的高频细节信息.为了弥补这一缺失并进一步强化特征的非线性表达能力, FIT引入特征融合机制与前馈神经网络层(Feed-Forward Neural Network Layer, FFN).

首先, 将交互增强后的特征Finter与原始的高频特征FHF在通道维度进行级联操作, 形成融合特征张量.由于级联操作导致通道数增加, FIT随即采用1×1卷积层, 将特征映射回原始的通道维度, 实现特征的压缩与重组.然后, 对特征进行层归一化并送入前馈神经网络进行处理, 得到输出特征:

Fout=FFN(LN(Conv1×1([Finter, FHF])))+Finter.

其中:[·, ·]表示通道级联操作; Conv1×1(·)表示1×1卷积操作, 不仅起到降维的作用, 也能促进低频信息与高频信息的初步线性混合; LN(·)表示层归一化, 用于稳定输入分布; FFN(·)通过非线性变换, 进一步提取高层语义特征.

最终, 通过残差连接将输出特征Fout与Finter相加, 确保梯度的稳定传播, 同时使输出特征在维持低频语义一致性的基础上增强对高频纹理的表达能力.

2.3 邻域尺度密集融合机制

在解码过程中, 为了弥合底层强语义特征与浅层高分辨率细节之间的鸿沟, 与传统方法不同, 本文采用邻域尺度密集融合机制(ACSF).

对于第i层解码器Di, 对应的同层编码器为Ei, 而上一级编码器为Ei-1.Ei-1的空间分辨率为Ei的两倍.为了利用其丰富的细节, 网络采用卷积核为3×3、步长为2的卷积层作为下采样算子, 对Ei-1进行自适应结构筛选, 生成补偿特征Fcomp.

在获得补偿特征后, 解码器执行密集特征聚合操作.当前解码层的输入特征融合3个维度的信息流:来自下一级解码器的上采样输出 Di+1↑、同层编码器的跳跃连接Ei、ACSF提供的补偿特征Fcomp.这三路特征在通道维度进行聚合, 得到聚合特征:

FinDi=[Di+1↑, Ei, Fcomp].

最后, 聚合特征 FinDi被送入解码器的上采样模块中进行处理.图4对比U-Net与ACSF的拓扑结构.

图4 特征融合拓扑结构对比Fig.4 Comparison of feature fusion topologies

2.4 图像重建

FIDFN通过多级解码器的逐层上采样与邻域尺度密集融合, 输出与输入特征空间分辨率一致的深层解码特征Fdec.为了生成最终的高分辨率人脸图像, 同时降低网络学习高频细节的难度, 采用全局特征残差学习策略.

具体而言, 将解码器输出的深层特征Fdec与网络初始阶段提取的浅层特征F0进行逐元素相加, 随后通过一个3×3卷积重建层, 将特征映射回RGB图像空间, 得到重建的高分辨率人脸图像:

$\boldsymbol{I}_{\mathrm{SR}}={Conv}_{\mathrm{rec}}\left(\boldsymbol{F}_{\mathrm{dec}} \oplus \boldsymbol{F}_{0}\right), $

其中, Convrec(·)表示将特征通道映射为RGB通道的卷积重建操作, $ \oplus$表示逐元素相加.这种长距离的特征跳跃连接使网络能复用输入图像中的低频信息, 迫使网络专注于恢复高频纹理残差, 从而提升重建质量与训练稳定性.

在网络训练过程中, 采用L1像素损失函数约束生成图像ISR与真实图像IHR之间的内容一致性.

3 实验及结果分析
3.1 实验环境

本文选用CelebA数据集[26]作为方法训练的基础数据集, 并在CelebA、Helen[27]数据集上进行测试评估.由于原始人脸图像在长宽比例上存在差异, 首先利用OpenFace工具[28]检测人脸的68个关键点.然后, 依据这些关键点对人脸图像进行裁剪, 并统一调整至128×128, 以此作为高分辨率的真值图像(Ground Truth, GT).为了生成低分辨率(Low-Resolution, LR)输入图像, 采用双三次插值(Bicubic Interpolation)将GT图像下采样至16×16, 从而构建成对的<LR, GT>训练样本.

在数据划分方面, 从CelebA数据集上选取18 000幅图像用于方法训练.在测试阶段, 为了验证网络的泛化性能, 分别从CelebA数据集上选取1 000幅图像和Helen数据集上选取50幅图像作为测试样本.

本文所有实验均在NVIDIA GeForce RTX 3090 GPU硬件平台上进行, 基于PyTorch框架实现, 并使用Adam(Adaptive Moment Estimation)优化器进行优化.初始学习率设为2×10-4, 采用动态学习率衰减策略以稳定训练过程.实验设置最大训练轮次为150, 批处理大小为16.对于FIDFN, 特征嵌入维度设为64, GLT中的注意力头数设为8.

3.2 评价指标

为了全面客观地衡量超分辨率重建图像的质量, 采用峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)、结构相似度(Structure Similarity, SSIM)、学习感知图像块相似度(Learned Perceptual Image Patch Similarity, LPIPS)、视觉信息保真度(Visual Information Fidelity, VIF)这4个量化指标进行评估, 并引入模型参数量、浮点运算量和推理速度以考察计算效率.

PSNR和SSIM主要用于衡量图像在像素和结构层面的保真度.LPIPS利用深度特征衡量图像符合人眼感知的程度, 数值越低表示感知质量越优.VIF关注图像信息的保真度.参数量、浮点运算量、推理速度直观反映网络的空间复杂度与计算代价.通过上述多维度指标, 综合评价网络在重建质量与运行效率上的表现.

3.3 对比实验

本文选取如下6种具有代表性的人脸超分辨率方法作为对比方法, 由此验证FIDFN的有效性与先进性.

1)Bicubic.传统的双三次插值方法, 作为基础对照组.

2)DIC[19].基于迭代协作机制的深度人脸超分辨率方法, 通过人脸关键点估计与图像重建的交互反馈增强细节.

3)SFMNet[20].空间频率互学习网络, 利用空间域和频域的双重约束恢复人脸图像的高频纹理.

4)WFEN[21].基于小波变换的特征增强网络, 利用小波分解处理多尺度特征, 提高人脸重建效率.

5)MAIC[22].多注意力机制与关键点估计的迭代协作方法, 通过复杂的注意力模块强化特征表征能力.

6)FaceMe[25].结合个人身份验证的盲人人脸修复网络, 强调在复杂退化情景中的身份一致性保持.

各方法在CelebA、Helen测试集上的指标值如表1所示, 表中黑体数字表示最优值, 斜体数字表示次优值.

表1 各方法在2个测试集上的指标值 Table 1 Metric values of different methods on 2 test sets

由表1可观察到, MAIC等大参数量方法凭借其强大的特征表示能力, 在PSNR和SSIM等客观指标上取得较优值, 但其较高的计算成本可能在一定程度上限制其在资源受限场景中的应用部署.SFMNet采用基于生成对抗网络的训练策略, 通过空间与频域双重判别器的对抗约束, 使方法生成更多符合人类视觉直觉的高频细节.FIDFN提升重建图像的视觉逼真度, 使其在LPIPS指标上取得较优值, 验证频域交互对提升图像视觉锐度的积极作用.此外, 相比参数量相近的其它方法, FIDFN在各项指标上均能取得较优值.

各方法的视觉效果对比如图5所示.由图可见, DIC和SFMNet能在低分辨率输入的基础上恢复较完整的人脸结构, 但重建结果整体仍较平滑, 局部细节表现不足.WFEN、MAIC和FaceMe进一步提升图像清晰度, 在轮廓恢复和视觉质量方面均优于DIC和SFMNet, 但在局部区域内仍存在一定程度的细节缺失或纹理过渡不够自然.相比之下, FIDFN生成结果在整体结构保持、边缘轮廓恢复及视觉自然性方面表现更优, 重建图像更接近真实高分辨率图像.对于不同测试集样本, FIDFN均能获得较稳定的重建效果, 说明其在人脸超分辨率重建任务中具有较优的视觉恢复能力.

图5 各方法的可视化结果Fig.5 Visualization results of different methods

3.4 消融实验

本节通过消融实验定量分析FIDFN中各模块对网络整体性能的贡献, 并验证网络设计的合理性.实验以FIDFN为基准, 逐步移除或替换小波频域下采样模块(WFD)、全局-局部Transformer模块(GLT)、频域交互Transformer模块(FIT)、邻域尺度密集融合机制(ACSF)这4个关键组件, 并在一致的实验配置下进行对比训练与测试.

具体消融实验结果如表2所示, 表中黑体数字表示最优值, 斜体数字表示次优值.由表可见, WFD对高频信息的保留具有重要作用.当替换为标准的卷积下采样操作(w/o WFD)后, PSNR和SSIM指标均出现下降, 说明Haar小波变换在避免下采样信息损失方面的优势.同时, 移除频域交互Transformer模块(w/o FIT)后, 在2个数据集上均有不同程度的性能衰减, 表明显式的高频先验引导对于纹理恢复的重要性.缺乏频域交互的网络难以在低频语义与高频细节之间建立有效的映射, 导致生成图像的锐度不足.

表2 各模块的消融实验结果 Table 2 Ablation experiment results of different modules

在结构保持方面, GLT发挥核心作用.对比w/o GLT的结果可发现, 若仅依靠普通残差块而缺乏GLT的长距离依赖建模能力, 网络在恢复面部五官的全局几何结构时表现欠佳, SSIM指标有所降低, LPIPS、VIF指标也有显著下降.此外, 解码器中的ACSF也被证实在跨尺度特征融合中不可或缺, 移除该机制(w/o ACSF)削弱网络对多尺度信息的综合利用能力, 最终限制超分辨率的精度.综上所述, FIDFN中各模块相辅相成, 共同确保其在重建质量和参数量上的优势.

相应模块的可视化结果如图6所示.由图可见, 对于CelebA数据集上的图像样本, w/o WFD在恢复眼部几何结构时表现略显松散, w/o GLT生成的眼部区域较模糊, 瞳孔轮廓辨识度较低.相比之下, FIDFN重建的眼部线条相对更紧实, 更好地保留眼角处的细节.对于Helen数据集上的图像样本, 在牙齿区域中, 各消融模块生成的牙齿边缘均呈现出一定的粘连感, 齿缝细节模糊, 而FIDFN在一定程度上减轻这种混叠现象, 牙齿间隔清晰可辨, 整体视觉质量略有提升.

图6 各模块的可视化结果Fig.6 Visualization results of different modules

3.5 超参数分析

本节对FIDFN中的关键超参数进行敏感性分析, 确定最佳的网络配置.所有实验均在单一变量变化条件下进行.

瓶颈层作为连接编码器与解码器之间的核心, 深度直接决定网络对全局语义信息的抽取与建模能力.为了确定瓶颈层中GLT的最佳堆叠数量N, 设置N=2, 4, 6, 8, 进行对比实验, 并在CelebA、Helen数据集上进行测试, 以此评估性能.相应指标值如表3所示, 表中黑色数字表示最优值, 斜体数字表示次优值.

表3 N对FIDFN性能的影响 Table 3 Effect of N on FIDFN performance

由于增加瓶颈层深度有助于增强网络对长距离语义依赖的建模能力, 从而提取更鲁棒的全局语义特征, 并在低分辨率特征空间内强化对人脸大尺度几何结构的感知能力, 使得网络在重建过程中能更好地兼顾整体结构的协调性, 因此, 随着GLT的堆叠数量N从2增至6, 在2个测试集上的各项指标值均获得不同程度的提升.当N增至8时, 性能提升趋于饱和, PSNR指标未见显著增长, 甚至出现微弱波动.这表明在当前数据集规模下, 过深的网络结构不仅未能带来实质性的性能收益, 反而引入额外的参数量与计算开销.综合性能与模型复杂度的权衡, N=6为一个较优点.继续将层数增至N=8, 引入的额外参数量且计算量上升, 但其在PSNR、SSIM等关键指标上的性能提升已趋于收敛.因此, 为了在确保重建质量的前提下有效控制网络规模与计算开销, 最终将N=6选定为默认配置.

在FIDFN中, GLT利用多头注意力机制增强特征提取能力.具体而言, GLT中的GSA分支和RSA分支将输入的特征图像在通道维度上投影并划分为H个独立的子空间, 以便在不同的特征子空间中并行捕获丰富的纹理信息和结构信息.然而, 子空间数量H直接决定特征切分的粒度与每个子空间的表达容量, 因此需要通过实验确定其最佳配置.

为了确定最佳头数H, 设置H=4, 8, 16, 进行对比实验, 相应指标值如表4所示, 表中黑体数字表示最优值, 斜体数字表示次优值.由表可见, 当H=4时, 每个头的特征维度为16, 受限于较少的特征子空间数量, 网络对复杂特征的多样性捕获能力稍显不足, 各项指标值也相对较低.当H=8时, 每个头的维度为8, 网络能在保持足够特征表现力的同时最大化子空间的多样性, 不仅能较好地捕捉细粒度的纹理特征, 也能建立不同子空间之间丰富的语义关联, 有助于在恢复局部细节的同时, 保持人脸五官分布的拓扑一致性, 且各项指标值均达到较优水平.当H=16时, 虽然头数增多, 但每个头的特征维度仅为4, 过窄的特征维度限制每个注意力头挖掘深层语义信息的能力, 难以编码有效的语义信息, 造成性能下降.

表4 H对FIDFN性能的影响 Table 4 Effect of H on FIDFN performance

综合性能、参数效率与计算开销的考量, H=8时能在给定计算资源下实现相对较优的表现.因此, GLT最终选取H=8作为默认设置.

3.6 失败案例

为了全面探究FIDFN在极端现实环境下的鲁棒性边界, 分析部分重建质量欠佳的典型样本, 相应可视化结果如图7所示.

图7 失败案例的可视化结果Fig.7 Visualization results of failure cases

由图7可见, 尽管FIDFN在常规场景中的表现良好, 但在部分极端退化条件下仍存在一定的局限性.

1)当人脸图像受到大幅遮挡时, 遮挡区域引入大量非人脸的干扰特征, 导致网络难以通过剩余的离散像素推断完整的面部拓扑结构.在这种情况下, GLT容易产生错误的关联建模, 将遮挡物的纹理误判为人脸特征, 从而导致重建后的图像在遮挡边缘出现伪影或结构扭曲.

2)在人脸大角度侧偏的情况下, 面部特征呈现高度的非对称性与自遮挡现象, 导致单侧五官的几何先验失效.由于训练数据集上正脸样本占据主导, 网络在处理此类大偏角图像时, 对空间几何结构的感知能力受限, 难以准确恢复被压缩或遮挡的局部语义细节, 导致重建结果在面部轮廓与比例关系上出现一定的客观失实.

3)在微弱光照或极低对比度的成像环境下, 人脸图像的原始频谱信息极度暗淡, 高频纹理几乎完全掩埋于环境噪声中.尽管WFD致力于保留频谱信息, 但在极低信噪比下, 有效的人脸语义特征面临严重磨损, 导致FIT难以从微弱信号中解耦真实的五官细节, 最终重建图像往往呈现出过平滑的视觉特征, 缺乏必要的锐度与身份辨识度.

综上所述, 今后将探索引入更具泛化性的几何结构先验与生成式对抗机制, 增强网络在处理语义严重缺失及极端环境干扰时的补偿能力.

4 结束语

针对现有人脸超分辨率方法在计算效率与重建质量之间难以平衡的问题, 本文提出基于频域交互与密集融合的人脸超分辨率重建网络(FIDFN).首先通过小波频域下采样保留频谱信息, 并利用全局-局部Transformer模块协同捕捉人脸的局部纹理与全局结构.在此基础上, 通过频域交互Transformer模块引入高频先验, 引导语义恢复, 并结合邻域尺度密集融合机制实现多尺度特征聚合, 最终生成超分辨率处理后的人脸图像.实验表明, FIDFN可在较低参数量配置下实现感知质量与像素保真度的良好平衡, 在CelebA、Helen数据集上表现良好, 可有效重建人脸面部的关键五官特征与纹理细节.今后将进一步探索引入更强的结构先验, 应对极端遮挡等复杂场景, 并结合身份ID一致性约束, 增强对特定人物特征的保持能力, 同时进一步研究视频人脸超分辨率重建等拓展任务.

本文责任编委 兰旭光

Recommended by Associate Editor LAN Xuguang

参考文献
[1] 国家数据局. 数字中国发展报告(2024年)[EB/OL]. [2025-12-19]. http://www.ndrc.gov.cn.
(National Data Bureau. Digital China Development Report[EB/OL]. [2025-12-19]. http://www.ndrc.gov.cn [本文引用:1]
[2] DONG C, CHEN C L, HE K M, et al. Image Super-Resolution Using Deep Convolutional Networks. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 38(2): 295-307. [本文引用:1]
[3] DONG C, CHEN C L, TANG X O. Accelerating the Super-Resolution Convolutional Neural Network // Proc of the 14th European Conference on Computer Vision. Berlin, Germany: Springer, 2016: 391-407. [本文引用:1]
[4] SHI W Z, CABALLERO J, HUSZÁR F, et al. Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network // Proc of the IEEE Conference on Computer Vision and Pattern Recognition. Washington, USA: IEEE, 2016: 1874-1883. [本文引用:1]
[5] SIMONYAN K, ZISSERMAN A. Very Deep Convolutional Networks for Large-Scale Image Recognition[C/OL]. [2025-12-19]. https://arxiv.org/pdf/1409.1556. [本文引用:1]
[6] LIM B, SON S, KIM H, et al. Enhanced Deep Residual Networks for Single Image Super-Resolution // Proc of the IEEE Conference on Computer Vision and Pattern Recognition Workshops. Washington, USA: IEEE, 2017: 1132-1140. [本文引用:1]
[7] KIM J, LEE J K, LEE K M. Deeply-Recursive Convolutional Network for Image Super-Resolution // Proc of the IEEE Conference on Computer Vision and Pattern Recognition. Washington, USA: IEEE, 2016: 1637-1645. [本文引用:1]
[8] TAI Y, YANG J, LIU X M. Image Super-Resolution via Deep Recursive Residual Network // Proc of the IEEE Conference on Computer Vision and Pattern Recognition. Washington, USA: IEEE, 2017: 2790-2798. [本文引用:1]
[9] LAI W S, HUANG J B, AHUJA N, et al. Deep Laplacian Pyramid Networks for Fast and Accurate Super-Resolution // Proc of the IEEE Conference on Computer Vision and Pattern Recognition. Washington, USA: IEEE, 2017: 5835-5843. [本文引用:1]
[10] TONG T, LI G, LIU X J, et al. Image Super-Resolution Using Dense Skip Connections // Proc of the IEEE International Confe-rence on Computer Vision. Washington, USA: IEEE, 2017: 4809-4817. [本文引用:1]
[11] ZHANG Y L, TIAN Y P, KONG Y, et al. Residual Dense Network for Image Super-Resolution // Proc of the IEEE/CVF Confe-rence on Computer Vision and Pattern Recognition. Washington, USA: IEEE, 2018: 2472-2481. [本文引用:1]
[12] ZHANG Y L, LI K P, LI K, et al. Image Super-Resolution Using Very Deep Residual Channel Attention Networks // Proc of the 15th European Conference on Computer Vision. Berlin, Germany: Springer, 2018: 294-310. [本文引用:1]
[13] LI J C, FANG F M, MEI K F, et al. Multi-scale Residual Network for Image Super-Resolution // Proc of the 15th European Confe-rence on Computer Vision. Berlin, Germany: Springer, 2018: 527-542. [本文引用:1]
[14] VASWANI A, SHAZEER N, PARMAR N, et al. Attention Is All You Need[C/OL]. [2025-12-19]. https://arxiv.org/pdf/1706.03762. [本文引用:1]
[15] LIANG J Y, CAO J Z, SUN G L, et al. SwinIR: Image Restoration Using Swin Transformer // Proc of the IEEE/CVF Interna-tional Conference on Computer Vision Workshops. Washington, USA: IEEE, 2021: 1833-1844. [本文引用:1]
[16] CHEN X Y, WANG X T, ZHOU J T, et al. Activating More Pixels in Image Super-Resolution Transformer // Proc of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Washington, USA: IEEE, 2023: 22367-22377. [本文引用:1]
[17] GUO H, LI J M, DAI T, et al. MambaIR: A Simple Baseline for Image Restoration with State-Space Model // Proc of the 18th European Conference on Computer Vision. Berlin, Germany: Sprin-ger, 2024: 222-241. [本文引用:1]
[18] LIU Y, TIAN Y J, ZHAO Y Z, et al. VMamba: Visual State Space Model // Proc of the 38th International Conference on Neural Information Processing Systems. Cambridge, USA: MIT Press, 2024: 103031-103063. [本文引用:1]
[19] MA C, JIANG Z Y, RAO Y M, et al. Deep Face Super-Resolution with Iterative Collaboration between Attentive Recovery and Land mark Estimation // Proc of the IEEE/CVF Conference on Compu-ter Vision and Pattern Recognition. Washington, USA: IEEE, 2020: 5568-5577. [本文引用:2]
[20] WANG C Y, JIANG J J, ZHONG Z W, et al. Spatial-Frequency Mutual Learning for Face Super-Resolution // Proc of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Washington, USA: IEEE, 2023: 22356-22366. [本文引用:2]
[21] LI W J, GUO H, LIU X N, et al. Efficient Face Super-Resolution via Wavelet-Based Feature Enhancement Network // Proc of the 32nd ACM International Conference on Multimedia. New York, USA: ACM, 2024: 4515-4523. [本文引用:3]
[22] SHI C T, LI M J, AN Z Y. Face Super-Resolution via Iterative Collaboration between Multi-attention Mechanism and Land mark Estimation. Complex & Intelligent Systems, 2025, 11(1). DOI: 10.1007/s40747-024-01673-z. [本文引用:2]
[23] WANG J K, GONG J, ZHANG L, et al. OSDface: One-Step Di-ffusion Model for Face Restoration // Proc of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Washington, USA: IEEE, 2025: 12626-12636. [本文引用:1]
[24] VARANKA T, TOIVONEN T, TRIPATHY S, et al. PFStorer: Personalized Face Restoration and Super-Resolution // Proc of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Washington, USA: IEEE, 2024: 2372-2381. [本文引用:1]
[25] LIU S Y, DUAN Z P, OUYANG J, et al. FaceMe: Robust Blind Face Restoration with Personal Identification. Proceedings of the AAAI Conference on Artificial Intelligence, 2025, 39(5): 5567-5575. [本文引用:2]
[26] LIU Z W, LUO P, WANG X G, et al. Deep Learning Face Attri-butes in the Wild // Proc of the IEEE International Conference on Computer Vision. Washington, USA: IEEE, 2015: 3730-3738. [本文引用:1]
[27] LE V, BRANDT J, LIN Z, et al. Interactive Facial Feature Loca-lization // Proc of the 12th European Conference on Computer Vision. Berlin, Germany: Springer, 2012: 679-692. [本文引用:1]
[28] HU J W, MATHUR L, LIANG P P, et al. OpenFace 3. 0: A Lightweight Multitask System for Comprehensive Facial Behavior Analysis[C/OL]. [2025-12-19]. https://arxiv.org/pdf/2506.02891. [本文引用:1]