在伪造图像的检测场景中, 内容特征和伪影特征往往存在高度耦合, 导致分类器难以区分由伪造过程引入的细微痕迹^[11].尽管现有的解耦方法旨在分离这两类特征, 但受限于伪造痕迹通常较微弱且分布于局部, 直接解耦往往难以彻底剥离这些细微线索^[23], 导致解耦后特征间仍存在部分耦合残留, 即分离后的内容特征中隐含伪造痕迹或伪造特征中掺杂内容信息.针对这一问题, 本文设计多级特征解耦模块(MSFD), 并设计相应的损失约束.MSFD通过渐进式的解耦操作, 有效降低伪造特征和内容特征的互信息, 使两类特征在表征空间中更独立.在增强对伪影特征的识别能力的同时, 提升检测的鲁棒性与泛化性.

2.1.1 特征解耦层

给定一对图像(I₀, I₁), 其中, I₀表示真实图像, I₁表示伪造图像.内容编码器E_c和伪影编码器E_a分别提取图像对的内容特征和伪影特征, 这两个图像编码器均采用预训练的主干网络作为基础架构, 结构相同但参数不共享.其功能主要通过损失函数约束得以实现:在训练过程中, 内容编码器在损失函数的引导下侧重提取与图像内容相关的特征, 而伪影编码器被约束专注于捕获与伪造痕迹相关的判别信息.二者的特征解耦是在后续设计的多种损失函数的协同作用下逐步引导形成的.将这两个编码器应用于每对图像, 可获得相应的伪影特征和内容特征:

a_m=E_a(I_m), c_m=E_c(I_m),

其中, m∈ {0, 1}表示图像索引, 0表示真实, 1表示伪造.此外, a₀、a₁表示每对输入图像对应的伪影特征, c₀、c₁表示每对输入图像对应的内容特征.但是这种单次解耦的方法使伪影特征和内容特征之间仍有部分耦合.

为了让二者解耦更彻底, 在第一级特征提取后引入二级解耦模块.该模块包含4个结构相同但参数不共享的特征编码器E_aa、E_ac、E_ca、E_cc.与前一级编码器不同的是, 二级解耦编码器由多层1× 1卷积和激活函数实现.为了公式表述简洁, 将处理伪影特征a_m的特征编码器组称为E_α , α ∈ {aa, ac}, 将处理内容特征c_m的特征编码器组称为E_β , β ∈ {cc, ca}.进一步的解耦过程如下:

α _m=E_α (a_m), β _m=E_β (c_m).

解耦后的特征aa_m表示伪影-伪影特征, ac_m表示伪影-内容特征, cc_m表示内容-内容特征, ca_m表示内容-伪影特征.最终经过多次解耦得到纯净的伪影特征和内容特征为:

a'_m=aa_m⊕ ca_m, c'_m=cc_m⊕ ac_m,

其中⊕ 表示通道拼接操作.这种双重解耦设计可显著降低特征间的互信息量.

2.1.2 伪造抑制机制

为了使解耦后的特征只包含相应信息, 本文提出伪造抑制损失:

L_sup=L_ce(H(ψ ), 0),

利用内容特征训练辅助分类器, 对伪造样本施加“ 真实标签” 的监督, 迫使其丧失伪造检测能力, 其中, L_ce(· , · )表示交叉熵损失, H(· )由分类头通过多个MLP(Multilayer Perceptron)层实现, ψ ∈ {c_m, cc_m, ac_m}, 标签0表示真实.L_sup通过最小化内容特征中的伪影噪声, 抑制伪影在内容空间的渗入, 提升特征纯度.

2.1.3 完整性约束

为了确保特征解耦过程中完整保留关键信息, 本文设计双层重建机制, 将重建损失L_rec划分为特征级重建损失 Lrecfea与图像级重建损失 Lrecima, 分别在特征空间与图像空间对解耦表示施加约束.

为了进一步优化特征解耦过程, 提出特征级重建损失:

Lrecfea= Ra(aam, acm)-am22+ Rc(cam, ccm)-cm22

确保经过解耦后提取的特征对能重构回原始特征, 从而验证信息保留的完整性, 其中, R_a(· , · )、R_c(· , · )表示特征重建模块, a_m、c_m表示原始特征, aa_m、ac_m表示伪影特征解耦得到的两个特征分量.ca_m和cc_m为内容特征解耦得到的两个特征分量.

Lrecfea通过最小化重建特征与原始特征之间的差异, 约束解耦过程的完整性.为了防止解耦过程导致信息丢失, 稳定分离特征, 通过重建, 期望R_a(aa_m, ac_m)能逼近原始的a_m, R_c(ca_m, cc_m)能逼近c_m, 从而约束解耦后特征的信息完整性.

为了保证重构图像和原始图像在像素级上的一致性, 重组解耦后的特征, 再重构成原始输入图像, 该约束使特征保留足够的视觉可重构信息, 增强特征的语义一致性.相应图像重建损失如下:

Lrecima= D(a'1, c'0)-I01+ D(a'1, c'1)-I11+ D(a'0, c'0)-I01D(a'0, c'1)-I11

其中D(· , · )表示图像重建模块.

这种双层重建机制由特征级重建和图像级重建组成, 为特征解耦引入多层次、多视角的正则化约束.特征级重建通过最小化解耦前后特征的重构误差, 避免在解耦过程中丢失关键判别信息.图像级重建则基于重建图像与原始输入的像素一致性, 保持解耦特征与视觉语义的紧密对应, 抑制冗余特征或无关特征的学习.二者在正则化作用上相互独立又互为补充:特征级重建侧重微观伪造痕迹的保留, 图像级重建保障宏观语义的合理性.该双重约束机制不仅显著提升方法在未知伪造场景中的泛化性, 还增强特征表示的可解释性.

已有研究表明^{[7, 16]}, 频域分析能揭示仅依赖空间域特征难以捕捉的细微频谱异常, 且此类频域伪影在面对图像压缩等后处理干扰时稳定性更高.为此, 设计轻量化的频谱门控模块(SGB), 增强空间域表示的判别能力.

首先, 对下采样后的图像施加快速傅里叶变换(Fast Fourier Transform, FFT), 获得频谱表示f_m.为了在保持模块轻量化的同时有效建模不同频带之间的依赖关系, 对每个频率通道引入可学习的权重进行逐通道滤波, 得到滤波后的频谱表示:

f̂m=f_m☉W,

其中, ☉表示Hadamard乘积, W表示可学习的通道权重.再通过IFFT将滤波后的频谱表示 f̂m投影回空间域, 通过上采样生成可与空间域特征融合的频域增强特征f_fre.

空频融合模块(SFF)旨在有效整合空间域特征与频域特征, 增强伪造痕迹的感知能力.首先通过1× 1卷积层将频域特征通道维度对齐至空间域特征空间.然后, 分别将解耦后的空间域伪影特征a'_m嵌入为Q, 频域特征f_fre嵌入为K和V.通过缩放点积注意力机制, 计算跨模态关联权重, 并按缩放点积计算注意力融合特征:

$ \boldsymbol{f}_{\text {attn }}=\text { Attention }(\boldsymbol{Q}, \boldsymbol{K}, \boldsymbol{V})=\operatorname{softmax}\left(\frac{\boldsymbol{Q} \boldsymbol{K}^{\mathrm{T}}}{\sqrt{d}}\right) \boldsymbol{V} \text {, }$

其中, d表示通道维度的标度因子, 用于稳定梯度.将注意力融合特征f_attn与原始空间域伪影特征a'_m进行残差连接, 保护原始空间域伪影特征, 避免融合过程导致有效判别信息的丢失.最后, 通过 1× 1 卷积进行最终的通道调整, 得到融合后的伪影特征:

f_fused=conv_{1× 1}(a'_m+f_attn).

SFF能以较小的计算代价融合频域层面的伪影信息与空间域的判别特征, 在多模态信息下更精准地捕获与判别伪造痕迹.

常见训练集通常包含多种伪造痕迹, 如标记不匹配、融合边界、色彩失配、频域不一致等, 这些痕迹在视觉上差异显著, 部分表现为细微的高频噪声或纹理断裂, 另一些则体现为宏观的结构错位或色彩偏移.不同伪造方法通常具有独特的视觉特征, 同种方法生成的伪造样本视觉一致性较高, 而不同方法之间差异明显.若训练过程过度依赖某类显著痕迹, 容易对特定伪造方法产生偏置, 影响对其它伪造类型的检测, 限制泛化能力.为了提升检测器的泛化能力, 需在保持图像真实感的前提下, 强化具有代表性的判别性细节, 同时削弱方法间的表征差异.换言之, 应保留图像的整体结构与自然纹理, 避免引入明显的伪造痕迹, 同时适度引入有助于识别的局部特征(如局部频域信息、融合边界或微观纹理), 用于增强判别信号.这样构造的训练样本既保持真实感, 又包含多样的伪影特征, 从而显著提升模型在多样伪造类型下的鲁棒性与泛化性.

现有的研究^{[8, 16]}表明, 伪造样本与真实样本的差异主要集中在高频区域, 篡改痕迹往往存在于高频成分中.受Yan等^[24]启发, 本文尝试在频域融合真伪图像以构造训练样本.然而, 实验分析发现, 直接对频域部分进行拼接会导致融合后的图像产生明显的振铃效应, 使模型学习图像波纹特征, 进而影响泛化检测能力.针对这一局限性, 本文设计余弦过渡融合增强模块(CTFA), 结构如图2所示.与直接拼接不同, CTFA设计一个平滑过渡带, 实现真实图像I_r与伪造图像I_f在频谱域的平滑融合, 在保留伪造信息的同时, 有效抑制振铃干扰, 生成质量更高的训练样本.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 CTFA结构图Fig.2 Architecture of CTFA

给定样本I mi, 对每个通道独立执行FFT, 获得对应的频域表示:

$ \begin{aligned}\boldsymbol{F}_{m}^{i}(u, v)= & F F T\left\{\boldsymbol{I}_{m}^{i}(x, y)\right\}= \\& \sum_{x=0}^{H-1} \sum_{y=0}^{W-1} \boldsymbol{I}_{m}^{i}(x, y) \exp \left(-2 \pi \mathrm{i}\left(\frac{u x}{H}+\frac{v y}{W}\right)\right), \end{aligned}$

其中, (u, v)表示频域坐标, (x, y)表示空间域坐标, H、W表示图像高度和宽度, m∈ {r, f}, r表示真实样本, f表示伪造样本, i表示样本索引.再在空间域构造余弦过渡掩码M(x, y).令图像中心为$ \left(\frac{W}{2}, \frac{H}{2}\right)$, 对任一点(x, y), 计算到中心的欧氏距离:

d(x, y)= (x-W2)2+(y-H2)2.

给定掩码半径r和过渡带宽σ , 掩码M按内区、过渡区与外区三段定义如下:

M= 1, d< r-σ2121+cosπd-(r-σ2)σ, r-σ2≤d≤r+σ20, d> r+σ2

其中, 内区$ \left(d< r-\frac{\sigma}{2}\right)$保留真实图像的频谱分量, 外区\left(d)r+\frac{\sigma}{2}\right)保留伪造图像的频谱分量, 过渡带$ \left(r-\frac{\sigma}{2} \leqslant d \leqslant r+\frac{\sigma}{2}\right)$通过余弦函数实现掩码值从1至0的区间内平滑衰减.该余弦过渡确保掩码在空间域中具有连续且可控的衰减特性, 从而在频域融合时有效抑制振铃效应.

在频域融合阶段, 先给定一个伪造样本I fi, 找到其对应的真实样本I ri, 然后对这两幅图像进行FFT, 得到伪造样本的频域表示 Ffi和真实样本的频域表示 Fri.将空间域掩码扩展为与频谱同尺寸的矩阵M(u, v), 并按点对点加权融合真实样本与伪造样本的频谱表示:

$ \begin{aligned}\boldsymbol{F}_{f^{\prime}}^{i}(u, v)= & \boldsymbol{F}_{r}^{i}(u, v) \odot \boldsymbol{M}(u, v)+ \\& \boldsymbol{F}_{f}^{i}(u, v) \odot[\mathbf{1}-\boldsymbol{M}(u, v)] .\end{aligned}$

通过在低频区域保留真实频谱而在高频区域引入伪造频谱, 可在保持整体结构一致性的同时增强局部伪影特征的表达能力, 使生成样本既真实又包含判别所需的微观痕迹.

最后, 对融合后的频谱执行IFFT, 重建时域图像:

$ \begin{aligned}\boldsymbol{I}_{f^{\prime}}^{i}(x, y)= & \operatorname{IFFT}\left\{\boldsymbol{F}_{f^{\prime}}^{i}(u, v)\right\}= \\& \frac{1}{H W} \sum_{u=0}^{H-1} \sum_{v=0}^{W-1} \boldsymbol{F}_{f^{\prime}}^{i}(u, v) \exp \left(2 \pi \mathrm{i}\left(\frac{u x}{H}+\frac{v y}{W}\right)\right) .\end{aligned}$

重建得到的图像在空间域中既保留真实图像的全局纹理, 又在细节尺度上嵌入伪影特征, 从而构成难以区分的高质量合成样本.

CTFA优点如下:一方面, 余弦过渡掩码提供平滑的频域衔接, 显著降低直接拼接带来的振铃现象; 另一方面, 在频域进行的加权融合能更细粒度地控制低频信息与高频信息的来源, 有利于生成既自然又含伪造痕迹的训练样本, 提升模型泛化性与对微弱伪造痕迹的敏感度.

训练过程的总损失函数如下所示:

L_total=L_cls+λ ₁L_sup+λ ₂ Lrecfea+λ ₃ Lrecima,

其中, L_cls表示二元交叉熵损失, λ ₁、λ ₂、λ ₃表示用于平衡总损失的超参数.

本文在FaceForensics++(FF++)^[3]数据集上进行训练.该数据集包含1 000个原始视频(即真实样本)和由4种操作方法(Deepfakes、Face2Face、FaceSwap、Neural Textures)伪造的4 000个视频.此外, FF++数据集对于这些视频提供3种压缩质量级别:原始版、高质量(HQ)版和低质量(LQ)版.本文默认采用FF++数据集的HQ版本, 并遵循官方协议, 将FF++数据集上所有样本按视频级别分为训练集、验证集和测试集.

为了评估MFD-FD的泛化能力, 分别在Cele- bDF-v1(CDFv1)^[25]、Celeb-DF-v2(CDFv2)^[25]、Face-Shifter(Fsh)^[26]、DeepFake Detection^[27]、Deepfake De- tection Challenge Preview(DFDC-p)^[28]、Deepfake De- tection Challenge(DFDC)^[29]这6个大规模基准数据库上进行实验.Li等^[25]提出用于伪造检测的CDFv1数据集.不久之后, 在CDFv1数据集上添加更多视频, 产生CDFv2数据集.CDFv2数据集包含890个真实视频和5 639个合成视频, 是伪造检测领域中最受欢迎的跨域数据集之一.Fsh数据集是利用双阶段生成对抗网络方法创建的伪造数据集, 更逼真且更难于检测真伪.DFD数据集是一个基于Deep- fake的数据集, 包含363个真实视频和3 068个虚假视频.DFDCP、DFDC数据集来自Deepfake Detec- tion Challenge, 包含大量受干扰的视频, 如压缩、下采样和噪声.

与大多数现有伪造检测方法一致, 本文采用接收者操作特征曲线下面积(Area under the Receiver Operating Characteristic Curve, AUC)作为检测性能的评估指标.在人脸伪造检测中, AUC是一种客观且使用最广泛的评估指标.除非另有说明, 实验中的评估结果默认为视频级AUC, 通过平均视频各帧的分类得分计算得出.

本文采用改进的Xception^[30]作为主干网络, 并以ImageNet 预训练参数初始化.数据预处理中使用DLIB^[31]进行面部检测、裁剪和对齐, 图像尺寸统一调整为256× 256, 用于训练和测试.训练阶段采用学习率为0.000 2的Adam(Adaptive Moment Estima-tion)优化器, 批量大小设为16, 每个视频采样32帧进行训练和测试.实验中设定λ ₁=0.2, λ ₂=0.05, λ ₃=0.1.

MFD-FD基于PyTorch框架, 并在NVIDIA Ge-Force RTX 4090上训练.

3.2.1 域内评估

为了评估MFD-FD在域内的检测性能, 与如下8种主流深度伪造检测方法进行对比实验.对比方法包括:文献[4]方法、F³-Net(Frequency in Face Forgery Network)^[8]、Xception^[30]、ADDNet^[32]、RECCE(Reconstruction-Classification Learning)^[33]、TALL++^[34]、AIM-Bone^[35]、IDCNet^[36].在FF++、CDF- v2数据集上分别进行训练与评估.

各方法在2个数据集上的指标值对比如表1所示, 表中黑体数字表示最优值, 斜体数字表示次优值.

表1

Table 1

表1(Table 1)

表1 各方法在2个数据集上的域内评估结果 Table 1 In-domain evaluation results of each method on 2 datasets 方法 FF++ CDFv2 平均值 Xception 0.9630 0.9944 0.9787 F3-Net 0.9810 0.9893 0.9852 ADDNet 0.9774 0.9516 0.9645 文献[4]方法 0.9929 0.9792 0.9861 RECCE 0.9932 0.9859 0.9896 TALL++ 0.9992 0.9998 0.9995 AIM-Bone 0.9968 - - IDCNet 0.9979 - - MFD-FD 0.9999 0.9993 0.9996

表1 各方法在2个数据集上的域内评估结果 Table 1 In-domain evaluation results of each method on 2 datasets

由表1可见, MFD-FD在2个数据集上的平均AUC值达到0.999 6, 为最优, 其中在FF++数据集上达到0.999 9, 这表明在数据分布一致时, MFD-FD能有效挖掘和识别伪造痕迹.

3.2.2 跨域评估

为了验证MFD-FD在跨域上的泛化性, 在具有代表性的6个数据集上进行全面实验.具体地, 在FF++数据集上进行训练, 并分别在CDFv1、CDFv2、DFD、DFDC、DFDCP、Fsh测试集上进行评估.此外, 选择经典的和近期较先进的方法进行对比.对比方法如下:F³-Net^[8]、文献[11]方法、Face X-ray^[14]、SPSL(Spatial-Phase Shallow Learning)^[16]、UCF^[18]、Xception^[30]、RECCE^[33]、IDCNet^[36]、FFD(Facial For- gery Detection)^[37]、文献[38]方法、文献[39]方法、CORE(Consistent Representation Learning)^[40]、Noise- DF^[41]、文献[42]方法、FoCus(Forgery Cues Disco- very)^[43].

各方法的指标值对比如表2所示, 表中黑体数字表示最优值, 斜体数字表示次优值.

表2

Table 2

表2(Table 2)

表2 各方法在6个测试集上的跨域评估结果 Table 2 Cross-domain evaluation results of each method on 6 test sets 方法 CDFv1 CDFv2 DFD DFDC DFDCP Fsh Xception 0.7794 0.7365 0.8163 0.7077 0.7374 0.6249 Face X-ray 0.7093 0.6786 0.7655 0.6326 0.6942 0.6553 FFD 0.7840 0.7435 0.8024 0.7029 0.7426 0.6056 F3-Net 0.7769 0.7352 0.7975 0.7021 0.7354 0.5914 SPSL 0.8150 0.7650 0.8122 0.7040 0.7408 0.6437 文献[38]方法 0.7926 0.7552 0.8120 0.6995 0.7408 0.6014 文献[39]方法 - 0.7065 - 0.6331 - - RECCE 0.7677 0.7319 0.8119 0.7133 0.7419 0.6095 CORE 0.7798 0.7428 0.8018 0.7049 0.7341 0.6032 文献[11]方法 - 0.7060 0.8290 0.7000 - - NoiseDF 0.8045 0.7589 - 0.6389 - - UCF 0.7793 0.7527 0.8074 0.7191 0.7594 0.6462 文献[42]方法 - 0.7276 - 0.6957 - - FoCus - 0.7613 0.8367 0.6842 0.7662 - IDCNet 0.8144 0.8089 0.8471 0.7244 0.7409 - MFD-FD 0.8298 0.8091 0.8577 0.7198 0.7570 0.6670

表2 各方法在6个测试集上的跨域评估结果 Table 2 Cross-domain evaluation results of each method on 6 test sets

由表2可见, MFD-FD在多数测试集上AUC值显著优于现有方法, 在CDFv1、CDFv2、DFD、Fsh测试集上分别取得0.829 8、0.809 1、0.857 7 和0.667 0的AUC值.在更具挑战性DFDC测试集上, 也取得具有竞争力的结果.实验表明MFD-FD在跨域评估上具有明显优势, 验证其在提升伪造图像检测泛化能力方面的有效性.

3.2.3 跨伪造方法评估

在实际应用中, 面部伪造的生成方式往往未知且多样, 因而要求检测模型具备良好的方法间泛化能力.为此, 在FF++ 数据集上使用单一伪造方法进行训练, 然后在4种主流伪造类型(Deepfakes、Face2Face、FaceSwap、Neural Textures)上进行交叉测试.对比方法如下:UCF^[18]、文献[42]方法、M2TR(Multi-modal Multi-scale Transformer)^[44]、CFM(Cri- tical Forgery Mining)^[45].

各方法在跨伪造方法测试中的AUC值对比如表3所示, 表中黑体数字表示最优值, 斜体数字表示次优值.由表可见, MFD-FD在使用Face2Face和Neural Textures单一训练时取得最高的平均AUC值, 在使用Deepfakes与FaceSwap单一训练时也达到次优.在使用Deepfakes和FaceSwap单一训练时未能取得最高平均AUC值的原因可能与伪造类型本质差异有关, Face2Face与Neural Textures使用面部表情编辑方法, 而Deepfakes与FaceSwap使用人脸身份互换技术, 两类操作在伪造痕迹和特性上存在差别.总之, 实验表明MFD-FD在检测未见过的伪造方法方面具有良好的泛化能力.

表3

Table 3

表3(Table 3)

表3 各方法在跨伪造方法上的评估结果 Table 3 Evaluation results of different methods on cross-manipulation methods 伪造类型 方法 Deepfakes Face2Face FaceSwap Neural Textures 平均值 M2TR 0.9957 0.6707 0.2682 0.7533 0.6720 UCF 0.9972 0.6819 0.4792 0.6899 0.7121 Deepfakes 文献[42]方法 0.9959 0.6585 0.3166 0.7735 0.6861 CFM 0.9993 0.7756 0.5494 0.7504 0.7687 MFD-FD 0.9985 0.6976 0.5719 0.7518 0.7550 M2TR 0.7433 0.9925 0.5464 0.5867 0.7172 UCF 0.7754 0.9904 0.5876 0.6102 0.7409 Face2Face 文献[42]方法 0.8326 0.9946 0.6513 0.6938 0.7931 CFM 0.8185 0.9923 0.6012 0.7080 0.7800 MFD-FD 0.8793 0.9938 0.6090 0.7202 0.8006 M2TR 0.5616 0.6613 0.9960 0.5056 0.6811 UCF 0.6818 0.6582 0.9937 0.5330 0.7167 FaceSwap 文献[42]方法 0.5655 0.7024 0.9953 0.5076 0.6927 CFM 0.7291 0.7139 0.9985 0.5169 0.7369 MFD-FD 0.6839 0.6857 0.9976 0.5419 0.7273 M2TR 0.9042 0.6884 0.4478 0.9749 0.7539 UCF 0.7930 0.7064 0.5218 0.9701 0.7478 Neural Textures 文献[42]方法 0.9259 0.6938 0.3400 0.9760 0.7411 CFM 0.8831 0.7678 0.5256 0.9924 0.7922 MFD-FD 0.8333 0.7718 0.5812 0.9975 0.7960

表3 各方法在跨伪造方法上的评估结果 Table 3 Evaluation results of different methods on cross-manipulation methods

3.2.4 多级特征解耦模块性能评估

为了对比多级特征解耦模块(MSFD)与文献[11]方法、UCF^[18]、Xception^[30]在跨域场景中的性能, 在FF++数据集上训练方法, 并分别在 CDFv1、DFD、DFDC测试集上进行评估.

各方法的对比结果如表4所示, 表中黑体数字表示最优值, 斜体数字表示次优值.

表4

Table 4

表4(Table 4)

表4 各特征解耦方法的性能对比 Table 4 Performance comparison of different feature disentanglement methods 方法 AUC 参数量/M CDFv1 DFD DFDC 平均值 Xception 0.7794 0.8163 0.7077 0.7678 - 文献[11]方法 - 0.8290 0.7000 - - UCF 0.7793 0.8074 0.7191 0.7686 - MSFD* 0.7990 0.8401 0.7078 0.7823 70.90 MSFD 0.7994 0.8460 0.7136 0.7863 66.83

表4 各特征解耦方法的性能对比 Table 4 Performance comparison of different feature disentanglement methods

由表4可见, MSFD在DFD测试集上的AUC值优于Xception和UCF.UCF在DFDC测试集上的表现最优, AUC值达到0.719 1, 但在CDFv1、DFD测试集上表现相对较弱.相比之下, MSFD在所有测试集上的平均AUC值均高于文献[11]方法和UCF.相比文献[11]方法, MSFD在DFD测试集上提升约1.7%, 相比UCF, MSFD平均AUC值提升约1.8%.上述结果验证MSFD在提升跨域泛化能力方面的有效性.

此外, 为了探究MSFD的性能潜力与瓶颈, 在MSFD基础上进一步添加第三解耦层.该层结构与二级编码器保持一致, 并沿用相同的特征约束机制, 在表4中记为MSFD^* .由表可见, 三级解耦与二级解耦的效果相近, 但由于参数量的增加, 模型复杂度有所提升, 这也进一步证实在当前特征表示与损失约束框架下, 解耦性能在二级之后趋于饱和.

最后, 为了更直观地展示MSFD在CDFv1数据集上的判别能力与泛化表现, 对网络最后一层输出的高维特征向量进行降维, 并采用t-SNE(t-Distri-buted Stochastic Neighbor Embedding)进行可视化, 结果如图3所示, 图中红点表示伪造样本, 绿点表示真实样本.由图可观察到, 相比Xception, MSFD在特征空间中的类内聚合性更强, 类间区分更明显, 同时错误簇中的异常点也更少.这进一步表明所学特征不仅具备良好的区分能力, 还展现出较强的跨数据集泛化性.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 Xception和MSFD的特征空间可视化结果Fig.3 Visualization results of feature space for Xception and MSFD

3.3.1 余弦过渡融合增强模块的有效性

为了验证余弦过渡融合增强模块(CTFA)的有效性, 并系统评估过渡带宽σ 对检测性能的影响, 以Xception为基线网络进行对照实验, 将融合半径r固定在取值区间(10, 20], 并选取多个不同的σ 取值区间进行对比.所有方法均在FF++数据集上进行训练, 再分别在FF++数据集(域内)与CDFv1数据集(跨域)上评估检测性能.

σ 对MFD-FD性能的影响如表5所示, 表中黑体数字表示最优值.

表5

Table 5

表5(Table 5)

表5 σ 对MFD-FD性能的影响 Table 5 Effect of σ on MFD-FD performance 方法 FF++ CDFv1 平均值 Xception 0.9637 0.7794 0.8716 σ =0 0.9779 0.7858 0.8819 σ ∈ (0, 10] 0.9792 0.8089 0.8940 σ ∈ (10, 20] 0.9799 0.7905 0.8852

表5 σ 对MFD-FD性能的影响 Table 5 Effect of σ on MFD-FD performance

由表5可见, 当σ 取值区间为(0, 10]时, 平均AUC值最高, 为0.894 0.当σ 增至(10, 20]区间时, 平均AUC值下降0.88%.这一现象可解释为:较大的σ 导致掩码的平滑过渡区域较宽, 融合后图像保留较多的真实图像特征而伪造痕迹被弱化.相反, 当σ =0时, 平均AUC值下降1.21%, 这是因为σ =0即不存在平滑过渡带, 直接生成半径为r的硬掩码, 导致融合后的图像具有明显的振铃现象, 这种人工痕迹损害图像质量, 造成测试性能的下降.另外作为对照, 表5中还列出仅使用Xception训练后的指标, 对比可知CTFA的引入显著提升方法在不同测试场景中的性能.

为了直观展示融合后的视觉效果, 在r=15时, 设置σ =0, 5, 15, 对融合图像进行可视化, 结果如图4所示.由图可明显看到, σ 的引入明显减少图像的振铃现象.因此, 适度的平滑过渡有助于在保留伪造痕迹与避免产生视觉伪影之间取得平衡, 提升检测的鲁棒性.

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 σ 不同时融合图像的可视化结果Fig.4 Visualization results of fused images under different σ

3.3.2 不同模块的有效性

为了评估CTFA、MSFD和频谱门控模块(SGB)的有效性, 以FF++数据集作为训练集, 在Xception的基础上逐个加入, 观察其在CDF v1、CDFv2、DFD这3个跨域数据集上AUC指标的变化, 结果如表6所示.

表6

Table 6

表6(Table 6)

表6 不同模块的消融实验结果 Table 6 Ablation experiment results of different modules 方法 FF++ CDFv1 CDFv2 DFD 平均值 Xception 0.9637 0.7794 0.7365 0.8163 0.8240 Xception+CTFA 0.9792 0.8089 0.7582 0.8395 0.8464 Xception+CTFA+MSFD 0.9798 0.8290 0.7918 0.8468 0.8618 Xception+CTFA+MSFD+SGB 0.9807 0.8298 0.8091 0.8577 0.8693

表6 不同模块的消融实验结果 Table 6 Ablation experiment results of different modules

由表6可见, CTFA、MSFD、SGB均能有效提升方法的跨域泛化能力.在跨域测试中, CTFA通过数据增强在CDFv1、CDFv2、DFD测试集上分别使AUC值提升2.95%、2.17%与2.32%, 显著增强方法特征表示的判别能力.在此基础上, MSFD通过多级解耦, 在CDFv1、CDFv2测试集上进一步实现2.01%与3.36%的AUC值提升, 该模块有效降低内容特征的干扰, 使方法能更准确地关注伪造特征.最后, SGB通过向空间域补充细微的频域信息, 进一步在CDFv2、DFD测试集上分别实现1.73%与1.09%的性能增加, 这验证频域线索对空间特征的有效互补.从方法跨域的平均AUC值来看, 3个模块的依次引入使AUC值从基线的77.74%逐步升至83.22%, 表明各模块在协同增强方法整体性能与泛化能力上的有效性.

3.3.3 伪造抑制损失和重建损失的有效性

为了评估伪造抑制损失与重建损失对泛化能力的贡献, 在FF++数据集上训练模型, 并对比在域内(FF++数据集)与跨域(CDFv1数据集)上的AUC值, 结果如表7所示.

表7

Table 7

表7(Table 7)

表7 伪造抑制损失和重建损失的消融实验结果 Table 7 Ablation experiment results of forgery suppression loss and reconstruction loss 方法 FF++ CDFv1 平均值 w/o伪造抑制损失 0.9748 0.8125 0.8937 w/o重建损失 0.9737 0.7913 0.8825 w/o伪造抑制损失+ 重建损失 0.9717 0.7842 0.8780 MFD-FD 0.9807 0.8298 0.9053

表7 伪造抑制损失和重建损失的消融实验结果 Table 7 Ablation experiment results of forgery suppression loss and reconstruction loss

由表7可见, 去除伪造抑制损失, 平均AUC值下降1.16%, 在CDFv1数据集上下降1.73%.其原因在于缺失该约束会导致内容特征混入部分伪造信息, 使伪影特征与内容特征的解耦不足.去除重建损失, 平均AUC值下降2.28%, 在CDFv1数据集上下降更多, 达到3.85%, 这表明无重建约束时解耦过程中容易丧失特征完整性, 削弱对细粒度伪造痕迹的保持.若同时去除二者, 平均AUC值进一步降至87.80%, 说明两类损失在提升跨域泛化性方面具有互补且累积的正向作用.

为了直观验证MFD-FD的有效性, 在 FF++ 数据集上, 对Xception与MFD-FD分别应用Grad-CAM(Gradient-Weighted Class Activation Mapping)^[46]进行可视化, 结果如图5所示.由图可见, Xception常过度拟合局部小区域或关注与伪造无关的内容特征(如背景), 激活分布较分散.相比之下, MFD-FD注意力更集中, 主要聚焦于人脸区域而非背景.这一差异源于本文提出的解耦框架, 该框架能有效消除内容特征的干扰, 引导检测器挖掘判别性的伪影特征.反之, 在仅依靠标签且无额外约束的情况下, 检测器难以定位判别性伪影, 容易产生内容偏差, 导致过拟合甚至误导优化方向.

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 Xception和MFD-FD类激活图对比Fig.5 Comparison of class activation maps between Xception and MFD-FD

本节评估MFD-FD的计算复杂度, 结果如表8所示, 表中分别列出方法在推理阶段的参数量、浮点运算数及帧率, 并与IDCNet^[36]、文献[38]方法、文献[47]方法、EFIMD-Net^[48]进行对比.

表8

Table 8

表8(Table 8)

表8 各方法的计算复杂度对比 Table 8 Computational complexity of different methods 方法 参数量/M 浮点运算量/G 帧率/帧/秒 文献[38]方法 53.23 13.81 78.49 文献[47]方法 61.87 21.39 - EFIMD-Net 69.43 101.33 - IDCNet 56.78 60.14 123.15 MFD-FD 69.73 53.68 74.42

表8 各方法的计算复杂度对比 Table 8 Computational complexity of different methods

由表8可见, 在效率方面, MFD-FD的参数量为69.73 M, 与对比方法规模相近.浮点运算量为53.68 G, 显著低于EFIMD-Net和IDCNet, 但74.42帧/秒的计算速度低于文献[38]方法和IDCNet.这主要源于MFD-FD为了提升判别能力而引入的多级特征解耦结构, 以及融合频域信息的检测机制, 这两项设计在增强特征表征与跨域泛化能力的同时, 也增加方法的计算负担.但是, 这种以适度计算开销换取检测性能显著提升的权衡是合理且必要的.在深度伪造检测任务中, 细微伪造痕迹的捕捉与高泛化性往往依赖于更丰富的特征表示和更复杂的模型结构.