本文提出结合深度伪造特征对比的人脸伪造检

测方法, 流程图如图1所示.本文方法的架构包括两个部分:

1)基于元学习的相似特征融合网络, 旨在学习不同伪造手段之间的相似性特征;

2)具体任务下的独特伪造特征挖掘, 旨在学习不同伪造技术的可区分特征.

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 本文方法流程图Fig.1 Flowchart of the proposed algorithm

本文方法旨在解决未知方法生成的伪造图像的检测任务, 这得益于元学习^{[21, 22, 23]}对跨任务的适应性.在机器学习中, 使用具体任务的大量数据训练模型, 当任务改变时, 模型需要重新训练.而不同于一般的机器学习, 元学习又称为学会学习, 可在已有经验上快速学习新的任务, 旨在任务层面而非数据层面进行学习.

基于元学习的方法分元训练和元测试这两个阶段处理少样本分类.在元训练阶段, 数据集D划分多个特定任务Γ _i~p(Γ )的子数据集, 其中, p(Γ )表示任务分布, 所有任务均遵循n-way k-shot问题(每个任务包含n类, 每类只有k个标记数据).一个分类任务Γ _i可表示为包含支持集和查询集的子数据集, 支持集用于训练模型, 查询集用于评估模型.在元测试阶段, 支持集是少量标记数据, 查询集是要测试的数据, 模型在新任务上进行测试.

值得注意的是, 本文元学习问题的构建区别于传统方法, 本文是学习不同伪造手法之间的相似性特征.具体来说, 本文设置N个源任务

T_s∈ {T₁, T₂, …, T_N}, N> 1

和目标任务T_t.每个源任务T_s={(x_n, y_n)}为由一种伪造手段生成的伪造图像和真实图像构成, x_n表示图像的特征向量, y_n表示对应的标签.N个源任务是N个不同伪造手法与对应真实图像的组合.在元训练阶段的一个批次中, 元学习监督N个源任务的学习情况.在元测试阶段, 经过训练的模型在未知伪造方法的目标任务T_t上先通过少量标记的具体任务图像的自适应微调后测试.

本文利用元学习学习不同伪造手段之间的共同特征, 以便学到的模型可快速适应目标任务.内部表示的构建可优化特征提取器, 获得满足鉴别真伪图像的模型.在充分训练后, 特征提取器可从大量的非目标任务中学到适用于鉴别伪造图像和真实图像的最佳初始化参数.

具体地, 在训练中将每个源任务中的样本分成支持集和查询集, 都是从源任务T_s中随机采样得到, 均包含伪造样本和真实样本.同时考虑一个由参数向量化的模型表示的函数:

F₁=f(θ ).

该模型被训练能适应大部分的目标任务, 当适应一个新任务时, 模型参数变为θ '_i.

更新参数θ 的整个过程分为内层循环阶段和外层循环阶段, 在内层循环中, 从源任务T_s中抽取一个任务T_i, 使用来自T_i的k个样本(支持集)和反馈损失值L_si训练模型.第i个源任务T_i在支持集上取得的分类损失如下:

L_si=- ∑n=0k[y_nlog₂(f_θ (x_n))+(1-y_n)log₂(f_θ (x_n))].(1)

同时梯度下降R步更新模型参数θ , 当前任务T_i取得的最优参数为:

θ '_i=θ -α ∇θL_si,

其中超参数α 表示内层循环学习率.

然后通过来自T_i的k个新样本(查询集)进行验证.根据式(1)得到在查询集上的反馈损失值L_qi, 表示第i个源任务T_i在查询集上取得的交叉熵损失.

实际上, 本文的目标是找到对任务变化敏感的模型参数, 使参数的微小变化在任务的损失函数上产生很大的改进.因为softmax损失只关注找到分离不同类别的决策边界, 而不能提取伪造图像的相似特征并聚合, 而度量学习往往能不断压缩相同标签特征空间的伪造人脸.所以对相同标签的伪造图像中引入中心损失, 是为了学到对源任务中所有任务普遍适用的相似性特征, 这一过程称为不同伪造手段之间的相似性特征融合, 具体过程如图2所示.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 不同伪造图像的特征向量相似特征融合过程Fig.2 Process of similar features fusion for different forged image vectors

度量学习的目的是最小化不同伪造手法生成的伪造图像到中心点的距离, 在内层循环的源任务中, 模型f(θ '_i)提取第i个源任务伪造图像的卷积层特征向量记为D_i, 同时设置C为伪造人脸的中心点, 不同伪造图像的特征都会不断靠近中心点, 当一个批次的内层循环结束时更新参数C, 计算当前源任务T_i的平均中心损失:

l_ci= 1k∑n=1kDi-C2.

基于度量学习的融合模块通过设置伪造人脸中心点以监督元任务更新过程, 使得在外层循环的元更新迭代过程中每个任务学到的伪造图像特征不断靠近中心点, 而相似特征融合网络获取的不同伪造图像的特征都较好地反映网络学到不同源任务之间相似的标志性特征.

在任务更新结束后, 计算所有源任务T_s在元学习外层循环阶段的交叉熵损失L_CE与中心损失L_ML.一方面采用中心损失, 是为了让不同伪造技术产生的伪造图像聚集在一个中心点位置, 另一方面交叉熵损失使伪造图像的特征远离真实图像.就此得到测试阶段的损失值:

L_test= 1N∑i=1N(L_CE+λ L_ML), (2)

其中, λ 表示超参数, 连接中心损失和交叉熵损失, 决定真实图像与伪造图像决策边界的宽度.

此时, 一个批次中所有源任务T_s完成元训练的过程, 模型参数需要在外层循环中进行全面更新.现在计算相对于这些最优参数θ '_i的梯度, 使模型参数调整到一个最佳位置.外层循环更新的目标为:

$\begin{array}{l} \min _{\theta} L_{\mathrm{test}}, \\ \theta=\theta_{N}^{\prime}-\beta \nabla_{\theta_{N}^{\prime}} L_{\mathrm{test}} \end{array}$

其中, θ '_N表示内层循环结束后的模型参数, 超参数β 表示外层循环学习率, 对模型的性能敏感程度不高, 因此, 将元学习率β 设定为一个常数值.

总之, 基于元学习的相似特征融合网络中, 元学习在每个源任务的元更新过程中学习不同伪造技术的伪造痕迹, 并且在元任务更新时学习的知识逐渐适应下一个任务.而基于度量学习的融合模块设置伪造人脸中心点, 监督元任务的更新过程.在外层循环的元更新迭代过程中, 伪造图像特征逐渐靠近这些中心点, 实现相似特征的融合.

基于相似性的特征融合网络训练后获取不同伪造图像中的相似性特征, 然而良好的相似性表征可能在检测其对应的伪造方法时表现良好, 但在给定数据集上过拟合, 并且具有不理想的泛化能力.因此, 借助上一阶段训练的相似特征融合网络, 设计在具体任务上的独特性微调, 挖掘任务中的独特伪造特征.

模型在元测试阶段开始时并未获取最适合新任务的初始化权重, 但可根据少量的测试数据和迭代过程快速适应新任务, 从而获得适用于目标分类任务的分类器.

将来自目标任务采样的k个样本(支持集)图像输入特征挖掘网络F₂, 得到网络的卷积层特征图.F₂和F₁的结构一样, 参数为元训练阶段更新后的最优初始化参数.同时输入图像通过参数固定的特征融合网络F₃, 获取目标任务相对鉴伪任务的相似性特征, 使用残差特征表示输出的特征向量:

R=F₂(I)-F₃(I),

其中I表示输入的人脸图像.残差特征R包含当前目标任务伪造图像独有的伪造痕迹, 然后根据式(1)得到目标任务的损失值L_T, 并更新参数θ :

θ '=θ -α ∇θL_T,

其中, L_T表示支持集在内层循环更新时的交叉熵损失, α 表示元测试阶段中内层循环的学习率.由于元测试阶段参数α 对不同的伪造任务非常敏感, 仅使用固定参数会弱化模型的泛化能力, 不能更好地适应新任务.所以在元测试的外部循环中, 为了找到最佳的内部循环学习率以最小化验证损失, 使用基于梯度下降的超参数自适应策略, 用于更新内部循环学习率.内部循环的超参数可在不同的目标任务检测中逐渐调整, 能避免手动学习率调整的昂贵计算开销, 降低算法的调整难度, 并增强模型的稳定性和可扩展性.内层循环的学习率根据梯度下降调整过程如下:

$\begin{array}{l} L_{\mathrm{val}}=\sum_{r=1}^{R} \gamma_{r} L_{T}, \\ \alpha=\alpha-\beta \nabla_{\alpha} L_{\mathrm{val}} . \end{array}$

其中:L_val表示内部循环每次梯度下降后计算的元测试阶段损失的加权和, 可改善元学习的梯度传播和梯度不稳定的问题; γ _r表示每次梯度下降时支持集损失的权重.首先将每个梯度下降步骤的初始权重值设置为相同的1/R, 再计算除最后一个梯度下降步骤以外的每步梯度下降的权值:

γ _r=max(γ _r-μ , δ ),

其中, μ 表示衰减率, δ 表示权重.然后, 计算最后一步梯度下降的权值:

γ _R=min(γ _R+(R-1)μ , 1-(R-1)δ ).

在具体任务下的独特微调后, 可对目标任务进行真伪检测.残差级别的特征学习可获取不同伪造手段之间的不同特征, 提高方法对未知目标任务的检测能力.

实验数据集一部分使用大规模公开视频数据集FaceForensics++(简称FF++), 包括1 000个原始视频(真实视频)和1 000个操作视频(伪造视频), 同时使用质量较好的C23版本视频与质量低一些的C40版本视频进行实验.

另一部分使用DiffSwap^[20]创建的数据集.DiffSwap由强大的扩散模型执行, 扩散模型是一个参数化的马尔科夫链, 其本质是加噪再去噪的过程, 并且在去噪中引入人为噪声, 生成想要得到的图像.Ho等^[24]提出Denoising Diffusion Probabilistic Mo-dels, 研究者在此基础上对其进行不断的改进.Song等^[25]提出改进后的DDIM(Denoising Diffusion Imp-licit Models), 使用非马尔科夫链正向过程, 提高采样速度.

扩散模型分为如下两个步骤.

1)前向扩散过程.对给定的图像x₀, 扩散过程通过T向图像添加高斯噪声, 得到x₁, x₂, …, x_T.每步的大小由高斯分布方差的超参数控制.前向过程的时刻t只与时刻t-1有关, 因此可看作马尔科夫过程.近似后验概率:

q(x_1:T|x₀)= ∏t=1Tq(x_t|x_t-1),

其中

q(x_t|x_t-1)=N(x_t; 1-βtx_t-1, β _tI).

这个过程中, 随着t的增大, x_t越接近纯噪声, 当T→ ¥ 时, x_T为完全的高斯噪声.

2)反向去噪扩散过程.逆向过程就是扩散过程的去噪推断过程, 使用神经网络推断q(x_t-1|x_t), 一般使用预测模型预测逆向分布:

p_θ (x_0:T)=p(x_T) ∏t=1Tp_θ (x_t-1|x_t),

其中

p_θ (x_t-1|x_t)=N(x_t-1; μ _θ (x_t, t), ∑θ(x_t, t)).

联合分布p_θ (x_0:T)称为逆过程, 定义为一个以N(x_T; 0, I)开始的马尔科夫链.

DiffSwap人脸交换是一个用于高保真度和可控性人脸交换的框架.与以往依赖网络结构、损失函数融合源人脸信息和目标人脸信息的方法不同, 此方法将人脸交换重新表述为一个条件修复任务, 受所需的人脸属性(身份特征和面部标志)引导.而扩散模型用于生成与源人脸相同身份、对齐目标人脸的面部, 并且使用一种中间估计方法, 有效恢复交换人脸的扩散结果, 具有可控性、高保真度和保持形状等优点.由于DiffSwap没有公开的数据集, 本文从FF++数据集上提取的真实人脸图像作为源图像和目标图像进行人脸交换, 构建DiffSwap数据集, 具体示例如图3所示.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 New_FF++数据集实例Fig.3 Examples of New_FF++ dataset

本文重组后的FF++数据集(后称New_FF++数据集)包含5种最先进的面部篡改伪造技术:DeepFakes(https://www.github.com/deepfakes/faceswap)(简记为DF)、Face2Face(简记为F2F)^[26]、FaceSwap(https://github.com/MarekKowalski/FaceSwap)(简记为FS)、Neural Textures(简记为NT)^[27]、DiffSwap(简记为DS)^[20].

所有实验均在一台配备12th Gen Intel(R) Core(TM) i5-12400F的CPU和NVIDIA RTX3060 GPU的计算机上进行.

实验采用元学习监督方法, 训练前对数据集进行元分割.具体地, 720个视频用作元训练(1.2节提及的支持集), 其中140个视频用作元测试(1.2节提及的查询集), 剩余140个视频用作测试.本文使用的FF++数据集包含人脸位置坐标的掩码, 将所有视频各取15帧并经过面部分割, 提取的人脸图像调整为224× 224.使用的网络包含的参数一共62 754个, 在元训练内层循环的一个批次中, 每个梯度计算使用64个支持集, 32个查询集, 内层循环学习率∂ =0.01, 梯度步骤R=5.外层循环学习率β =0.001, 并在元测试中使用2个支持集, 初始学习率∂ =0.01, 梯度步骤R=10, 进行自适应微调.

为了证明方法对未知伪造手段检测的有效性, 将New_FF++数据集上提及的伪造方法划分成源任务和目标任务, 目标任务是指本文所需检测是否存在伪造的未知伪造手段的图像, 而源任务是指目前阶段已知伪造手段生成的图像.本文任务是模拟当现实中出现未知伪造手段时, 方法能具备一定的检测能力.

为了评估方法对未知伪造手段检测的有效性, 采用二分类任务性能评估的一个重要指标AUC(Area Under the Curve).AUC衡量ROC(Receiver Operating Characteristic)曲线下与坐标轴形成的面积.ROC曲线是以真阳性率(True Positive Rate)为纵轴, 假阳性率(False Positive Rate)为横轴绘制的曲线.AUC越接近1, 说明模型性能越优.另一个指标是准确率(Accuracy, ACC), 表示模型正确分类的实例数占总实例数的比例, 是衡量模型整体正确性的一个简单、直观的指标, 具体公式如下:

Accuracy= TP+TNTP+TN+FP+FN,

其中, TP表示模型正确预测为正例的实例数, TN表示模型正确预测为负例的实例数, FP表示模型错误将负例预测为正例的实例数, FN表示模型错误将正例预测为负例的实例数.

本文选择如下对比方法:文献[6]方法、RFM(Representative Forgery Mining)^[10]、CViT(Convo-lutional Vision Transformer)^[11]、XceptionNet(Extreme Inception Network)^[18]、MAML(Model-Agnostic Meta-Learning Algorithm)^[21]、SFIC-VGGNet13^[28]、SFIC-ResNet26^[28]、Two-Stream Network^[29]、Meso-4^[30]、MesoInception-4^[30]、文献[31]方法、文献[32]方法、Two-Branch Recurrent Network^[33].

2.3.1 未知伪造技术检测结果

为了分析本文方法对于未知伪造技术的检测能力, 在New_FF++数据集的子集(高质量)上设计实验, 进行交叉集评估.本文使用最佳模型权重, 在测试集上评估方法.实验分为五个阶段, 对于每个阶段, 在4个子集上训练方法, 并在New_FF++数据集剩余的一个未见过的子集上进行测试集评估.

表1和表2列出以ACC和AUC为指标的交叉集评估结果, 表中黑体数字表示最优值.由表可见, 本文方法在大多数未知伪造类型上表现最优, 尤其在DF、F2F、FS和DS上训练并在NT上测试时, 本文方法在ACC和AUC指标上具有超10%的性能提升.虽然在DF上的跨数据集测试中ACC指标低于RFM, 但其依赖于XceptionNet骨干网络的深度, 能提取伪造图像的深层特征, 参数高达20× 10⁶个, 是本文方法参数的300倍, 本文方法在处理数据时的计算量更小.虽然相比基于空频交互卷积的SFIC-VGGNet13, 本文方法在DF、FS测试场景中未取得最佳结果, 这可能是因为这两种伪造技术生成的图像在人脸边缘处存在更多的伪造痕迹, 使高频信息被SFIC-VGGNet13捕捉.由于不同的伪造技术留下不同的伪造痕迹, 自适应模型应寻找伪造面部之间的基本差异.这些结果验证通过构建不同伪造手法的共同特征并自适应微调以完成对未知伪造技术的检测是可行的.

表1

Table 1

表1(Table 1)

表1 New_FF++子数据集上的跨伪造手法的ACC对比 Table 1 ACC comparison of cross-forgery technique on New_FF++ subset % 训练集 NT-DF-F2F-FS DS-DF-F2F-FS DS-NT-F2F-FS NT-DF-DS-FS NT-DF-F2F-DS 测试集 DS NT DF F2F FS MAML 67.38 62.20 78.65 63.17 61.33 XceptionNet 70.24 63.38 73.73 69.74 67.25 CViT 62.87 61.68 65.48 63.84 60.67 RFM 80.83 55.59 83.59 71.82 71.46 SFIC-VGGNet13 80.94 53.87 78.73 70.37 72.34 本文方法 82.64 73.64 82.64 73.10 73.29

表1 New_FF++子数据集上的跨伪造手法的ACC对比 Table 1 ACC comparison of cross-forgery technique on New_FF++ subset %

表2

Table 2

表2(Table 2)

表2 New_FF++子数据集上的跨伪造手法的AUC对比 Table 2 AUC comparison of cross-forgery technique on New_FF++ subset % 训练集 NT-DF-F2F-FS DS-DF-F2F-FS DS-NT-F2F-FS NT-DF-DS-FS NT-DF-F2F-DS 测试集 DS NT DF F2F FS MAML 73.76 61.58 85.40 71.25 75.60 XceptionNet - - - - - CViT - - - - - RFM 84.86 70.28 85.15 73.50 75.34 SFIC-VGGNet13 81.34 65.45 87.59 73.47 76.12 本文方法 86.49 83.20 86.43 75.48 75.63

表2 New_FF++子数据集上的跨伪造手法的AUC对比 Table 2 AUC comparison of cross-forgery technique on New_FF++ subset %

为了分析方法在面对已知伪造技术和未知伪造技术时的能力, 进一步进行精细测试.选择RFM和本文方法, 在子数据集DF、F2F、FS、NT(DF-F2F-FS-NT)上训练, 并分别在子数据集DF、DS上测试, 绘制混淆矩阵, 具体如图4和图5所示.

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 RFM和本文方法对已知伪造技术的混淆矩阵Fig.4 Confusion matrix of RFM and the proposed method for known forgery techniques

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 RFM和本文方法对未知伪造技术的混淆矩阵Fig.5 Confusion matrix of RFM and the proposed method for unknown forgery techniques

由图4和图5可见, 本文方法在数据集内部性能较差, 主要是由于将伪造图像鉴定为真实图像, 性能稍差于RFM.然而, 本文强调在实际的未知伪造技术攻击的背景下, 本文方法对于未见过的伪造图像具有更准确的鉴别能力.

2.3.2 跨数据集检测结果

尽管现有方法在单个数据集上表现良好, 但大多数方法在泛化能力方面存在不足.在本节中, 引入DFDC、Celeb-DF人脸伪造数据集, 检验本文方法的泛化迁移能力, DFDC数据集是目前公开最大的人脸伪造数据集, 包含1 133个真实视频和4 080个伪造视频, 伪造技术多样、未知, 对模型可转移能力具有很大的挑战.Celeb-DF数据集是从YouTube上采集得到的, 共包含590个真实视频, 并使用Deep-Fakes技术进行人脸伪造, 相比FF++数据集, 数据质量明显提升, 可用于模拟真实世界的生成伪造视频.在这两个数据集上的跨库测试能证实本文方法具备解决未知方法伪造的图像鉴伪能力.在FF++数据集(低质量)上训练, 进行跨库测试的AUC分数如表3所示, 表中黑体数字表示最优值.

表3

Table 3

表3(Table 3)

表3 各方法在Celeb-DF、DFDC数据集上进行跨库测试的AUC值对比 Table 3 AUC value comparison of cross-database testing among different methods on Celeb-DF and DFDC datasets % 方法 FF++ Celeb-DF DFDC Two-Stream Network 70.10 53.80 - Meso-4 84.70 54.80 - MesoInception-4 83.00 53.60 60.37 文献[31]方法 80.10 56.90 - 文献[6]方法 76.30 54.30 47.79 文献[32]方法 88.20 64.29 60.12 Two-Branch Recurrent Network 93.18 73.41 - SFIC-ResNet26 96.38 70.70 63.85 本文方法 89.12 74.81 65.34

表3 各方法在Celeb-DF、DFDC数据集上进行跨库测试的AUC值对比 Table 3 AUC value comparison of cross-database testing among different methods on Celeb-DF and DFDC datasets %

由表3可见, 虽然本文方法在数据集内部的AUC指标低于Two-Branch Recurrent Network和SFIC-ResNet26, 但本文研究的重点在于方法在未知伪造技术攻击背景下的检测能力, 所以本文方法更多地关注真实样本和伪造样本直接的泛化差异, 并不是简单的拟合训练数据.而在DFDC、Celeb-DF数据集上, 本文方法测试结果表现出更优的迁移性能, 在Celeb-DF数据集的跨库测试中, 相比性能最优的SFIC, 本文方法的AUC分数有超过4%的提升, 在DFDC数据集的跨库测试中, 本文方法的AUC分数也有2%左右的提升, 这得益于具体任务下的独特伪造特征挖掘模块, 可提取具有区分性的特征, 帮助方法进行检测.

本节研究本文方法中相似特征融合网络和具体任务下的独特性微调对性能的影响, 在New_FF++数据集上进行实验, 所有实验均仅在压缩度c23版本下进行.

如式(2)所示, 超参数λ 会影响真实图像和伪造图像的特征分布, 最终影响方法对真伪图像的辨别.λ 权衡中心损失和交叉熵损失, 控制真实人脸中心和伪造人脸中心之间的距离.为了研究超参数λ 对结果的影响, 在New_FF++数据集上随机选取3 000幅真实人脸和伪造人脸单独进行训练, 设置超参数λ =0, 0.001, 0.005, 0.01, 0.05, 1.

λ 不同对性能的影响如表4所示, 表中黑体数字表示最优值.由表可知, 中心损失对方法具有较强的鲁棒性.当λ =0时, 即只使用交叉熵损失时, 性能也最差, 参数决定真实图像和伪造图像特征分布的决策边界.当λ > 0.5时, AUC和ACC都趋于稳定, 说明此时决策边界使本文方法具有一定能力检测真伪图像.为了使本文方法容易训练, 所有实验均采用λ =0.5.

表4

Table 4

表4(Table 4)

表4 超参数λ 对方法性能的影响 Table 4 Effect of hyperparameter λ on method performance 指标 λ 0 0.001 0.005 0.01 0.05 1 ACC 0.56 0.73 0.76 0.74 0.81 0.82 AUC 0.67 0.63 0.71 0.81 0.86 0.87

表4 超参数λ 对方法性能的影响 Table 4 Effect of hyperparameter λ on method performance

为了研究本文方法中相似特征融合和独特伪造特征挖掘对性能的影响, 在New_FF++数据集上进行消融实验, 实验均仅在元学习的监督下进行, 训练集选择DF、F2F、FS、NT, 测试集选择DS.各模块的消融实验结果如表5所示, 表中黑色数字表示最优值.由表可看出, 相似性特征融合和独特伪造特征挖掘都能提升ACC和AUC值.相比仅在元学习监督下训练, 只在训练过程中进行相似特征融合的ACC和AUC值分别提升2.87%和0.97%.而独特性微调也能使性能提升.这些改进都有助于提升方法对未知伪造技术的适应能力.当同时使用两者时, 性能具有显著的提升, 这充分验证本文方法对未知伪造技术可转移的泛化能力.

表5

Table 5

表5(Table 5)

表5 各模块对方法性能的影响 Table 5 Effect of different modules on method performance % 训练集 相似特征融合网络 独特性微调 ACC AUC DF - - 67.38 73.76 F2F √ - 70.25 74.73 FS - √ 71.47 74.57 NT √ √ 82.64 86.49

表5 各模块对方法性能的影响 Table 5 Effect of different modules on method performance %

为了更好地理解方法学到的内容, 采用梯度加权的类激活热力图对学到的伪造特征进行可视化分析, 具体如图6所示.由图可看出, 对于不同的伪造图像, 不同的检测方法学到相似的伪造区域, 因此其中必然存在类似的内部表示, 同时也验证本文的猜想.

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 各方法在不同的伪造图像上检测的相似伪造区域Fig.6 Similar forged regions detected by different forgery detection methods for different forged images

将同一目标通过不同伪造技术生成的人脸进行平均可视化操作, 结果如图7所示.

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 不同伪造手法的平均特征激活图Fig.7 Average feature activation maps for different forgery techniques

由图7可见, 不同伪造手法获取的特征具有明显区别.从伪造技术的实现方法分析提取特征的特点.Neural Textures通过修改与嘴部区域对应的面部表情, 保持眼部区域不变, 所以对整个人脸的下半部分较感兴趣.DiffSwap将整个源脸的面部属性通过扩散模型重新编辑后输入目标人脸, 伪造特征分布在整个面部.Face2Face在保持目标人物身份特征的基础上, 将源脸的表情转移到目标人物上, 可看到在脸颊位置具有明显的伪造痕迹.DeepFakes和FaceSwap是将整个源脸输入目标人脸, 对于输入的这部分面容, 在特征提取中往往忽略眼睛和鼻子部分.