模式识别与人工智能
2025年8月1日 星期五   首 页     期刊简介     编委会     投稿指南     伦理声明     联系我们                                                                English
模式识别与人工智能  2025, Vol. 38 Issue (3): 205-220    DOI: 10.16451/j.cnki.issn1003-6059.202503002
论文与报告 最新目录| 下期目录| 过刊浏览| 高级检索 |
基于视觉-语言模型的小样本深度伪造人脸检测方法
杨宏宇1,2, 李星航1, 成翔3, 胡泽1
1.中国民航大学 安全科学与工程学院 天津 300300;
2.中国民航大学 计算机科学与技术学院 天津 300300;
3.扬州大学 信息工程学院 扬州 225127
Few-Shot Deepfake Face Detection Method Based on Vision-Language Model
YANG Hongyu1,2, LI Xinghang1, CHENG Xiang3, HU Ze1
1. School of Safety Science and Engineering, Civil Aviation University of China, Tianjin 300300;
2. College of Computer Science and Technology, Civil Aviation University of China, Tianjin 300300;
3. College of Information Engineering, Yangzhou University, Yangzhou 225127

全文: PDF (2818 KB)   HTML (1 KB) 
输出: BibTeX | EndNote (RIS)      
摘要 针对现有深度伪造人脸检测方法在模型复杂性、样本量需求和应对新型深度伪造技术上的局限,提出基于视觉-语言模型的小样本深度伪造人脸检测方法(Few-Shot Deepfake Face Detection Method Based on Visual-Language Model, FDFD-VLM).基于CLIP(Contrastive Language-Image Pre-training),通过人脸区域提取与高频特征增强模块优化视觉特征,采用无类名-差异化Prompt优化模块提升Prompt适应性,利用CLIP编码结果优化模块强化多模态特征表示,通过三元组损失函数增强模型区分能力.实验表明,FDFD-VLM在多个深度伪造人脸数据集上的准确率较高,能在较少的训练样本下实现高效的深度伪造人脸检测.
服务
把本文推荐给朋友
加入我的书架
加入引用管理器
E-mail Alert
RSS
作者相关文章
杨宏宇
李星航
成翔
胡泽
关键词 深度伪造检测视觉-语言模型提示工程小样本检测    
Abstract:Aiming at the limitations of existing deepfake face detection methods in terms of model complexity, sample size requirements and adaptability to new deepfake techniques, a few-shot deepfake face detection method based on visual-language model(FDFD-VLM) is proposed. FDFD-VLM is built upon contrastive language-image pre-training(CLIP). Visual features are optimized through a face region extraction and high-frequency feature enhancement module. Prompt adaptability is improved by a classless differentiated prompt optimization module, while multimodal feature representation is strengthened by CLIP encoding attention optimization module. Additionally, a triplet loss function is introduced to improve the model discriminative capability. Experimental results demonstrate that FDFD-VLM outperforms existing methods on multiple deepfake face datasets and achieves efficient detection performance in few-shot deepfake face detection scenarios.
Key wordsKey Words Deepfake Detection    Visual-Language Model    Prompt Engineering    Few-Shot Detection   
收稿日期: 2024-12-13     
ZTFLH: TP391.41  
基金资助:国家自然科学基金民航联合研究基金重点项目(No.U2433205)、国家自然科学基金项目(No.62201576,U1833107)、江苏省基础研究计划自然科学基金青年基金项目(No.BK20230558)资助
通讯作者: 杨宏宇,博士,教授,主要研究方向为网络与系统安全.E-mail:yhyxlx@hotmail.com.   
作者简介: 李星航,硕士研究生,主要研究方向为人工智能安全.E-mail:lxh991225@163.com.
成 翔,博士,讲师,主要研究方向为网络与系统安全.E-mail:huozhai9527@126.com.
胡 泽,博士,讲师,主要研究方向为自然语言处理.E-mail:zhu@cauc.edu.cn.
引用本文:   
杨宏宇, 李星航, 成翔, 胡泽. 基于视觉-语言模型的小样本深度伪造人脸检测方法[J]. 模式识别与人工智能, 2025, 38(3): 205-220. YANG Hongyu, LI Xinghang, CHENG Xiang, HU Ze. Few-Shot Deepfake Face Detection Method Based on Vision-Language Model. Pattern Recognition and Artificial Intelligence, 2025, 38(3): 205-220.
链接本文:  
http://manu46.magtech.com.cn/Jweb_prai/CN/10.16451/j.cnki.issn1003-6059.202503002      或     http://manu46.magtech.com.cn/Jweb_prai/CN/Y2025/V38/I3/205
版权所有 © 《模式识别与人工智能》编辑部
地址:安微省合肥市蜀山湖路350号 电话:0551-65591176 传真:0551-65591176 Email:bjb@iim.ac.cn
本系统由北京玛格泰克科技发展有限公司设计开发 技术支持:support@magtech.com.cn