模式识别与人工智能
2025年4月4日 星期五   首 页     期刊简介     编委会     投稿指南     伦理声明     联系我们                                                                English
模式识别与人工智能  2020, Vol. 33 Issue (12): 1115-1121    DOI: 10.16451/j.cnki.issn1003-6059.202012006
“结构化学习表示及其在目标检测与识别中的应用”专题 最新目录| 下期目录| 过刊浏览| 高级检索 |
基于双对抗自编码器的跨模态检索
吴飞1, 罗晓开1, 韩璐2, 郑鑫浩1, 肖梁1, 帅子珍1, 荆晓远3
1.南京邮电大学 自动化学院 南京 210003;
2.南京邮电大学 现代邮政学院 南京 210003;
3.武汉大学 计算机学院 武汉 430072
Cross-Modal Retrieval via Dual Adversarial Autoencoders
WU Fei1, LUO Xiaokai1, HAN Lu2, ZHENG Xinhao1, XIAO Liang1, SHUAI Zizhen1, JING Xiaoyuan3
1. College of Automation,Nanjing University of Posts and Telecommunications,Nanjing 210003;
2. School of Modern Posts,Nanjing University of Posts and Telecommunications,Nanjing 210003;
3. School of Computer Science,Wuhan University,Wuhan 430072

全文: PDF (904 KB)   HTML (1 KB) 
输出: BibTeX | EndNote (RIS)      
摘要 

在自编码的学习过程中如何更好地保留原始特征及消除多模态数据分布的差异是一个重要的研究课题.因此,文中提出基于双对抗自编码器(DAA)的跨模态检索方法.使用全局对抗网络改进自编码器模态内重构过程,极小极大博弈的策略使模态内的原始特征和重构特征难以判别,更好地保留原始特征.隐含层对抗网络在生成模态不变表示的同时使模态间数据难以区分,有效减小多模态数据的分布差异.在Wikipedia、NUS-WIDE-10k数据集上的实验证明DAA的有效性.

服务
把本文推荐给朋友
加入我的书架
加入引用管理器
E-mail Alert
RSS
作者相关文章
吴飞
罗晓开
韩璐
郑鑫浩
肖梁
帅子珍
荆晓远
关键词 跨模态检索对抗网络自编码器模态差异    
Abstract

How to preserve the original features and reduce the distribution differences of multi-modal data more efficiently during the autoencoder learning process is an important research topic.A cross-modal retrieval approach via dual adversarial autoencoders(DAA) is proposed.The global adversarial network is employed to improve the data reconstruction process of the autoencoders.The min-max is implemented to make it difficult to distinguish the original features and reconstructed features.Consequently,the original features are preserved better.The hidden layer adversarial network generates modality-invariant representations and makes the inter-modal data indistinguishable from each other to reduce the distribution differences of multi-modal data effectively.Experimental results on Wikipedia and NUS-WIDE-10k datasets show the effectiveness of DAA.

Key wordsCross-Modal Retrieval    Adversarial Network    Autoencoder    Modality Difference   
收稿日期: 2020-04-09     
基金资助:

国家自然科学基金项目(No.61702280)、江苏省自然科学基金项目(No.BK20170900)资助

通讯作者: 吴飞,博士,讲师,主要研究方向为模式识别、机器学习、软件工程.E-mail:wufei_8888@126.com.   
作者简介: 罗晓开,硕士研究生,主要研究方向为模式识别、深度学习.E-mail:1018051336@njupt.edu.cn;韩璐,博士,讲师,主要研究方向为模式识别、机器学习.E-mail:hanl@njupt.edu.cn;郑鑫浩,硕士研究生,主要研究方向为模式识别、深度学习.E-mail:1358421285@qq.com;肖梁,本科生.E-mail:569087693@qq.com;(XIAOLiang,undergraduatestudent.)帅子珍,硕士研究生,主要研究方向为模式识别、深度学习.E-mail:1716252424@qq.com;荆晓远,博士,教授,主要研究方向为模式识别、图像处理、机器学习.E-mail:jingxy_2000@126.com;
引用本文:   
吴飞, 罗晓开, 韩璐, 郑鑫浩, 肖梁, 帅子珍, 荆晓远. 基于双对抗自编码器的跨模态检索[J]. 模式识别与人工智能, 2020, 33(12): 1115-1121. WU Fei, LUO Xiaokai, HAN Lu, ZHENG Xinhao, XIAO Liang, SHUAI Zizhen, JING Xiaoyuan. Cross-Modal Retrieval via Dual Adversarial Autoencoders. , 2020, 33(12): 1115-1121.
链接本文:  
http://manu46.magtech.com.cn/Jweb_prai/CN/10.16451/j.cnki.issn1003-6059.202012006      或     http://manu46.magtech.com.cn/Jweb_prai/CN/Y2020/V33/I12/1115
版权所有 © 《模式识别与人工智能》编辑部
地址:安微省合肥市蜀山湖路350号 电话:0551-65591176 传真:0551-65591176 Email:bjb@iim.ac.cn
本系统由北京玛格泰克科技发展有限公司设计开发 技术支持:support@magtech.com.cn