模式识别与人工智能
2025年4月11日 星期五   首 页     期刊简介     编委会     投稿指南     伦理声明     联系我们                                                                English
模式识别与人工智能  2023, Vol. 36 Issue (12): 1104-1126    DOI: 10.16451/j.cnki.issn1003-6059.202312004
面向开放环境的自适应感知研究进展 最新目录| 下期目录| 过刊浏览| 高级检索 |
属性知识引导的自适应视觉感知与结构理解研究进展
张知诚1, 杨巨峰1, 程明明1, 林巍峣2, 汤进3, 李成龙3, 刘成林4
1.南开大学 计算机学院 天津 300350;
2.上海交通大学 电子信息与电气工程学院 上海 200240;
3.安徽大学 计算机科学与技术学院 合肥 230601;
4.中国科学院自动化研究所 多模态人工智能系统全国重点实验室 北京 100190
Progress in Attribution-Guided Adaptive Visual Perception and Structure Understanding
ZHANG Zhicheng1, YANG Jufeng1, CHENG Mingming1, LIN Weiyao2, TANG Jin3, LI Chenglong3, LIU Chenglin4
1. College of Computer Science, Nankai University, Tianjin 300350;
2. School of Electronic Information and Electrical Engineering, Shanghai Jiao Tong University, Shanghai 200240;
3. School of Computer Science and Technology, Anhui University, Hefei 230601;
4. State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences, Beijing 100190

全文: PDF (2207 KB)   HTML (1 KB) 
输出: BibTeX | EndNote (RIS)      
摘要 

机器通过自适应感知从环境中提取人类可理解的信息,从而在开放场景中构建类人智能.因属性知识具有类别无关的特性,以其为基础构建的感知模型与算法引起广泛关注.文中首先介绍属性知识引导的自适应视觉感知与结构理解的相关任务,分析其适用场景.然后,总结四个关键方面的代表性工作.1)视觉基元属性知识提取方法,涵盖底层几何属性和高层认知属性;2)属性知识引导的弱监督视觉感知,包括数据标签受限情况下的弱监督学习与无监督学习;3)图像无监督自主学习,包括自监督对比学习和无监督共性学习;4)场景图像结构化表示和理解及其应用.最后,讨论目前研究存在的不足,分析有价值的潜在研究方向,如大规模多属性基准数据集构建、多模态属性知识提取、属性知识感知模型场景泛化、轻量级属性知识引导的模型开发、场景图像表示的实际应用等.

服务
把本文推荐给朋友
加入我的书架
加入引用管理器
E-mail Alert
RSS
作者相关文章
张知诚
杨巨峰
程明明
林巍峣
汤进
李成龙
刘成林
关键词 自适应感知结构理解属性知识弱监督学习无监督学习    
Abstract

Machines extract human-understandable information from the environment via adaptive perception to build intelligent system in open-world scenarios. Derived from the class-agnostic characteristics of attribute knowledge, attribution-guided perception methods and models are established and widely studied. In this paper, the tasks involved in attribution-guided adaptive visual perception and structure understanding are firstly introduced, and their applicable scenarios are analyzed. The representative research on four key aspects is summarized. Basic visual attribute knowledge extraction methods cover low-level geometric attributes and high-level cognitive attributes. Attribute knowledge-guided weakly-supervised visual perception includes weakly supervised learning and unsupervised learning under data label restrictions. Image self-supervised learning covers self-supervise contrastive learning and unsupervised commonality learning. Structured representation and understanding of scene images and their applications are introduced as well. Finally, challenges and potential research directions are discussed, such as the construction of large-scale benchmark datasets with multiple attributes, multi-modal attribute knowledge extraction, scene generalization of attribute knowledge perception models, the development of lightweight attribute knowledge-guided models and the practical applications of scene image representation.

Key wordsAdaptive Perception    Structure Understanding    Attribution Knowledge    Weakly-Supervised Learning    Unsupervised Learning   
收稿日期: 2023-10-07     
ZTFLH: TP 37  
基金资助:

科技创新2030-“新一代人工智能”重大项目(No.2018AAA0100400)、天津市自然科学基金杰出青年基金项目(No.20JCJQJC00020)、国家自然科学基金项目(No.62325109,U21B2013)、中央高校基本科研业务费资助

通讯作者: 杨巨峰,博士,教授,主要研究方向为计算机视觉.E-mail:yangjufeng@nankai.edu.cn.   
作者简介: 张知诚,博士研究生,主要研究方向为计算机视觉.E-mail:gloryzzc6@sina.com.
程明明,博士,教授,主要研究方向为计算机视觉.E-mail:cmm@nankai.edu.cn.
林巍峣,博士,教授,主要研究方向为计算机视觉.E-mail:wylin@sjtu.edu.cn.
汤进,博士,教授,主要研究方向为计算机视觉.E-mail:tangjin@ahu.edu.cn.
李成龙,博士,教授,主要研究方向为计算机视觉.E-mail:lcl1314@foxmail.com.
刘成林,博士,研究员,主要研究方向为模式识别、机器学习、文档分析与识别等.E-mail:liucl@nlpr.ia.ac.cn.
引用本文:   
张知诚, 杨巨峰, 程明明, 林巍峣, 汤进, 李成龙, 刘成林. 属性知识引导的自适应视觉感知与结构理解研究进展[J]. 模式识别与人工智能, 2023, 36(12): 1104-1126. ZHANG Zhicheng, YANG Jufeng, CHENG Mingming, LIN Weiyao, TANG Jin, LI Chenglong, LIU Chenglin. Progress in Attribution-Guided Adaptive Visual Perception and Structure Understanding. Pattern Recognition and Artificial Intelligence, 2023, 36(12): 1104-1126.
链接本文:  
http://manu46.magtech.com.cn/Jweb_prai/CN/10.16451/j.cnki.issn1003-6059.202312004      或     http://manu46.magtech.com.cn/Jweb_prai/CN/Y2023/V36/I12/1104
版权所有 © 《模式识别与人工智能》编辑部
地址:安微省合肥市蜀山湖路350号 电话:0551-65591176 传真:0551-65591176 Email:bjb@iim.ac.cn
本系统由北京玛格泰克科技发展有限公司设计开发 技术支持:support@magtech.com.cn