模式识别与人工智能
2025年4月3日 星期四   首 页     期刊简介     编委会     投稿指南     伦理声明     联系我们                                                                English
模式识别与人工智能  2023, Vol. 36 Issue (9): 806-817    DOI: 10.16451/j.cnki.issn1003-6059.202309004
基于深度学习的模式分类与检测 最新目录| 下期目录| 过刊浏览| 高级检索 |
时序动作单元感知的开集动作识别
杨凯翔1, 高君宇2, 冯洋博1, 徐常胜2
1.天津理工大学 计算机科学与工程学院 天津 300382;
2.中国科学院自动化研究所 多模态人工智能系统全国重点实验室 北京 100190
Temporal Action Unit Perception Based Open Set Action Recognition
YANG Kaixiang1, GAO Junyu2, FENG Yangbo1, XU Changsheng2
1. School of Computer Science and Engineering, Tianjin University of Technology, Tianjin 300382;
2. State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences, Beijing 100190

全文: PDF (1350 KB)   HTML (1 KB) 
输出: BibTeX | EndNote (RIS)      
摘要 开集动作识别任务要求模型不仅能准确识别训练集中的类别,还能拒绝训练集上未出现的未知类动作.目前,大多数方法都将动作视为一个整体,忽略动作本身可被分解为更细粒度的动作单元.为此,文中提出时序动作单元感知的开集动作识别方法.首先,设计动作单元关系模块,学习细粒度的动作单元特征,得到动作和动作单元的关系模式,并通过已知类动作和未知类动作在动作单元上不同的激活程度识别未知类动作.然后,设计动作单元时序模块,建模动作单元的时序信息,研究动作单元的时序性,进一步区分因为外观相似而被混淆的已知类动作和未知类动作.最后,综合考虑关系模式与动作单元时序信息,使模型具备区分已知类动作和未知类动作的能力.在3个动作识别数据集上的实验表明,文中方法性能较优.
服务
把本文推荐给朋友
加入我的书架
加入引用管理器
E-mail Alert
RSS
作者相关文章
杨凯翔
高君宇
冯洋博
徐常胜
关键词 开集识别动作识别动作单元特征对齐时序感知    
Abstract:In open set action recognition tasks, a model is requested to identify categories within the training set accurately and reject unknown actions that never appear in the training set. Currently, most of the methods treat the action as a whole, ignoring the fact that the action can be decomposed into finer-grained action units. To address this issue, a method for temporal action unit perception based open set action recognition is proposed in this paper. Firstly, an action unit relationship module is designed to learn fine-grained features of action units, and thus the relational pattern between actions and action units is obtained. The unknown actions are identified according to the different degrees of activation of known and unknown actions on action units. Secondly, an action unit temporal module is designed to model the temporal information of action units. The temporal characteristics of action units are explored to further distinguish between known actions and unknown actions that are visually similar but confusable with each other. Finally, with comprehensive consideration of both relational patterns and temporal information of action units, the model is equipped with the capability of distinguishing known actions from unknown actions. Experimental results on three action recognition datasets demonstrate the superior performance of the proposed method.
Key wordsOpen Set Recognition    Action Recognition    Action Unit    Feature Alignment    Temporal Perception   
收稿日期: 2023-07-05     
ZTFLH: TP183  
  TP391.41  
基金资助:国家自然科学基金项目(No.62102415、62036012、62236008、U21B2044、61721004、62072286、62072455、62002355)、北京市自然科学基金项目(No.L201001)、之江实验室开放课题项目(No.2022RC0AB02)资助
通讯作者: 高君宇,博士,副研究员,主要研究方向为计算机视觉、多媒体计算.E-mail:junyu.gao@nlpr.ia.ac.cn.   
作者简介: 杨凯翔,硕士研究生,主要研究方向为开集动作识别.E-mail:15005379839@139.com.冯洋博,博士研究生,主要研究方向为计算机视觉、多媒体、动作识别.E-mail:ybfeng6@gmail.com.徐常胜,博士,研究员,主要研究方向为多媒体分析与检索、模式识别、计算机视觉.E-mail:csxu@nlpr.ia.ac.cn.
引用本文:   
杨凯翔, 高君宇, 冯洋博, 徐常胜. 时序动作单元感知的开集动作识别[J]. 模式识别与人工智能, 2023, 36(9): 806-817. YANG Kaixiang, GAO Junyu, FENG Yangbo, XU Changsheng. Temporal Action Unit Perception Based Open Set Action Recognition. Pattern Recognition and Artificial Intelligence, 2023, 36(9): 806-817.
链接本文:  
http://manu46.magtech.com.cn/Jweb_prai/CN/10.16451/j.cnki.issn1003-6059.202309004      或     http://manu46.magtech.com.cn/Jweb_prai/CN/Y2023/V36/I9/806
版权所有 © 《模式识别与人工智能》编辑部
地址:安微省合肥市蜀山湖路350号 电话:0551-65591176 传真:0551-65591176 Email:bjb@iim.ac.cn
本系统由北京玛格泰克科技发展有限公司设计开发 技术支持:support@magtech.com.cn