近日,信息科学技术韩国av李洪均教授团队在国际顶级期刊IEEE Transactions on Multimedia 发表题为“Action-Responsive Contrastive Network for Fine-Grained Skeleton-Based Action Recognition”(基于动作响应对比网络的细粒度骨架动作识别)的学术论文。我校硕士生白天为共同作者,韩国av 为唯一署名单位。
当前,基于图卷积网络的细粒度骨架动作识别已成为重要研究焦点。该技术旨在实现对细微、复杂或细节性动作的精准识别,其核心挑战源于骨架数据中有限的外观信息与预定义单拓扑骨架结构的双重约束。针对此,本文提出动作响应对比网络,其架构包含两个创新模块:具有增强骨架拓扑的动作响应式图卷积网络和基于特征对比学习的细粒度动作比较器。动作响应对比网络通过动作响应式拓扑模块与动作响应式注意力模块的协同工作,前者利用学习得到的动作特定拓扑结构矩阵及多尺度时序特征捕获关键运动特征,后者则通过时空注意力机制解析复杂骨骼运动模式,最终生成面向特定动作的多通道跨时序动态关节注意力拓扑图。为强化细粒度特征区分度,细粒度动作比较器在动作响应式拓扑模块关键层级实施特征图时空解耦,通过相似/差异运动特征的分类对比构建可学习的细粒度运动潜在空间,从而显著提升分类性能。实验验证方面,本模型在NTU RGB+D 120(X-Set 91.2%)、NW-UCLA(97.2%)、UAV-Human(CSv1 44.6%/CSv2 72.0%)、Finegym(95.3%)及Diving48(54.3%)六个基准数据集上均取得具有竞争力的性能表现,其综合指标超越现有最优方法。
李洪均教授所在的智能信息处理团队长期致力于视频行为理解领域研究,在异常行为分析、行为识别等方向取得多项原创性成果。《IEEE Transactions on Multimedia》是多媒体领域的国际顶级期刊,由IEEE计算机协会和信号处理协会联合主办,创刊于1999年,中科院1区Top,影响因子9.7。(王敬时)