Skeleton-based action recognition aims to project skeleton sequences to action categories, where skeleton sequences are derived from multiple forms of pre-detected points. Compared with earlier methods that focus on exploring single-form skeletons via Graph Convolutional Networks (GCNs), existing methods tend to improve GCNs by leveraging multi-form skeletons due to their complementary cues. However, these methods (either adapting structure of GCNs or model ensemble) require the co-existence of all forms of skeletons during both training and inference stages, while a typical situation in real life is the existence of only partial forms for inference. To tackle this issue, we present Adaptive Cross-Form Learning (ACFL), which empowers well-designed GCNs to generate complementary representation from single-form skeletons without changing model capacity. Specifically, each GCN model in ACFL not only learns action representation from the single-form skeletons, but also adaptively mimics useful representations derived from other forms of skeletons. In this way, each GCN can learn how to strengthen what has been learned, thus exploiting model potential and facilitating action recognition as well. Extensive experiments conducted on three challenging benchmarks, i.e., NTU-RGB+D 120, NTU-RGB+D 60 and UAV-Human, demonstrate the effectiveness and generalizability of the proposed method. Specifically, the ACFL significantly improves various GCN models (i.e., CTR-GCN, MS-G3D, and Shift-GCN), achieving a new record for skeleton-based action recognition.


翻译:以Skeleton为基础的行动识别旨在将骨架序列投向行动类别,其中骨架序列来自多种预发现点的形式,而骨架序列则来自多种形式预发现点的典型情况是仅存在部分的推断形式。与以前侧重于通过图表革命网络(GCNs)探索单形骨架的方法相比,现有方法往往通过利用多式骨架来改善GCN,因为其互相补充的提示作用使多式骨架发挥作用。然而,这些方法(既不是调整GCNs的结构,也不是模型组合体)要求在培训和推断阶段都存在各种形式的骨架,而现实生活中的典型情况只是存在部分的推断形式。为了解决这一问题,我们展示了设计完善的GCNs, 使GCN能够在不改变模型能力的情况下从单式骨架中产生补充性代表。具体形式骨架(GFG)的每一个GCN模型不仅从单一形式骨架中学习行动代表,而且还需要从其他骨架中获取适应性模拟式的有用表述(NCNsmimical imation),每个GCNCCNs-TR3,从而了解如何加强所学到的60-TRG-G-G-G-G-G-G-G-G-G-S-G-G-G-G-G-G-G-G-G-G-G-G-G-G-G-G-G-C-G-G-G-G-G-G-G-G-G-G-G-G-G-G-G-G-G-G-G-G-G-C-C-CL-G-G-G-C-C-C-C-C-C-C-C-C-C-C-C-C-C-C-C-C-C-C-C-C-C-C-C-C-C-C-C-C-C-C-C-C-C-CL-CL-CL-G-G-G-G-C-C-G-C-C-C-C-C-C-C-C-C-C-C-G-G-C-G-G-G-G-G-C-C-C-C-C-C-C-C-C-

0
下载
关闭预览

相关内容

100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
167+阅读 · 2020年3月18日
[综述]深度学习下的场景文本检测与识别
专知会员服务
78+阅读 · 2019年10月10日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
53+阅读 · 2019年9月29日
【ICIG2021】Check out the hot new trailer of ICIG2021 Symposium6
中国图象图形学学会CSIG
2+阅读 · 2021年11月12日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
43+阅读 · 2019年1月3日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
Arxiv
14+阅读 · 2021年7月20日
VIP会员
相关资讯
【ICIG2021】Check out the hot new trailer of ICIG2021 Symposium6
中国图象图形学学会CSIG
2+阅读 · 2021年11月12日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
43+阅读 · 2019年1月3日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员