结合双向混合约束和弹性验证机制的跨模态动作匹配

由于视频骨骼数据的复杂性及语义鸿沟问题,现有的动作匹配方法无法较好地解决不同模态运动数据间的关联匹配问题.为此,提出一个面向 RGB 视频-三维骨骼数据的跨模态动作匹配学习方法.首先,设计跨模态动作匹配框架,挖掘 RGB 视频数据和骨骼序列数据间的共同语义信息;其次,引入权值共享的多模态双层残差结构和双向混合约束,用于挖掘模态间关联,从而生成共享语义嵌入的跨模态表示,极大地提高数据利用率和提升模型的性能;最后,提出弹性验证模块,促使网络在共享语义空间中专注于鉴别性动作特征的学习,有效地提升模型的泛化性能.实验结果表明,该框架可以更加有效地解决RGB视频和骨骼序列2个模态间的动作匹配任务,并在NTU-RGBD和JHMDB数据集上的跨模态ACC和MAP定量分析指数方面均优于现有 3 种基准算法,较好地实现了异构模态动作间的灵活跨越.