融合时间和空间上下文特征的群体行为识别

群体行为识别任务中,行为特征具有复杂的时空特性.为了实现有效的行为特征时间编码,本文提出一种融合时间和空间上下文特征的群体行为识别模型.为了分析个体行为特征的时间上下文依赖关系,设计了通道级时间上下文模块,该模块对个体特征的多个通道进行时间平移;分别研究时间延迟移动、时间双向移动、时间循环双向移动的3种策略,并讨论各种策略下通道比例对时间上下文估计的作用.其次,构建了基于融合通道级时间上下文特征的空间图模型,用于对个体空间上下文的编码.该模型使用外观和位置估计初步的个体之间的空间上下文关系,并进一步设计多图策略,来估计多种可能的个体之间的关系.最后,对图模型编码的个体特征,使用个体池化获得群体特征,并使用多层感知器来识别群体行为.本文方法在Volleyball和Collective Activity数据集上优于现有群体行为识别方法,设计的时间上下文特征具有良好个体行为编码能力.