基于多头高低频注意力与互信息计算的多模态情感分析

针对多模态情感分析中模态特征提取质量较差、特征融合不充分、信息交互不足等问题,提出一种基于多头高低频注意力与互信息计算的多模态情感分析方法.设计跨模态特征融合的多头高低频注意力机制,实现局部细粒度特征与全局上下文表征的并行提取与融合,有效整合多尺度特征并提升模型对局部与全局情感特征信息的提取能力.提出一种多模态特征交互增强策略,通过跨模态双向交互与互补学习机制,实现模态内与模态对间的充分融合与多层次特征互补.通过互信息计算任务增强模型对特征间共享信息的学习能力,提升跨模态交互效果.所提方法在公开数据集CMU-MOSI与CMU-MOSEI上进行实验验证与测试,其二分类准确率分别达到90.40%/88.48%与87.81%/84.59%,较基线模型分别提升1.38/1.75及0.69/1.20个百分点,其F1分数分别达到90.36%/88.40%与87.78%/84.93%,较基线模型分别提升1.46/1.86及0.39/1.06个百分点,其皮尔逊相关系数分别达到0.865与0.801,较基线模型分别提升0.004及0.002;对比结果表明所提模型超越当前诸多的先进方法,可有效提升多模态情感分析的准确性.