所有文章 > 正文

补偿识别人类情感的延迟!研究人员开发新型卷积网络系统可预测并匹配情绪

作者: Jansfer

时间: 2019-07-24 11:45

在过去的几年里,能够识别和预测人类情绪的机器学习模型变得越来越受欢迎。为了使这些技术更具适用性,通常会使用人类注释过的数据来训练它们。此外,情绪随着时间的推移不断变化往往导致标签和录音之间的差异,这让对视频或语音记录的解析更具挑战性。

为了解决这个问题,密歇根大学(University of Michigan)的研究人员最近开发了一种新的卷积神经网络,它可以以端到端的方式同时完成对情绪的匹配和预测。他们在IEEE《情感计算学报》上发表了一篇介绍他们技术的论文,并称其为多延迟同步(MDS)网络。

图|MDS网络的系统图(图片来源:Khorram, McInnis & Provost)

Emily Mower Provost 是进行这项研究的研究员之一,他说:“情感在我们的谈话中起起落落,它会随着时间不断变化。在工程学中,我们通过对情绪进行连续描述来衡量情绪是如何变化的。而我们的目标是通过言语来预测这些连续不断的衡量。在这个过程中有一个最大的挑战——在对情感进行连续描述的过程中要求我们随时对情感进行注释,这个过程是由人工团队完成的。然而,人不是机器。并不能保证一直都很精确。”

正如Mower Provost解释的那样,人工注释有时更能理解特定的情感暗示如笑声,却容易忽略其他暗示背后的含义如一声愤怒的叹息。除此之外,人类可能需要一些时间来处理录音,这导致他们对情感暗示的反应有时会延迟。所以连续的情感注释可以呈现出许多变化,有时会与数据中的言语不一致。

Mower Provost的团队直接解决了这些挑战,他们的研究专注于两种持续的情绪测量:积极valence)和能量(activation/arousal)。他们引入了多延迟同步网络这一种处理语音和连续注释之间不匹配的新方法,来对不同类型的声音线索产生不同的反应。

Soheil Khorram也参与了这项研究,他说:“对情绪时间连续描述(例如,arousal, valence)提供了情绪短期变化和长期趋势的详细信息,本研究的主要目的是开发一种能够从语音信号中估出时间连续的自动情绪识别系统。该系统可以在不同领域有许多实际应用,包括人机交互、电子学习、市场营销、医疗保健、娱乐和法律等。”

由Mower Provost、Khorram和他们的同事开发的卷积网络有两个关键部分,一个是情绪预测,另一个是匹配。情绪预测部分是一种常见的卷积结构,用来训练识别声音特征和情绪标签之间的关系。对齐组件是研究人员引入的新层(即延迟同步层),它对声学信号应用了可学习的时间偏移,研究人员通过合并这些层来补偿延迟的变化。

“这些标签通常与输入语音不同步问题是开发这个系统的一个攻坚点。延迟主要是由反应时间造成的,而反应时间是人类评价所固有的。与其他方法相比,我们的卷积神经网络能够以端到端的方式同时匹配和预测标签。多时延同步网络利用现代深度学习体系结构中传统的信号处理概念(即同步滤波)来处理反应延迟问题。” Khorram解释道。

研究人员使用RECOLA和SEWA数据集两个数据集用一系列实验评估了他们的技术。他们发现,在训练注释者的情绪识别模型时,补偿其反应延迟可以显著提高模型的情绪识别精度。

他们还观察到,注释者在定义连续情感标签时的反应延迟通常不超过7.5秒。此外,他们的研究结果表明,与其他情感暗示相比,注释者通常更容易在包含笑声的演讲片段中进行情感注释。

Mower Provost说道:“情感无处不在,它是我们交流的核心。我们正在建立强大的、可概括的情感识别系统,这样人们就可以很容易地访问和使用这些信息。这一目标的一部分是通过创建算法来实现的,这些算法可以有效地使用大型标记的和非标记的外部数据源,通过建模来描述情感交流的自然动态。另一部分是理解标签本身所固有的复杂性。”

除了情感识别,这项技术也可以用于强化其他输入和输出并不完全一致的机器学习应用程序。研究人员计划继续研究如何将人类注释器生成的情感标签有效地集成到数据中。

“我们使用同步滤波器来模拟狄拉克函数并对延迟进行补偿。然而其他函数,如高斯函数和三角函数也可以用来代替同步核。我们将探索使用不同类型的内核来贴近狄拉克函数的效果。此外,本文重点研究了预测连续情感标注的语音模态,所提出的多延迟同步网络对于其他输入模态也是一种合理的建模技术。另一个计划是评估该网络在其他生理和行为模式,如:视频、肢体语言和脑电图上的性能。” Khorram说道。

参考:techxplore.com/news/

[关于转载]:本文为“AMiner”官网文章。转载本文请联系原作者获取授权,转载仅限全文转载并保留文章标题及内容,不得删改、添加内容绕开原创保护,且文章开头必须注明:转自“AMiner”官网。谢谢您的合作。

二维码 扫码微信阅读
推荐阅读 更多