所有文章 > 正文

用情境感知情绪!一种通过面部识别和情境信息感知情绪的深度学习技术问世

作者: Jansfer

浏览量: 384

时间: 2019-08-30 03:44

关键词: 深度学习,面部识别,情境信息,情绪感知

延世大学(Yonsei University)和洛桑联邦理工学院(Ecole Polytechnique Federale de Lausanne, EPFL)的研究人员最近研发了一种可以通过分析人类面部表情和背景特征来识别情绪的新技术。他们在arXiv上发表的一篇论文中详细介绍并概述了他们基于深度学习的架构,并将其称为CAER-Net。

190830-4.png

图|CAER-Net对未剪辑视频中人物情绪的识别(图片来源:Lee et al.)

多年来,世界各地的研究人员一直在试图研发通过分析图像、视频或音频剪辑来自动检测人类情绪的工具。这些工具可以应用于许多方面,例如改善机器人与人类的互动,或帮助医生识别基于非典型的语音模式、面部特征等迹象的精神或神经疾病。

迄今为止,大多数在图像中识别情绪的技术都是基于对人们面部表情的分析,前提是默认这些表情能最直观的传达人类情绪。因此,大多数用于培训和评估情绪识别工具的数据集只包含剪裁过的人脸图像。但当人们的面部表情信号模糊不清或无法分辨时,情绪识别工具则不能很好地进行面部识别,这是传统的情绪识别工具的一个关键限制。与这些方法相比,人类不仅能够根据面部表情识别他人的情绪,还能够根据人们正在做的动作、人与人之间的互动、所处的位置等其他情境信息识别他人的情绪。

过去的研究表明,分析面部表情和人类相关的特征可以显著提高情绪识别工具的性能。受这些发现的启发,延世大学和洛桑联邦理工学院的研究人员着手开发一种基于深度学习的架构,希望可以根据人们的面部表情和情境信息识别图像中的情绪。

190830-5.png

图片来源:Lee et al.

研究人员在论文中表示,他们提出了一种名为CAER-Net的深层情境感知情感识别网络,它不仅分析人类的面部表情,还会根据情境信息进行人类情绪识别。最关键的是在视觉场景中隐藏人脸,并根据注意力机制寻找其他上相关信息。

研究人员开发的CAER-Net体系在结构上由两个关键的子网络和编码器组成,它们能够分别提取图像中的面部特征和情境信息,然后利用自适应融合网络将这两种特征结合起来,并对其进行分析,以预测给定图像中人们的情绪。

除了CAER- net,研究人员还引入了一个名为CAER的用于上下文感知情感识别的新数据集。该数据集中的图像同时描述了人脸及其周围环境,因此它可以作为一个更有效的基准来训练评估情绪识别技术。

研究人员使用了他们收集的数据集在一系列实验中评估了他们的情绪识别技术。研究结果表明,分析面部表情和情境信息可以显著提高情绪识别工具的性能,这与之前的研究相符。

相信在不久的将来,这项研究的结果将促进情境感知情感识别及其相关任务的进一步发展。

参考:https://techxplore.com/news/2019-08-deep-technique-context-aware-emotion-recognition.html

[关于转载]:本文为“AMiner”官网文章。转载本文请联系原作者获取授权,转载仅限全文转载并保留文章标题及内容,不得删改、添加内容绕开原创保护,且文章开头必须注明:转自“AMiner”官网。谢谢您的合作。

扫码微信阅读
[关于转载]:本文转载于Jansfer,仅用于学术分享,有任何问题请与我们联系:report@aminer.cn。