所有文章 > 正文

你的VR实时虚拟形象即将上线

作者: Jansfer

浏览量: 590

时间: 2019-06-27 09:11

关键词: VR,虚拟形象,实时

目前,需要捕获大量高质量的个人音频和视频来创建精确生动的虚拟现实形象。计算机科学家致力于增强现实感,使虚拟现实(VR)环境中的 “现实” 更可信。VR的一个关键方向是实现远程社交互动,以及使其比任何现有通讯媒体更具沉浸感。

图|Autumn Trimble在匹兹堡Facebook Reality Lab的高级定制的相机和麦克风系统中进行扫描(来源:Facebook)

Facebook Reality Labs(FRL)的研究人员开发了一种名为Codec Avatars的革命性系统,该系统使VR用户能够与其他用户进行交互,同时使用逼真、生动的动画实时呈现自己。研究人员旨在通过为VR世界中的用户提供最具社会参与度的体验,在虚拟现实中构建现实中的连接,并最终实现现实增强感。

迄今为止,实时渲染高度逼真的虚拟人物已经实现并经常用于计算机动画中,其中演员会配备一个放在最佳位置的传感器,以捕获他们的面部和面部表情的几何细节。然而,这种传感器技术与现有的VR头戴设计或平台不兼容,并且典型的VR头戴式设备会遮挡脸部,因此难以完成面部捕捉技术。所以,这些系统更适合于单向表现而不是两个或多人都戴着VR设备的双向交互。

Facebook的研究科学家Shih-En Wei表示:“我们的研究表明,可以从紧密安装在VR头戴上的摄像头精确地制作逼真的VR人物。” Wei和合作者已经配置了一个带有最小的面部捕捉传感器的头戴设备,他们的系统可以在VR中实现双向,真实的社交互动。

Wei和他的Facebook同事将在7月28日至8月1日在洛杉矶举行的2019年Siggraph上展示他们的VR实时面部动画系统。这次年度聚会展示了世界领先的专业人士、学者和创新思维的人才在计算机图形和交互技术的前沿。

在这项研究中,研究人员提出了一个系统,通过使用头戴安装摄像头(HMC)精确跟踪用户的实时面部表情,可以使虚拟人物的头部具有高度详细的个人相似性。它们解决了两个关键的挑战:在HMC上难以看到摄像头的画面,以及从头戴摄像头拍摄的图像与栩栩如生的人物形象渲染之间的巨大外观差异。

该团队开发了一种“训练”头戴设备原型,它不仅可以在常规设备上使用摄像头进行实时动画,而且还可以在更适合的位置配备摄像头,以实现理想的脸部跟踪。研究人员提出了一种基于生成对抗网络(GAN)的人工智能技术,该技术可以执行一致的多视图图像风格转换,自动将HMC红外图像转换为看起来像已渲染的虚拟人物但具有相同人脸表情的图像。

“通过使用每个像素来比较这些转换后的图像,不仅能看到稀疏的面部特征,更是能看出三维虚拟人物的渲染效果,” Wei指出,“我们可以通过可区分的渲染,精确地在跟踪头戴设备的图像和三维虚拟人物的状态之间进行映射。在建立映射后,我们训练神经网络实时从一组最小的摄像机图像预测人脸参数。”

他们在这项研究中展示了各种各样的例子,并且能够证明他们的方法可以找到高质量的映射,即使是一个非常难以捕捉区域的微妙面部表情 。研究人员还展示了非常详细的面部捕捉,包括舌头,牙齿和眼睛的微妙差异,其中这些地方的VR形象没有详细的几何形状。

除了在VR中设置虚拟人物的动画外,FRL团队还在构建系统,有朝一日可以让人们通过一些图像或视频快速轻松地创建他们的虚拟人物。FRL还致力于创造和激活全身型的动画,以表达更完整的社交信号。虽然这项技术距离达到消费者的头戴设备级别还差许多年,但研究小组已经在研究各种可能的解决方案,以确保虚拟人物数据的安全,并确保虚拟人物只能由他们所代表的人访问。

参考:phys.org/news

[关于转载]:本文为“AMiner”官网文章。转载本文请联系原作者获取授权,转载仅限全文转载并保留文章标题及内容,不得删改、添加内容绕开原创保护,且文章开头必须注明:转自“AMiner”官网。谢谢您的合作。

扫码微信阅读
[关于转载]:本文转载于Jansfer,仅用于学术分享,有任何问题请与我们联系:report@aminer.cn。