所有文章 > 正文

MIT-IBM合作开发的全新GANpaint Studio系统让修图真假难分

作者: Jansfer

时间: 2019-07-03 14:41

近日,麻省理工学院与IBM团队完成了一个名为“GANpaint Studio”的全新系统,该系统可以自动生成逼真的摄影图像并编辑其中的对象。除了帮助艺术家和设计师快速调整视觉效果外,研究人员表示,这项工作可能有助于计算机科学家识别“虚假”图像。

来自麻省理工学院计算机科学与人工智能实验室(CSAIL)的博士生将该项目描述为计算机科学家第一次能够实际“用神经元绘制神经网络”,特别是这样一种称为对抗性网络(GAN)的流行网络。GANpaint Studio可在线获取作为交互式演示,从更改对象的大小到添加全新的项目,例如树木和建筑物等,GANpaint Studio允许使用者上传他们选择的图像并修改其外观的多个方面。

该项目由麻省理工学院教授、IBM沃森人工智能实验室的研究员Antonio Torralba牵头,他指导的这个项目有着广泛的应用前景,设计师和艺术家可以使用它来更快地调整图片的视觉效果,如果让该系统兼容到视频剪辑中,计算机图形编辑器能够快速组成特定镜头所需对象的特定排列。例如,如果一位导演拍摄了演员的完整场景,但忘记在背景中包含一个对剧情很重要的道具,使用该系统就可以把道具直接添加到视频当中而不会让道具显得突兀。

此外,GANpaint Studio还可用于改进和调试正在开发的其他对抗性神经网络。在这些机器学习系统的“黑盒子”中,它可以帮助研究人员更好地理解神经网络及其底层结构。事实上,研究人员已经发现了一些该系统对于处理对象之间的关系的简单规则。例如,如果图像中有两个不同的建筑物并且系统被要求为两个建筑物分别添加一扇门,系统不会简单地添加相同的门,而是会根据建筑物的属性添加适合的门,它们可能最终看起来完全不同;如果用户要求把门添加在一个“不可能”的位置,系统甚至不会进行任何操作。这是因为GANpaint Studio本身也是一种对抗性神经网络,这个网络不但有能生成高逼真度的图像的生成器,还有一个判断生成图像是否逼真的鉴别器,每一次的生成过程都需要鉴别器做出是否逼真的决定,这使得发生器能够不断获得完善,也使得该系统产生了第二个功能:鉴别虚假图像。

图|Technoidhub

随着技术的不断发展,合成和虚假的图像越来越难以被肉眼看出,而研究人员相信GANpaint Studio能有效帮助人们识别虚假的图像。为了开发该系统,该团队首先确定了GAN内部与特定类型的对象相关的单元。然后单独测试这些单元,看看摆脱它们是否会导致某些物体消失或出现。更重要的是,研究人员还确定了导致视觉错误的单元,并努力将其移除以提高图像的整体质量。通过这种方法,系统能够有效识别出虚假的图片。合作者朱俊艳(Jun-Yan Zhu)认为,更好地理解GAN将有助于研究人员更好地辨别伪造图片:“这种理解可能有助于我们更容易地检测假图像。”

参考:https://techxplore.com/news/2019-07-artificial-intelligence-visuals-common.html

http://news.mit.edu/2019/teaching-artificial-intelligence-to-create-more-common-sense-visuals-0701

[关于转载]:本文为“AMiner”官网文章。转载本文请联系原作者获取授权,转载仅限全文转载并保留文章标题及内容,不得删改、添加内容绕开原创保护,且文章开头必须注明:转自“AMiner”官网。谢谢您的合作。

二维码 扫码微信阅读
推荐阅读 更多