所有文章 > 正文

将不可见变为可见!MIT研发出新型无线电机器视觉系统

作者: Jansfer

时间: 2019-10-12 10:26

来自麻省理工大学的李天红及其同事们用可见光图像训练无线电视觉系统来识别人们的行为,它可以穿透墙壁和遮挡物来检测人类的行为,并且在光线不好的情况下也能检测出人类的行为。

机器视觉有着令人印象深刻的能力。它具有超乎常人的能力来识别人、脸和物体,它甚至可以识别许多不同的行为(尽管这一点暂时没有人类做的好)。但是,它的良好表现是有限制条件的。当人、脸或物体被部分遮挡时,机器就特别难做到准确识别。当光照条件特别差劲时,它们就像人类一样是几乎看不见任何东西的。不过,电磁频谱的另一部分并没有受到同样的限制。无论是白天还是黑夜,无线电波充斥着我们的世界。它们可以很容易地穿过墙壁,并通过人体传播和反射。事实上,研究人员已经开发出许多方法来使用Wi-Fi无线信号来窥探门后的东西。但是这些无线视觉系统存在一些缺点。它们的分辨率很低,图像的噪声干扰太多以至于无法理解到底发生了什么。从这个意义上说,无线电图像和可见光图像有着可以互补的优势和劣势。这就增加了利用其中一个的优点克服另一个的缺点的可能性。

来自麻省理工大学的李天红及其同事们用可见光图像训练无线电视觉系统来识别人们的行为。在可见光成像失败时,新的无线电视觉系统能够在大多数情况下看到人的行为动作。李天红的团队引入了一种神经网络模型。它可以穿透墙壁和遮挡物来检测人类的行为,并且在光线不好的情况下也能检测出人类的行为。该团队用到的方法使用了一个巧妙的技巧。其基本思想是用可见光和无线电波记录同一场景的视频图像。机器视觉系统已经能够从可见光图像中识别人类的行为。所以下一步要做的就是将这些图像与同一场景的无线电图像关联起来。但其中的困难在于,要确保神经网络模型的学习过程专注于人类的运动,而无需关注背景等其他特征。为此,李天红团队引入了一个中间步骤。在这个步骤中,机器生成三维棒状模型,再现场景中人们的动作。通过将输入转换为基于骨架的中间表示,他们的模型可以从基于视觉和基于射频的数据集中学习,并允许这两个任务相互帮助。 通过这种方式,系统学会了在可见光下识别动作,然后使用无线电波识别在黑暗中或墙后发生的相同动作。李天红团队研究出的模型不仅在可见场景中达到了与基于视觉的动作识别系统相当的精度,在看不见人的情况下也能继续精确地工作。

这项工作很有趣,也很有潜力。显然,这项工作可以被用于可见光图像失效的场景中。此外,这项工作也可被用于隐私保护。可见光图像里的人是可识别的,这就产生了隐私问题。而无线电系统没有面部识别的分辨率,它在不识别人脸的情况下识别行为,因而不会引发同样的隐私恐惧。人们可以将该系统集成到智能家居系统中,给人们的家带来行动识别功能,而且不会对隐私造成太大风险。这可以用来监控老人的家,并根据老人的行为提醒适当的服务,例如老人跌倒发出警报告知。李天红团队的成果超出了当今基于视觉的系统的能力。

参考:https://www.technologyreview.com/s/614470/machine-vision-has-learned-to-use-radio-waves-to-see-through-walls-and-in-darkness/

[关于转载]:本文为“AMiner”官网文章。转载本文请联系原作者获取授权,转载仅限全文转载并保留文章标题及内容,不得删改、添加内容绕开原创保护,且文章开头必须注明:转自“AMiner”官网。谢谢您的合作。

二维码 扫码微信阅读
推荐阅读 更多