所有文章 > 正文

CloudMinds公司开发出一种基于深度学习辅助视障者的可穿戴系统

作者: Jansfer

时间: 2019-08-26 15:23

中国人工智能公司CloudMinds的研究人员最近为VI个体专门创建了一个新的基于深度学习的可穿戴辅助系统。该系统的相关研究已预先在arXiv上发表,该系统包括配有RGBD照相机和耳机的嵌入式终端,一个主要用于深度学习的强大的处理器以及触屏智能手机。

e160.jpg

图|VI辅助系统包括由RGBD相机和耳机组成的可穿戴终端,处理器和提供步行指令和场景描述的触摸界面(图片来源:Yimin Lin)

新技术的进步有望对残疾人的生活产生更加积极的影响,给他们的日常生活提供更宝贵的帮助。其中一个典型的案例就是使用人工智能技术为部分或完全失明的视障者(VI)提供帮助。

对此,中国人工智能公司CloudMinds的研究人员最近为VI个体专门创建了一个新的基于深度学习的可穿戴辅助系统。该系统的相关研究已预先在arXiv上发表,该系统包括配有RGBD照相机和耳机的嵌入式终端,一个主要用于深度学习的强大的处理器以及触屏智能手机。

研究人员在论文中写道:“我们提出了一种基于深度学习的可穿戴系统,用以改善视障者的生活质量,其中专门就安全导航和全面的实时场景感知进行了设计。”

CloudMinds团队开发的这个系统主要是通过RGBD摄像头从用户的周围环境中收集数据,然后这些数据被输送到卷积神经网络(CNN)进行分析,并预测最有效的避障路线和导航策略。之后,这些策略连同关于周围环境的相关信息都会通过耳机传达给用户。

在构建该系统时,第一批研究人员开发了一种数据驱动的端到端卷积网络(CNN),它可以根据RGBD数据和相关的语义映射,在用户向前、向左或向右移动时生成无冲突的指令。此外,他们设计了一系列便于VI个体间采用的交互方式,以便为其提供可靠的反馈,例如避开障碍物的行走指令或其它关于周围环境的信息。

我们的障碍物避让系统,还可以从RGBD、语义地图和用户的动作选择输入中学习,能够给视障者提供关于周围障碍物和自由空间的安全反馈。通过利用语义地图,我们还引入了一个有效的互动方案,即通过智能手机帮助视障者感知三维环境。

研究人员在一系列真实的避障实验中测试了该系统的性能。值得注意的是,该系统在几种室内和室外场景中的表现都优于现有技术。而且测试中收集的调查结果表明,该系统还可以提高了用户在实际任务中的移动能力和环境感知能力,例如,该系统帮助他们了解了特定房间的布局,帮助找到了丢失的物体,帮助传达附近的交通状况。

作为该研究的一部分,研究人员还收集了避障情境的数据集,其中包含步行时避开附近障碍物的指令,以及用于感知周围三维环境的其他信息。这些数据集可以帮助该团队为VI培训更多基于深度学习的工具。

未来,基于本研究开发的新型可穿戴系统可以为VI个体提供更有效、更深入的帮助。目前该团队正计划开发一个声纳或颠簸传感器,以便在更具挑战性或不安全的环境中更能保护VI用户的安全。

[关于转载]:本文为“AMiner”官网文章。转载本文请联系原作者获取授权,转载仅限全文转载并保留文章标题及内容,不得删改、添加内容绕开原创保护,且文章开头必须注明:转自“AMiner”官网。谢谢您的合作。

二维码 扫码微信阅读
推荐阅读 更多