所有文章 > 正文

Facebook通过机器学习工具Map With AI和RapiD加快了地图数据验证

作者: Jansfer

时间: 2019-07-29 17:12

目前,全球还有数以百万计的道路尚未绘制到地图中,缺少地图数据会影响到灾难救援,社区规划以及当地经济。虽然像英国军械测量局这样的政府运营和税收资助项目产生了巨大的资料库,但他们在很大程度上未能自由地和广泛地将其分类。

相关资讯:

无监督学习是深度学习的未来!Facebook首席科学家呼吁加强对无监督学习的研究

目前,全球还有数以百万计的道路尚未绘制到地图中,这的确是一个问题,特别是在发展中国家。缺少地图数据会影响到灾难救援,社区规划以及当地经济。虽然像英国军械测量局这样的政府运营和税收资助项目产生了巨大的资料库,但他们在很大程度上未能自由地和广泛地将其分类。

图|RapiD界面(图片来源:Facebook)

这激发了像OpenStreetMap之类的众包工作,他们每天招募数千名志愿者为道路,建筑物和桥梁编制地图目录。这个过程虽然很艰难,但得到了Facebook的支持,Facebook已经与社区和合作伙伴一起微调了一个工具 - Map With AI -该工具可以自动完成几个最耗时的地图编制步骤。

现在,经过近两年的开发,Facebook今天向OpenStreetMap社区提供Map With AI工具。Map With AI工具包括了访问阿富汗、孟加拉国、印度尼西亚、墨西哥、尼日利亚、坦桑尼亚和乌干达等国家人工智能生成的道路地图的入口(随着时间的推移,还会有更多的国家加入),该工具还附带一个RapiD工具,该工具是OpenStreetMap编辑工具iD的AI支持版本。

Facebook地图位置基础设施产品经理Drishtie Patel说:“世界上许多农村地区很难在地面上绘制地图。正如我之前在红十字会工作时所经历的那样,地图绘制挑战包括地区偏远、电力和互联网缺乏,以及济和政治环境复杂。地图数据差异可以影响很多事情,包括灾难救援响应、社区规划和当地经济建设。”

正如Patel和他的同事在一篇博客文章中解释的那样,Map With AI利用Maxar商用卫星图像预测道路网络,这种新方法能够适应区域道路差异,Map With AI因此让道路添加及道路编辑变得快速和相对简单。图|RapiD界面(图片来源:Facebook)

这激发了像OpenStreetMap之类的众包工作,他们每天招募数千名志愿者为道路,建筑物和桥梁编制地图目录。这个过程虽然很艰难,但得到了Facebook的支持,Facebook已经与社区和合作伙伴一起微调了一个工具 - Map With AI -该工具可以自动完成几个最耗时的地图编制步骤。

现在,经过近两年的开发,Facebook今天向OpenStreetMap社区提供Map With AI工具。Map With AI工具包括了访问阿富汗、孟加拉国、印度尼西亚、墨西哥、尼日利亚、坦桑尼亚和乌干达等国家人工智能生成的道路地图的入口(随着时间的推移,还会有更多的国家加入),该工具还附带一个RapiD工具,该工具是OpenStreetMap编辑工具iD的AI支持版本。

Facebook地图位置基础设施产品经理Drishtie Patel说:“世界上许多农村地区很难在地面上绘制地图。正如我之前在红十字会工作时所经历的那样,地图绘制挑战包括地区偏远、电力和互联网缺乏,以及济和政治环境复杂。地图数据差异可以影响很多事情,包括灾难救援响应、社区规划和当地经济建设。”

正如Patel和他的同事在一篇博客文章中解释的那样,Map With AI利用Maxar商用卫星图像预测道路网络,这种新方法能够适应区域道路差异,Map With AI因此让道路添加及道路编辑变得快速和相对简单。

图|印度尼西亚穆里亚山周围的道路网络。洋红色线条的亮度表明了模型的准确度(图片来源:Facebook)

Map With AI核心中的34层卷积神经网络在地理空间快照中隔离道路,分辨率为每像素2平方英尺,生成栅格化地图,显示每个像素的预测置信度。(在预测结果图中,模型的置信度与品红线的亮度相对应。)随后,这些地图通过后处理技术被转换成数学表示形式——向量——与OpenStreetMap的地理空间数据库兼容。

Facebook说,在泰国18个月内,其团队使用Map With AI侦测出600000英里的乡村道路(包括超过300000英里的失踪道路),这个过程如果用人工完成的话预计需要三到五年。此外,该公司表示,去年印度喀拉拉邦发生严重洪灾后,OpenStreetMap的人道主义反应小组利用Map With AI加快了该地区的地图绘制。

Patel和他的同事指出,泰国人工收集的地图数据可以用来提高道路分割系统的准确性,但仅限于该收集的地区,它往往概括地不能很好。为了解决这个问题,Map With AI 团队研究了如何在模型训练期间合并额外的OpenStreetMap数据。

结果证明,该解决方案是一种弱监督技术,包括使用准确且足够的数据识别区域,并将OpenStreetMap数据库的道路向量转换为栅格化的语义分割标签。具体地说,收集了一组2048×2048像素的贴片(分辨率约为每像素24英寸),并过滤掉那些包含少于25条道路的地图。对每个剩余的瓦片进行道路向量栅格化,得到用作训练标签的掩模。最后,每个源卫星图像被随机裁剪为1024×1024像素,结果大约有180万块瓦片覆盖了六大洲70多万平方英里的土地。

Facebook团队将每个道路矢量栅格化到5个像素来创建分割掩模,这比听起来要复杂得多。道路在宽度和轮廓上的变化使得栅格化向量无法捕捉地很好,而且由于不同区域的道路是由不同的卫星图像源绘制的,所以它们并不总是与训练数据图像完全对齐。

Facebook相关人员表示,在仅有嘈杂标签生成的数据收集过程中,它能够产生足以与DeepGlobe卫星挑战的参赛者竞争的结果。这是在2018年计算机视觉和模式识别大会上发起的一项竞赛,旨在提高卫星图像分析的技术水平。

经过一些微调,团队的模型和开源DeepGlobe数据集相比获得了62%的相对改进和13.7%的绝对改进, DeepGlobe数据集仅包含来自印度、印度尼西亚和泰国的道路数据。

图|用于训练AI模型以正确识别道路的部分数据(图片来源:Facebook)

人类志愿者

但是没有一个模型是完美的,这就是RapiD的作用。

一旦Facebook的系统识别出潜在的道路,它必须在提交到OpenStreetMap之前进行验证。局部或区域差异会影响道路分类是否正确,一些结果会错误地跟踪其他卫星图像特征,如干涸的河床、狭窄的海滩、运河或完全错过连接点和路径。

为了简化这个过程,并补充现有的地图绘制验证工具,如Java OpenStreetMap Editor和HOT Manager, Facebook构建了上述的RapiD, iD map Editor的一个开源扩展。使用一种称为合并的过程,它将模型的结果与OpenStreetMap中已有的数据相结合,既建议如何用现有数据连接新道路,又防止用建议的道路覆盖现有的道路数据。

RapiD编辑器使审阅人员能够可视化合并后的道路,突出显示新的更改,并为常见的数据清理任务使用新命令和快捷方式。完整性检查捕捉模型结果的潜在问题,确保地图编辑一致且准确。

Facebook在一篇博客中写道:“总的来说,好的工具为地图制图者提供了动力,减少了基于卫星数据绘制道路的乏味和耗时部分,提高了道路形状的准确性,提供了识别建议道路的选项。重要的是提供了不限制专业制图人员能力和判断的工具。我们将根据这些地图绘制器的反馈不断提高改进RapiD,使过程更加顺畅。我们相信,由此产生的工具提高了卫星图像在制图方面的效用。”

Facebook表示,通过人工智能地图验证的地图数据将公开可用,这可能有助于为灾难城市规划和发展项目提供信息,并改进使用开放街道地图的Facebook产品,如市场、本地和页面。

图|用于道路分割模型的可视化训练数据的地理分布(图片来源:Facebook)

“这个RapiD工具是与地图绘制协会的人员一起开发的,地图协会的工作人员在地图绘制领域有多年从业经验。” OpenStreetMap团队人道主义执行主任Tyler Radford说。

Tyler Radford补充说:“RapiD是这一目标实现的关键一大步。通过扩展以前完全手工的过程——通过卫星图像追踪道路——RapiD将机器学习的精华与人类专业知识的精华结合起来。”

Map With AI的基础是Facebook为促进人工智能绘图所做的其他努力,以及该公司正在进行的人口密度地图项目,以及2017年在德克萨斯州哈维飓风(Hurricane Harvey)和加利福尼亚州圣罗莎(Santa Rosa)火灾后利用卫星图像探测洪水的做法(Facebook此前曾与哈佛大学公共卫生学院、联合国儿童基金会、世界银行等机构合作,以卫星图像、计算机视觉、人口普查数据和专有数据为动力,绘制抗击疾病的实时地图。)Facebook公司表示,它正在开发适合于遥感问题空间的新机器学习技术和体系结构,并表示正在研究如何利用支持工具将这些技术应用到“全球范围的道路测绘工作”中。

OpenStreetMap由非盈利组织OpenStreetMap基金会支持,成立于2004年,现已发展到超过500万注册用户,OpenStreetMap通过手工调查、GPS设备、航空摄影和其他免费资源收集数据。这些经过整理的地图在Open Database License许可下可用于传统应用程序和GPS接收器包含的默认数据。除了Facebook, Craigslist、OsmAnd、Geocaching、MapQuest Open、Flickr、MapQuest、MapBox、Moovit、Tableau、Niantic、Snapchat、Webots、JMP statistical software和Foursquare等公司也利用OpenStreetMap的数据库进行地图绘制和基本路由任务。

参考:https://venturebeat.com/

[关于转载]:本文为“AMiner”官网文章。转载本文请联系原作者获取授权,转载仅限全文转载并保留文章标题及内容,不得删改、添加内容绕开原创保护,且文章开头必须注明:转自“AMiner”官网。谢谢您的合作。

二维码 扫码微信阅读
推荐阅读 更多